在 AWS re:Invent 主題演講中，AWS 和 NVIDIA 宣布了人工智慧 (AI) 的重大進展。 AWS 執行長 Adam Selipsky 邀請 NVIDIA 執行長黃仁勳上台，詳細闡述了兩家公司的策略合作成果。 此次合作旨在提供最先進的基礎設施、軟體和服務，推動生成式人工智慧創新。 此次合作融合了 NVIDIA 的尖端技術和 AWS 強大的雲端基礎設施，標誌著人工智慧開發的新時代。
利用 NVIDIA GH200 Grace Hopper 超級晶片徹底改變雲端 AI
此次合作的核心在於AWS率先將NVIDIA的GH200 Grace Hopper超級晶片引入雲端，在雲端服務供應商中尚屬首例。這些超級晶片代表著雲端人工智慧運算的重大飛躍。 GH200 NVL32多節點平台利用NVIDIA NVLink和NVSwitch技術連接32個Grace Hopper超級晶片，並將整合到Amazon EC2實例中。這些全新的Amazon EC2執行個體可滿足各種人工智慧、高效能運算和圖形工作負載的需求。
每個 GH200 Superchip 在同一模組上結合了基於 Arm 的 Grace CPU 和 NVIDIA Hopper 架構 GPU，使單個 EC2 執行個體能夠提供高達 20TB 的共享內存，為 TB 級工作負載提供支援。 這種設定允許聯合客戶擴展到數千個 GH200 超級晶片，為人工智慧研究和應用提供前所未有的運算能力。
增強生成式 AI、HPC、設計與仿真
AWS 推出了三款全新的 EC2 執行個體：P5e 執行個體搭載NVIDIA H200 Tensor Core GPU，專為大規模、前緣的生成式 AI 和高效能運算 (HPC) 工作負載而設計；G6 和 G6e 執行個體分別搭載 NVIDIA L4 和 L40S GPU，適用於 AI 微調、推理、圖形和視訊工作負載。 G6e 實例特別適合使用 NVIDIA Omniverse（一個用於建構生成式 AI 3D 應用的平台）開發 3D 工作流程、數位孿生和應用程式。
由 NVIDIA GH200 驅動的 EC2 執行個體將配備 4.5TB 的 HBM3e 記憶體。 與目前 H7.2 支援的 EC100 P2d 執行個體相比，增加了 5 倍。 CPU 到 GPU 記憶體互連將提供比 PCIe 高出 7 倍的頻寬，從而實現晶片間通信，從而擴展應用程式可用的總記憶體。
配備 GH200 NVL32 的 AWS 執行個體將成為 AWS 上第一個具有液體冷卻功能的 AI 基礎架構。 這將有助於確保密集的伺服器機架以最高效能高效運作。 採用 GH2 NVL200 的 EC32 執行個體也將受益於 AWS Nitro 系統，它是下一代 EC2 執行個體的底層平台。 Nitro 將功能的 I/O 從主機 CPU/GPU 卸載到專用硬件，提供更一致的效能和增強的安全性，以在處理過程中保護客戶程式碼和資料。
AWS 上的 NVIDIA 軟體促進生成式 AI 開發
另一項具有里程碑意義的公告是，NVIDIA 將在 AWS 上運行的軟體將加速生成式人工智慧的開發。 NVIDIA NeMo Retriever微服務將提供相關工具，利用加速語意檢索技術創建精準的聊天機器人和摘要工具。
製藥公司可以利用 NVIDIA BioNeMo 來加快藥物發現速度，該產品可在 Amazon SageMaker 上使用並登陸 DGX Cloud。
AWS 將利用 NVIDIA NeMo 框架培訓精選的下一代 Amazon Titan LLM。 Amazon Robotics 正在使用 NVIDIA Omniverse Isaac 建置數位孿生，以便在部署到現實世界之前在虛擬環境中實現自動化、最佳化和規劃自主倉庫。
AWS 上託管的 NVIDIA DGX 雲端：人工智慧培訓大眾化
此次合作的另一個關鍵面向是在 AWS 上託管 NVIDIA DGX Cloud。這項 AI 訓練即服務將率先採用 GH200 NVL32 顯示卡，為開發者提供單一實例中最大的共享記憶體。 DGX Cloud on AWS 將顯著加速前緣生成式 AI 和大型語言模式 (LLM) 的訓練，其參數規模預計將超過 1 兆。這項服務讓更多人能夠使用高階 AI 訓練資源，而此前這些資源只有擁有強大運算基礎設施的使用者才能獲得。
Ceiba 專案：打造世界上最快的 GPU 驅動的人工智慧超級計算機
AWS 和 NVIDIA 正在雄心勃勃地合作開展 Project Ceiba，打造世界上最快的 GPU 驅動的 AI 超級電腦。 該系統配備 16,384 個 NVIDIA GH200 超級晶片，能夠處理 65 exaflops 的 AI，將由 AWS 為 NVIDIA 的研發團隊託管。 這台超級電腦將推動 NVIDIA 的生成式 AI 創新，影響數位生物學、機器人、自動駕駛汽車和氣候預測等領域。
AWS 上人工智慧開發的新時代
AWS 和 NVIDIA 之間擴大的合作不僅是一項技術進步，更是一項技術進步。 這是基於雲端的人工智慧運算的典範轉移。 透過將 NVIDIA 先進的 AI 基礎架構與 AWS 的雲端功能相結合，此次合作將徹底改變各產業中生成式 AI 的開發和部署方式。 從藥品到自動駕駛汽車，這種合作的影響是巨大而深遠的，有望釋放人工智慧及其他領域的新可能性。
Amazon