NVIDIA GTC 2025 推出了突破性的 AI 進步,包括 Blackwell Ultra GPU、AI-Q、Mission Control 和 DGX Spark。
NVIDIA 的 GTC 大會重點介紹了將改變多個領域 AI 發展的眾多創新,並展示了 AI 硬體、軟體和合作夥伴關係方面的突破。 GTC 2025 的亮點無疑是揭開資料中心 GPU 及其發展路線圖的面紗。 NVIDIA 迄今為止生產的最強大的 AI 加速器是基於 Blackwell Ultra 架構的 B300。它的效能比 Blackwell GPU 業界領先的效能提高了 1.5 倍。
與 NVIDIA 已發布的 GPU 相比,效能提升令人震驚:
規範 | H100 | H200 | B100 | B200 | B300 |
---|---|---|---|---|---|
最長記憶體 | 80 GB HBM3 | 141 GB HBM3e | 192 GB HBM3e | 192 GB HBM3e | 288 GB HBM3e |
內存帶寬 | 3.35 TB / s | 4.8TB/秒 | 8TB/秒 | 8TB/秒 | 8TB/秒 |
FP4 張量核心 | - | - | 14 浮點數 | 18 浮點數 | 30 浮點數 |
FP6 張量核心 | - | - | 7 浮點數 | 9 浮點數 | 15 浮點數* |
FP8 張量核心 | 3958 TFLOPS(~4 PFLOPS) | 3958 TFLOPS(~4 PFLOPS) | 7 浮點數 | 9 浮點數 | 15 浮點數* |
INT 8 張量核心 | 3958 TOPS | 3958 TOPS | 7 流行音樂 | 9 流行音樂 | 15 浮點數* |
FP16/BF16 張量核心 | 1979 TFLOPS(~2 PFLOPS) | 1979 TFLOPS(~2 PFLOPS) | 3.5 浮點數 | 4.5 浮點數 | 7.5 浮點數* |
TF32 張量核心 | 989 TFLOPS | 989 TFLOPS | 1.8 浮點數 | 2.2 浮點數 | 3.3 浮點數* |
FP32(密集) | 67 TFLOPS | 67 TFLOPS | 30 TFLOPS | 40 TFLOPS | 信息未知 |
FP64 張量核心(密集) | 67 TFLOPS | 67 TFLOPS | 30 TFLOPS | 40 TFLOPS | 信息未知 |
FP64(密集) | 34 TFLOPS | 34 TFLOPS | 30 TFLOPS | 40 TFLOPS | 信息未知 |
最大功耗 | 700W | 700W | 700W | 1000W | 信息未知 |
註:標示「*」的值是粗略計算,並非 NVIDIA 的官方數據
Blackwell Ultra B300 與 Blackwell 產品一樣,採用了新的精確度格式,與目前的 H4 相比,FP30 Tensor Cores 可提供令人印象深刻的 6 PFLOPS,FP8/FP15 可提供 200 PFLOPS* 的效能。當比較 FP7.5 計算和 FP8 時,這大約是 4 倍的改進;當比較 FP4 性能時,這大約是 8 倍的改進。
NVIDIA 路線圖上的下一步是 Vera Rubin GPU,計劃明年發布。 Vera Rubin 預計將提供 3.3 倍於 Blackwell Ultra 的效能,實現 50 PFLOPS 的密集 FP4 計算,而 B300 僅為 15 PFLOPS。它將伴隨ConnectX-9和NVLink-6技術,頻寬是前幾代的兩倍。 Vera Rubin GPU 還將配備 HBM4 內存,可將內存頻寬提高 1.6 倍。從 Grace CPU 過渡到 Vera CPU 也將顯著增強 CPU 到 GPU 的互連,實現高達 1.8 TB/s 的速度。
NVIDIA 毫不掩飾地發布了其 Rubin Ultra GPU,預計將於 2027 年下半年推出。 Rubin Ultra 也將配備 100TB 先進的 HBM4e 記憶體。
NVIDIA DGX Spark
NVIDIA 展示了其 DGX Spark,這是在 專案數 今年早些時候,該公司在 CES 上推出了一款名為「monkey」的產品。 DGX Spark 針對人工智慧開發人員、研究人員、資料科學家和學生,採用全新 GB10 Blackwell 晶片並配置 128 GB 統一記憶體。
NVIDIA 聲稱該系統可提供非凡的 1,000 AI TOPS,這將使 Spark 的性能達到與 RTX 5070 相當的實際水平。包括華碩、戴爾、HPE 和聯想在內的 OEM 合作夥伴很快就會提供品牌版本。目前已開放預訂,預計七月開始出貨。
NVIDIA DGX 工作站
NVIDIA也推出了更新的DGX Station,其定位為面向企業應用的終極桌上型AI超級計算機,搭載GB300 Grace Blackwell Ultra晶片。
DGX Station 提供 784GB 的統一系統內存,同時提供 20 petaflops 的密集 FP4 AI 效能。這將 NVIDIA 的 ConnectX 8 SuperNIC 直接整合到系統中,實現 800 Gb/s 的網路連接,確保高效能網路滿足其強大運算能力的需求。 ASUS、Box、Dell、HPE、Lambda 和 Supermicro 等 OEM 合作夥伴計劃建造 DGX Station 系統,預計於今年稍後上市。
NVIDIA RTX Pro 布萊克威爾
GPU 的紅利並未就此止步。 英偉達 推出了 RTX Pro Blackwell 系列,這是其專業 GPU 產品線的全面更新,旨在加速所有平台上的 AI、圖形和模擬工作負載。新一代產品涵蓋桌面工作站、行動系統和伺服器,旗艦產品 RTX Pro 6000 Blackwell 配備業界領先的 96GB GPU 內存,可提供高達 4,000 TOPS 的 AI 效能。這些進步實現了即時光線追蹤、快速 AI 推理以及以前在桌面系統上無法實現的高級圖形工作流程。
這些 GPU 中包含的技術創新非常多,包括吞吐量提高 1.5 倍的 NVIDIA 流多處理器、性能是前幾代兩倍的第四代 RT 核心,以及支援 AI 工作負載的新 FP4 精度的第五代 Tensor 核心。其他增強功能包括對雙倍頻寬的 PCIe Gen 5 支援、對極端解析度顯示配置的 DisplayPort 2.1 相容性,以及在伺服器版中用於安全 AI 工作負載的 NVIDIA 機密運算。
行業專業人士報告了實際應用中顯著的效能提升。 Foster + Partners 實現了比 RTX A5 快 6000 倍的光線追踪,而 GE HealthCare 發現醫學重建演算法的 GPU 處理時間提高了 2 倍。汽車製造商 Rivian 在設計評審中利用新的 GPU 實現了前所未有的 VR 視覺質量,而 SoftServe 報告稱,在使用 Llama 3-3.3B 等大型 AI 模型時,生產力提高了 70 倍。也許最令人印象深刻的是,皮克斯指出,他們 99% 的製作鏡頭現在都可以在單一 GPU 的 96GB 記憶體中播放。
RTX Pro 6000 Blackwell 伺服器版將這些功能帶入資料中心環境,採用被動式冷卻設計,可實現全天候運作。與上一代硬體相比,這種以伺服器為中心的變體可提供 24 倍的大型語言模型推理吞吐量、7 倍的基因組測序速度、5 倍的文本到視頻生成速度以及 7 倍的推薦系統推理和渲染速度的提升。這些 GPU 首次支援 vGPU 和多執行個體 GPU (MIG) 技術,允許將每張卡分割為最多四個完全隔離的實例,從而最大限度地提高不同工作負載的資源利用率。這些 GPU 的桌面版預計將於 3.3 月上市,伺服器版將於 2 月上市,基於 OEM 的筆記型電腦版將於 XNUMX 月上市。
NVIDIA 光子學
NVIDIA Photonics 是一項旨在改變 AI 資料中心內光學網路的創新產品,它完善了硬體公告。透過以與交換器 ASIC 位於同一包裝上的共封裝光學引擎取代傳統的可插拔收發器,NVIDIA Photonics 最大限度地降低了功耗並簡化了資料連接。
利用台積電的光子引擎優化,並輔以微環調製器、高效雷射和可拆卸光纖連接器,新的光子平台旨在提供高達 3.5 倍的效率、10 倍的彈性,並實現比傳統解決方案快 1.3 倍的部署速度。在展示其更廣泛的生態系統方法時,NVIDIA 詳細介紹了其與先進封裝和光學元件製造領導者的合作如何對於實現這些性能提升至關重要。
隨著這些新發展,NVIDIA 展示了三款新型交換機,其中包括 Quantum-X 和 Spectrum-X 交換器系列中的 200G SerDes。 Quantum-X Infiniband 系列包括 Quantum 3450-LD,它具有令人印象深刻的 144 個 800G 端口或 576 個 200G 端口,可提供 115Tb/s 的頻寬。在 Spectrum-X 乙太網路交換器上,產品組合包括更緊湊的 Spectrum SN6810(提供 128 個 800G 連接埠或 512 個 200G 連接埠),以及高密度 Spectrum SN6800(擁有 512 個 800G 連接埠和 2048 個連接埠 200G)。所有這些交換機都採用液體冷卻技術來維持最佳性能和效率。
NVIDIA Quantum-X Photonics InfiniBand 交換器預計將於今年稍後上市,NVIDIA Spectrum-X Photonics 乙太網路交換器將於 2026 年由領先的基礎設施和系統供應商上市。
利用 Nvidia Dynamo 將硬體和軟體結合在一起
NVIDIA 的公告包括軟體和硬體兩部分。為了充分利用新款 Blackwell GPU 的運算能力,NVIDIA 推出了 Dynamo,這是一款專為大規模服務 AI 模型而設計的 AI 推理軟體。
NVIDIA Dynamo 是一個開源推理平台,旨在優化整個資料中心的大規模 AI 模型的部署。 Dynamo 獨特的分散式和分解式架構使其能夠跨多個 GPU 擴展單一查詢,從而大大加快推理工作負載。透過在輸入令牌計算和輸出令牌之間智慧地劃分處理任務,並利用 NVIDIA 的 NVLink 互連的優勢,它為 DeepSeek R30 等推理密集型模型實現了高達 1 倍的效能提升。
值得注意的是,Dynamo 甚至無需額外硬體即可在 Hopper GPU 上將現有 LLM(如 LLAMA)的吞吐量提高一倍,從而有效地使 AI 工廠的代幣生成和收入潛力翻倍。透過 Dynamo,NVIDIA 將超大規模等級的優化帶給每個人並使其可用,讓每個人都能充分利用 AI 的變革潛力。
Dynamo 現已在 GitHub 上發布,並支援受歡迎的後端,包括 PyTorch、BLM、SGLang 和 TensorRT。
Nvidia AI-Q:下一代 Agentic AI 系統
NVIDIA 也推出了 AI-Q(發音為「IQ」),這是將 AI 代理程式無縫連接到大型企業資料和工具的藍圖。這個開源框架使代理程式能夠跨多種資料類型(包括文字、圖像和影片)進行查詢和推理,並利用網路搜尋和其他代理程式等外部工具。
AI-Q 的核心是新的 NVIDIA AgentIQ 工具包,這是今天在 GitHub 上發布的開源軟體庫。 AgentIQ 有助於連接、分析和優化多代理系統,使企業能夠建立複雜的數位化勞動力。 AgentIQ 與現有的多代理框架無縫集成,包括 CrewAI、LangGraph、Llama Stack、Microsoft Azure AI Agent Service 和 Letta,讓開發人員可以逐步採用它或作為完整的解決方案。
NVIDIA 也與領先的資料儲存供應商合作,創建一個 AI 資料平台參考架構,該架構整合了 NVIDIA NeMo Retriever、AI-Q Blueprint、Blackwell GPU、Spectrum X 網路和 Bluefield DPU。確保近乎即時的資料處理和快速的知識檢索,為AI代理提供必要的商業智慧。
AI-Q將於4月開始向開發人員開放體驗。
NVIDIA 任務控制:協調 AI 工廠
基於其全面的軟體策略,NVIDIA 推出了 Mission Control,這是業界唯一的統一營運和編排軟體平台,旨在實現 AI 資料中心和工作負載的複雜管理自動化。 Dynamo 優化了推理,AI-Q 支援代理系統,而 Mission Control 解決了支撐整個 AI 管道的關鍵基礎設施層。
任務控制改變了企業部署和管理 AI 基礎架構的方式,實現了端到端管理的自動化,包括設定、監控和錯誤診斷。該平台實現了基於 Blackwell 系統上的訓練和推理工作負載之間的無縫轉換,允許組織隨著優先順序的動態變化重新分配叢集資源。透過結合 NVIDIA 收購的 Run:ai 技術,任務控制可將基礎設施利用率提高 5 倍,同時比傳統的需要人工幹預的方法將工作恢復速度提高 10 倍。
該軟體提供了對現代 AI 工作負載至關重要的幾項操作優勢,包括簡化的叢集設定、SUNK(Slurm 和 Kubernetes)工作流程的無縫工作負載編排、具有開發人員可選擇的控制的能源優化電源設定檔以及自主作業復原功能。其他功能包括可自訂的性能儀表板、按需健康檢查和樓宇管理系統集成,以增強冷卻和電源管理。
包括戴爾、HPE、聯想和 Supermicro 在內的主要係統製造商已宣布計劃提供配備 Mission Control 的 NVIDIA GB200 NVL72 和 GB300 NVL72 系統。戴爾將與 NVIDIA 合作將該軟體整合到其 AI Factory 中,而 HPE 將透過其 Grace Blackwell 機架式系統提供該軟體。聯想計劃更新其混合 AI 優勢解決方案以包括任務控制,而 Supermicro 將把它整合到其超級叢集系統中。
NVIDIA Mission Control 已適用於 DGX GB200 和 DGX B200 系統,預計今年稍後將支援 DGX GB300、DGX B300 和 GB300 NVL72 系統。對於希望開始管理 AI 基礎設施的組織,NVIDIA 也宣布,無論叢集規模如何,Base Command Manager 軟體很快就會免費提供給每個系統最多 XNUMX 個加速器。
結論
NVIDIA 的 GTC 2025 為 AI 技術的變革性飛躍奠定了基礎,揭示了硬體、軟體和基礎設施領域的突破性進步。從基於 Blackwell Ultra 架構的強大 B300 GPU 到革命性的 DGX Spark 和 DGX Station 系統,NVIDIA 不斷重新定義 AI 運算的可能性。 NVIDIA Photonics、Dynamo 推理軟體、AI-Q 代理框架和 Mission Control 編排平台的推出將幫助企業更快地進入市場並更有效地擴展,無疑將進一步鞏固 NVIDIA 在該領域的領先地位。
然而,這只是冰山一角。 GTC 上還有更多創新和見解有待探索。請繼續關注我們本週的其他新聞文章,我們將繼續為您帶來最新公告並深入探討 NVIDIA 令人興奮的未來。
參與 StorageReview
電子報 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱