首頁 企業 Google Gemma 3 與 AMD Instella:推動多模式與企業 AI

Google Gemma 3 與 AMD Instella:推動多模式與企業 AI

by 迪維揚什·賈恩

Google Gemma 3 和 AMD Instella AI 模型提升了多模式和企業 AI 能力,重塑了 AI 效能標準。

谷歌和AMD宣布了人工智慧領域的重大進展。谷歌推出了其開源AI模型系列的最新一代Gemma 3。同時,AMD宣布與企業AI開放平台(OPEA)整合,並推出其Instella語言模式。

Google 的 Gemma 3:最低限度硬體上的多模式 AI 效率

12 月 3 日發布的 Gemma 2 建立在 Gemma XNUMX 成功的基礎之上。

Gemma 3 有四種尺寸:1B、4B、12B 和 27B 參數。每個變體都有基礎版本(預訓練版本)和指令調整版本。較大的型號(4B、12B 和 27B)提供多模式功能,可無縫處理文字、影像和短影片。 Google 的 SigLIP 視覺編碼器將視覺輸入轉換為語言模型可解釋的標記,使 Gemma 3 能夠回答基於圖像的問題、識別物件並讀取嵌入的文字。

Gemma 3 還顯著擴展了其上下文窗口,與 Gemma 128,000 的 2 個標記相比,它最多支援 80,000 個標記。這使得模型能夠在單一提示內處理更多資訊。此外,Gemma 3 支援超過 140 種語言,增強了全球可訪問性。

LMSYS 聊天機器人競技場排名

Gemma 3 已迅速成為 LMSYS 聊天機器人競技場,一個基於人類偏好評估大型語言模型的基準。 Gemma-3-27B 的 Elo 分數達到 1338,在全球排名第九。這使它領先於 DeepSeek-V3 (1318)、Llama3-405B (1257)、Qwen2.5-72B (1257)、Mistral Large 以及谷歌之前的 Gemma 2 型號等知名競爭對手。

AMD 透過 OPEA 整合增強企業 AI

AMD 於 12 年 2025 月 XNUMX 日宣布支援企業 AI 開放平台 (OPEA)。

此次合作解決了企業 AI 面臨的關鍵挑戰,包括模型整合複雜性、GPU 資源管理、安全性和工作流程靈活性。作為 OPEA 技術指導委員會的成員,AMD 與行業領導者合作,實現可在公共和私有雲環境中部署的可組合生成 AI 解決方案。

OPEA 提供必要的 AI 應用程式元件,包括預先建置的工作流程、評估能力、嵌入模型和向量資料庫。其基於雲端原生、微服務的架構確保透過 API 驅動的工作流程實現無縫整合。

AMD 推出 Instella:完全開放的 3B 參數語言模型

AMD 還推出了 Instella,這是一個完全在 AMD 硬體上開發的完全開源、3 億參數的語言模型系列。

技術創新與培訓方法

Instella 模型採用純文字自回歸變壓器架構,每層有 36 個解碼器層和 32 個注意力頭,支援最多 4,096 個標記的序列。該模型透過 OLMo 標記器使用約 50,000 個標記的詞彙表。

依照多階段流程,訓練在 128 個節點的 300 個 AMD Instinct MI16X GPU 上進行。初始預訓練涉及來自不同資料集的約 4.065 兆個標記,涵蓋編碼、學術、數學和常識。第二個預訓練階段使用來自 MMLU、BBH 和 GSM57.575k 等專門基準的另外 8 億個標記來完善解決問題的能力。

在預訓練之後,Instella 使用 8.9 億個精選的指令回應資料標記進行監督微調 (SFT),增強了互動能力。最後的直接偏好最佳化 (DPO) 階段使用 760 億個精心挑選的資料標記,使模型與人類偏好緊密結合。

令人印象深刻的基準測試表現

基準測試結果凸顯了 Instella 顯著的效能提升。模型的表現比現有的完全開放模型平均高出 8% 以上,在 ARC Challenge(+8.02%)、ARC Easy(+3.51%)、Winograde(+4.7%)、OpenBookQA(+3.88%)、MMLU(+13.12%)和 GSM8k(+48.98%)等基準測試中取得了基準測試的結果。

與 Llama-3.2-3B 和 Gemma-2-2B 等領先的開放重量模型不同,Instella 在多項任務中表現出優異或極具競爭力的性能。指令調整變體 Instella-3B-Instruct 與其他完全開放的指令調整模型相比表現出明顯的優勢,平均性能領先超過 14%,同時與領先的開放權重指令調整模型相比也具有競爭力。

全面開源發布和可用性

AMD 秉承對開源原則的承諾,該公司已經發布了與 Instella 模型相關的所有工件,包括模型權重、詳細的訓練配置、資料集和程式碼。這種完全的透明度使人工智慧社群能夠利用這些模型進行協作、複製和創新。

結論

谷歌和 AMD 的這些公告為未來一年令人興奮的人工智慧創新奠定了基礎。 Gemma 3 重新定義了多模式效率,AMD 的 Instella 模型和 OPEA 集成為企業 AI 賦能,行業發展勢頭明顯。隨著我們接近 NVIDIA 的 GTC 大會並期待更多突破性產品的發布,很明顯這些發展只是未來的開始。

谷歌博客

AMD 部落格

參與 StorageReview
電子報 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱