存储评论网

Google Gemma 3 和 AMD Instella:推进多模式和企业 AI

企业版

谷歌和AMD宣布在人工智能领域取得重大进展。谷歌推出了其开源AI模型系列的最新一代产品Gemma 3。与此同时,AMD宣布与企业AI开放平台(OPEA)整合,并推出其Instella语言模型。

Google 的 Gemma 3:最低限度硬件上的多模式 AI 效率

12 月 3 日发布的 Gemma 2 建立在 Gemma XNUMX 成功的基础之上。新模型引入了多模式功能、多语言支持和增强的效率,即使在有限的硬件上也能实现先进的 AI 性能。

Gemma 3 有四种大小:1B、4B、12B 和 27B 参数。每种变体都有基本版本(预训练)和指令调整版本。较大的模型(4B、12B 和 27B)提供多模式功能,可无缝处理文本、图像和短视频。Google 的 SigLIP 视觉编码器将视觉输入转换为语言模型可解释的标记,使 Gemma 3 能够回答基于图像的问题、识别对象和读取嵌入的文本。

Gemma 3 还显著扩展了其上下文窗口,支持多达 128,000 个标记,而 Gemma 2 仅支持 80,000 个标记。这使得模型能够在单个提示中处理更多信息。此外,Gemma 3 支持 140 多种语言,增强了全球可访问性。

LMSYS 聊天机器人竞技场排名

Gemma 3 已迅速成为 LMSYS 聊天机器人竞技场,这是一项基于人类偏好评估大型语言模型的基准测试。Gemma-3-27B 的 Elo 得分为 1338,在全球排名第九。这使它领先于 DeepSeek-V3 (1318)、Llama3-405B (1257)、Qwen2.5-72B (1257)、Mistral Large 和 Google 之前的 Gemma 2 模型等知名竞争对手。

AMD 通过 OPEA 集成增强企业 AI

AMD 于 12 年 2025 月 XNUMX 日宣布支持企业 AI 开放平台 (OPEA)。此次集成将 OPEA GenAI 框架与 AMD 的 ROCm 软件堆栈连接起来,使企业能够在 AMD 数据中心 GPU 上高效部署可扩展的生成式 AI 应用程序。

此次合作解决了企业 AI 面临的关键挑战,包括模型集成复杂性、GPU 资源管理、安全性和工作流程灵活性。作为 OPEA 技术指导委员会的成员,AMD 与行业领导者合作,实现可在公共和私有云环境中部署的可组合生成 AI 解决方案。

OPEA 提供必要的 AI 应用程序组件,包括预构建的工作流、评估能力、嵌入模型和矢量数据库。其基于云原生微服务的架构确保通过 API 驱动的工作流实现无缝集成。

AMD 推出 Instella:完全开放的 3B 参数语言模型

AMD 还推出了 Instella,这是完全在 AMD 硬件上开发的完全开源、3 亿参数的语言模型系列。

技术创新与培训方法

Instella 模型采用纯文本自回归转换器架构,每层有 36 个解码器层和 32 个注意头,支持最多 4,096 个标记的序列。这些模型通过 OLMo 标记器使用约 50,000 个标记的词汇表。

经过多阶段流水线,在 128 个节点的 300 个 AMD Instinct MI16X GPU 上进行训练。初始预训练涉及来自不同数据集的约 4.065 万亿个标记,涵盖编码、学术、数学和常识。第二个预训练阶段使用来自 MMLU、BBH 和 GSM57.575k 等专业基准的另外 8 亿个标记来完善解决问题的能力。

预训练完成后,Instella 使用 8.9 亿个精选指令响应数据标记进行监督微调 (SFT),增强了交互能力。最后的直接偏好优化 (DPO) 阶段使用 760 亿个精心挑选的数据标记,使模型与人类偏好紧密结合。

令人印象深刻的基准测试表现

基准测试结果凸显了 Instella 的显著性能提升。该模型的表现比现有的完全开放模型平均高出 8% 以上,在 ARC Challenge(+8.02%)、ARC Easy(+3.51%)、Winograde(+4.7%)、OpenBookQA(+3.88%)、MMLU(+13.12%)和 GSM8k(+48.98%)等基准测试中取得了令人印象深刻的成绩。

与领先的开放权重模型(如 Llama-3.2-3B 和 Gemma-2-2B)不同,Instella 在多个任务中表现出优异或极具竞争力的性能。指令调优变体 Instella-3B-Instruct 与其他完全开放的指令调优模型相比表现出显著优势,平均性能领先超过 14%,同时与领先的开放权重指令调优模型相比也具有竞争力。

全面开源发布和可用性

AMD 秉承对开源原则的承诺,发布了与 Instella 模型相关的所有工件,包括模型权重、详细训练配置、数据集和代码。这种完全透明性使 AI 社区能够利用这些模型进行协作、复制和创新。

结语

谷歌和 AMD 的这些声明为未来一年激动人心的 AI 创新奠定了基础。Gemma 3 重新定义了多模态效率,AMD 的 Instella 模型和 OPEA 集成为企业 AI 赋能,行业发展势头明显。随着 NVIDIA 的 GTC 会议临近,并期待更多突破性产品的发布,很明显,这些发展只是未来的开始。

谷歌博客

AMD 博客

参与 StorageReview

资讯订阅 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter(现为X) | TikTok | RSS订阅

迪维扬什·贾恩

机器学习工程师、家庭实验室爱好者和技术发烧友。在 Storage Review,我负责人工智能和新兴工作负载测试,旨在提供实用见解和性能分析。