Google et AMD ont annoncé des avancées significatives en matière d'intelligence artificielle. Google a présenté Gemma 3, la dernière génération de sa gamme de modèles d'IA open source. Parallèlement, AMD a annoncé l'intégration avec l'Open Platform for Enterprise AI (OPEA) et lancé ses modèles de langage Instella.
Gemma 3 de Google : efficacité de l'IA multimodale sur un matériel minimal
La sortie de Gemma 12 le 3 mars s'appuie sur le succès de Gemma 2. Le nouveau modèle introduit des capacités multimodales, une prise en charge multilingue et une efficacité améliorée, permettant des performances d'IA avancées même sur du matériel limité.
Gemma 3 est disponible en quatre tailles : 1B, 4B, 12B et 27B. Chaque variante est disponible en version de base (pré-entraînée) et en version optimisée par les instructions. Les modèles plus grands (4B, 12B et 27B) offrent des fonctionnalités multimodales, traitant de manière fluide textes, images et courtes vidéos. L'encodeur de vision SigLIP de Google convertit les entrées visuelles en jetons interprétables par le modèle de langage, permettant ainsi à Gemma 3 de répondre à des questions basées sur des images, d'identifier des objets et de lire du texte intégré.
Gemma 3 élargit également considérablement sa fenêtre contextuelle, prenant en charge jusqu'à 128,000 2 jetons, contre 80,000 3 pour Gemma 140. Cela permet au modèle de traiter davantage d'informations dans une seule invite. De plus, Gemma XNUMX prend en charge plus de XNUMX langues, améliorant ainsi l'accessibilité globale.
Classement des Chatbot Arena de LMSYS
Gemma 3 est rapidement devenu un modèle d'IA très performant sur Arène de chatbot LMSYS, un benchmark évaluant les modèles linguistiques de grande taille en fonction des préférences humaines. Gemma-3-27B a obtenu un score Elo de 1338 3, se classant au neuvième rang mondial. Il devance ainsi des concurrents notables tels que DeepSeek-V1318 (3 405), Llama1257-2.5B (72 1257), Qwen2-XNUMXB (XNUMX XNUMX), Mistral Large et les précédents modèles Gemma XNUMX de Google.
AMD renforce l'IA d'entreprise avec l'intégration OPEA
AMD a annoncé son soutien à l'Open Platform for Enterprise AI (OPEA) le 12 mars 2025. Cette intégration connecte le framework OPEA GenAI à la pile logicielle ROCm d'AMD, permettant aux entreprises de déployer efficacement des applications d'IA génératives évolutives sur les GPU des centres de données AMD.
Cette collaboration répond aux principaux défis de l'IA en entreprise, notamment la complexité de l'intégration des modèles, la gestion des ressources GPU, la sécurité et la flexibilité des flux de travail. En tant que membre du comité de pilotage technique d'OPEA, AMD collabore avec les leaders du secteur pour développer des solutions d'IA générative composables et déployables dans des environnements cloud publics et privés.
OPEA fournit des composants applicatifs d'IA essentiels, notamment des workflows prédéfinis, des capacités d'évaluation, des modèles d'intégration et des bases de données vectorielles. Son architecture cloud native, basée sur des microservices, garantit une intégration fluide grâce à des workflows pilotés par API.
AMD lance Instella : des modèles de langage à 3 paramètres entièrement ouverts
AMD a également présenté Instella, une famille de modèles de langage entièrement open source, à 3 milliards de paramètres, développés entièrement sur du matériel AMD.
Innovations techniques et approche de formation
Les modèles Instella utilisent une architecture de transformateur autorégressif textuel avec 36 couches de décodeur et 32 têtes d'attention par couche, prenant en charge des séquences allant jusqu'à 4,096 50,000 jetons. Les modèles utilisent un vocabulaire d'environ XNUMX XNUMX jetons via le tokenizer OLMo.
Après un pipeline en plusieurs étapes, l'entraînement a été réalisé sur 128 GPU AMD Instinct MI300X répartis sur 16 nœuds. Le pré-entraînement initial a nécessité environ 4.065 57.575 milliards de jetons provenant de divers ensembles de données couvrant le codage, les études, les mathématiques et les connaissances générales. Une deuxième étape de pré-entraînement a permis d'affiner les capacités de résolution de problèmes grâce à 8 XNUMX milliards de jetons supplémentaires issus de benchmarks spécialisés tels que MMLU, BBH et GSMXNUMXk.
Après la préformation, Instella a subi un réglage fin supervisé (SFT) avec 8.9 milliards de jetons de données instructions-réponses organisées, améliorant ainsi les capacités interactives. Une phase finale d'optimisation des préférences directes (DPO) a permis d'aligner étroitement le modèle sur les préférences humaines, en utilisant 760 millions de jetons de données soigneusement sélectionnées.
Performances de référence impressionnantes
Les résultats des benchmarks soulignent les gains de performance remarquables d'Instella. Le modèle a surpassé les modèles entièrement ouverts existants de plus de 8 % en moyenne, avec des résultats impressionnants dans des benchmarks tels qu'ARC Challenge (+8.02 %), ARC Easy (+3.51 %), Winograde (+4.7 %), OpenBookQA (+3.88 %), MMLU (+13.12 %) et GSM8k (+48.98 %).
Contrairement aux principaux modèles à poids ouvert comme Llama-3.2-3B et Gemma-2-2B, Instella a démontré des performances supérieures, voire très compétitives, dans de multiples tâches. La variante optimisée par les instructions, Instella-3B-Instruct, a montré des avantages significatifs par rapport aux autres modèles entièrement optimisés par les instructions, avec une avance moyenne de plus de 14 %, tout en se montrant compétitive face aux principaux modèles à poids ouvert optimisés par les instructions.
Version et disponibilité entièrement open source
Conformément à son engagement envers les principes open source, AMD a publié tous les artefacts liés aux modèles Instella, notamment leurs pondérations, leurs configurations d'entraînement détaillées, leurs jeux de données et leur code. Cette transparence totale permet à la communauté de l'IA de collaborer, de reproduire et d'innover avec ces modèles.
Conclusion
Ces annonces de Google et d'AMD ouvrent la voie à une année passionnante en matière d'innovation en IA. La dynamique du secteur est évidente : Gemma 3 redéfinit l'efficacité multimodale, et les modèles Instella d'AMD et l'intégration d'OPEA optimisent l'IA d'entreprise. À l'approche de la conférence GTC de NVIDIA et de nouvelles innovations révolutionnaires, il est évident que ces développements ne sont qu'un début.
Amazon