Dell Technologies a annoncé la prise en charge de solutions d’IA standardisées optimisées pour l’écosystème Llama. Ces solutions visent à simplifier le développement d’applications d’IA et à accroître les capacités des flux de travail basés sur des agents.
Améliorer les applications d'IA grâce aux workflows d'agents
Les solutions d'IA Dell avec l'écosystème Llama sont conçues pour simplifier l'expérience des développeurs et améliorer l'efficacité des applications d'IA. Llama Stack, un framework logiciel standardisé, prend en charge plusieurs étapes du développement de l'IA, notamment la formation des modèles, le réglage fin et le déploiement en production. Il s'intègre désormais étroitement aux bibliothèques PyTorch, facilitant le déploiement transparent de la génération augmentée de récupération (RAG) et d'autres applications d'IA.
La combinaison de Llama Stack avec Dell AI Factory permet aux organisations de tirer parti d'une infrastructure de niveau entreprise, prise en charge par Dell PowerEdge XE9680 serveurs équipés de GPU NVIDIA H100. Cette architecture de référence offre évolutivité et performances, facilitant ainsi le développement d'applications d'IA basées sur des agents.
L'architecture propose des API standardisées qui simplifient le développement en favorisant la réutilisation du code et en activant les fonctionnalités plug-and-play pour les modèles Llama actuels et futurs. Le déploiement sécurisé avec des fonctionnalités de sécurité intégrées garantit la conformité et la protection des applications d'IA. L'infrastructure adaptable de Dell prend en charge divers cas d'utilisation de l'IA, de l'inférence à nœud unique aux déploiements à plusieurs nœuds.
Ces fonctionnalités permettent aux entreprises de mettre en œuvre des flux de travail impliquant plusieurs modèles et banques de mémoire travaillant ensemble pour résoudre des problèmes commerciaux complexes. L'architecture de référence, intégrée à Llama Stack, rationalise l'exécution de tâches telles que l'inférence, le RAG et la génération de données synthétiques, tandis que les modèles Llama Guard établissent des mesures de sécurité et des garde-fous pour une sécurité renforcée.
Donner du pouvoir aux scientifiques et aux développeurs de données
Le développement d'applications d'IA comporte des défis, notamment des coûts élevés, des problèmes d'évolutivité et des difficultés à sécuriser les ressources nécessaires. Le choix de l'architecture appropriée ainsi que l'intégration et la maintenance des systèmes d'IA sont essentiels. Les solutions d'IA de Dell avec Llama visent à relever ces défis et à bénéficier aux data scientists, aux développeurs et aux décideurs informatiques.
L'architecture de référence offre des directives détaillées pour le déploiement de modèles Llama sur les serveurs PowerEdge XE9680, avec des flux de travail validés et des exemples de code pour accélérer le développement.
Les configurations validées de Dell AI Factory rationalisent l'installation de solutions d'IA dans les centres de données, offrant une évolutivité sur plusieurs nœuds et soutenues par des services de déploiement personnalisés.
Les solutions d'IA Dell avec Llama permettent aux développeurs d'adopter rapidement de nouveaux modèles, outils et cadres d'IA à l'aide de blocs de construction standardisés, garantissant ainsi la portabilité du code dans différents environnements. Elles simplifient les pipelines de données via les plateformes Dell Data Lakehouse et PowerScale. De plus, les modèles Llama sont disponibles sur le hub Enterprise de Dell via la plateforme Hugging Face. Ces modèles sont des conteneurs et des scripts pré-packagés et prêts à être déployés pour un déploiement sécurisé et efficace.
Dell propose également des services de déploiement de modèles Llama, de prise en charge de la stratégie, de la préparation des données, de la mise en œuvre du modèle et des résultats d'IA générative.
Présentation de Llama 3.2 : Libérer l'intelligence multimodale
La sortie de Llama 3.2 représente une avancée significative dans la technologie de l'IA, en fournissant aux développeurs les outils nécessaires pour créer une nouvelle génération d'expériences d'IA privées, efficaces et responsables. Llama 3.2 comprend des modèles multilingues allant de 1B à 90B paramètres capables de traiter des entrées de texte et d'image. Ces modèles, y compris les options de texte léger uniquement (1B et 3B) et les LLM de vision (11B et 90B), prennent en charge les longueurs de contexte importantes et sont optimisés pour l'inférence à l'aide de mécanismes avancés d'attention des requêtes.
Les modèles 3.2B et 11B de Llama 90 offrent des capacités de raisonnement d'image, notamment la compréhension au niveau du document, comme l'interprétation de graphiques et de diagrammes et le sous-titrage d'images. Les modèles prennent également en charge l'inférence en temps réel et par lots, optimisée pour les charges de travail interactives et à haut débit. Lorsqu'ils sont intégrés aux solutions AI Factory de Dell, ces modèles permettent aux entreprises d'exploiter l'IA dans de nombreuses applications, notamment la détection des défauts dans la fabrication, l'amélioration de la précision du diagnostic dans les soins de santé et l'amélioration de la gestion des stocks de détail.
Amazon