PEAK:AIO a lancé une solution innovante qui unifie l'accélération KVCache et l'extension de mémoire GPU, répondant ainsi aux exigences des charges de travail d'IA à grande échelle. Cette nouvelle plateforme prend en charge l'inférence, les systèmes multi-agents et la création de modèles, à mesure que les applications d'IA évoluent des requêtes statiques vers des flux de contexte dynamiques et des agents fonctionnant en continu. L'évolution de la complexité des charges de travail d'IA requiert une évolution correspondante des infrastructures, et la dernière offre de PEAK:AIO est conçue pour relever ces défis.
Eyal Lemberger, cofondateur et stratège en chef de l'IA chez PEAK:AIO, souligne l'importance cruciale de traiter l'historique des jetons comme de la mémoire plutôt que comme du stockage traditionnel. Il souligne que les modèles d'IA modernes peuvent nécessiter plus de 500 Go de mémoire par instance, et que l'évolutivité de la mémoire doit suivre le rythme des avancées informatiques. Lemberger souligne qu'à mesure que les modèles de transformateurs se développent et deviennent plus complexes, les approches traditionnelles, telles que la modernisation des piles de stockage ou l'extension excessive du NVMe, ne suffisent plus. La nouvelle plateforme de mémoire à jetons 1U de PEAK:AIO est spécialement conçue pour les opérations centrées sur la mémoire, et non pour le stockage de fichiers, marquant ainsi une rupture significative avec les architectures conventionnelles.
Architecture centrée sur les jetons pour une IA évolutive
La plate-forme PEAK:AIO est la première à mettre en œuvre une architecture centrée sur les jetons exploitant la mémoire CXL, Gen5 NVMe et GPUDirect RDMA pour fournir jusqu'à 150 Go/s de débit soutenu avec une latence inférieure à 5 microsecondes.
La plateforme prend en charge la réutilisation de KVCache entre les sessions, les modèles et les nœuds, permettant une utilisation plus efficace de la mémoire et un changement de contexte plus rapide. Elle permet également l'extension de la fenêtre contextuelle, essentielle pour conserver des historiques LLM plus longs et prendre en charge des interactions IA plus complexes. En déchargeant la mémoire GPU grâce à une véritable hiérarchisation CXL, la solution réduit la saturation de la mémoire GPU, un goulot d'étranglement courant dans les déploiements IA à grande échelle. L'accès à très faible latence est obtenu grâce à RDMA sur NVMe-oF, garantissant une mémoire de jetons disponible à des vitesses de classe mémoire.
Contrairement aux solutions de stockage NVMe traditionnelles, l'architecture de PEAK:AIO est conçue pour fonctionner comme une véritable infrastructure mémoire. Cela permet aux équipes de mettre en cache l'historique des jetons, les cartes d'attention et les données en streaming avec la vitesse et l'efficacité de la RAM, plutôt que de les traiter comme des fichiers. La plateforme est entièrement compatible avec les modèles de réutilisation KVCache et de récupération de mémoire de NVIDIA, offrant une intégration transparente aux équipes travaillant avec TensorRT-LLM ou Triton. Cette compatibilité avec les plug-ins accélère l'inférence et réduit les coûts d'intégration, offrant ainsi un avantage significatif en termes de performances.
Lemberger souligne que, tandis que d'autres fournisseurs tentent d'adapter les systèmes de fichiers pour qu'ils se comportent comme de la mémoire, PEAK:AIO a développé une infrastructure qui fonctionne intrinsèquement comme de la mémoire. Cette distinction est cruciale pour l'IA moderne, où la priorité est un accès rapide et de classe mémoire à chaque jeton, et pas seulement au stockage de fichiers.
Mark Klarzynski, cofondateur et directeur de la stratégie de PEAK:AIO, souligne que l'utilisation de la technologie CXL constitue un facteur de différenciation clé. Il décrit la plateforme comme une véritable matrice mémoire pour l'IA, contrairement à ses concurrents qui empilent des périphériques NVMe. Klarzynski souligne que cette innovation est essentielle pour offrir de véritables capacités de mémoire à grande échelle et prendre en charge la prochaine génération de charges de travail d'IA.
La solution est entièrement logicielle et fonctionne sur des serveurs standard, ce qui la rend accessible et évolutive pour divers environnements d'entreprise et cloud. PEAK:AIO prévoit que la plateforme entrera en production d'ici le troisième trimestre, la positionnant comme une technologie transformatrice pour les équipes techniques et commerciales, les équipes d'ingénierie et les dirigeants souhaitant pérenniser leur infrastructure d'IA.
Amazon