SambaNova et Supermicro vont concevoir et commercialiser des systèmes d'inférence désagrégés associant des GPU NVIDIA aux unités de flux de données reconfigurables (RDU) SN50 de SambaNova. Supermicro prévoit initialement la production de 10 000 puces SN50. Ces racks rejoignent le catalogue de solutions modulaires pour centres de données (DCBBS) de Supermicro, qui assurera leur intégration, leurs tests, leur livraison et leur support. Les deux entreprises précisent que ce chiffre de 10 000 puces constitue une estimation pour un déploiement progressif ; aucune n'a communiqué d'engagement d'achat, de prix ni de date de livraison.
Les GPU NVIDIA exécutent le préremplissage, les RDU SN50 exécutent le décodage
La répartition suit les deux phases d'inférence LLM. La phase de pré-remplissage traite l'invite et est limitée par la puissance de calcul, que SambaNova attribue aux GPU NVIDIA ; la phase de décodage génère la réponse jeton par jeton et est limitée par la mémoire, qu'elle attribue au SN50. SambaNova justifie ce choix par le fait que les charges de travail agentiques passent la majeure partie de leur temps en phase de décodage, car un agent effectue des milliers d'appels au modèle et chaque réponse conditionne son action suivante ; une phase de décodage plus rapide raccourcit donc la boucle globale.
Le SN50 est la cinquième génération d'unités de distribution de ressources (RDU) de SambaNova. Selon l'entreprise, il prend en charge les configurations les plus performantes avec un débit élevé sans nécessiter une densité de puissance excessive dans le rack. Les opérateurs peuvent ainsi augmenter la capacité d'inférence de leurs infrastructures existantes et conserver leurs GPU actuels pour le préremplissage. SambaNova revendique une puissance de calcul par accélérateur cinq fois supérieure et une bande passante réseau quatre fois plus importante que la génération précédente pour le SambaRack SN50, refroidi par air et évolutif jusqu'à 256 accélérateurs.
Le SambaRack SN50 peut accueillir 16 RDU par rack. Ainsi, le plan initial de 10 000 puces nécessite environ 625 racks si Supermicro maintient cette densité. SambaNova n'a pas communiqué les données de débit, de latence ni de consommation énergétique des systèmes combinant GPU et RDU, et Supermicro n'a pas précisé les configurations des serveurs, les modèles de GPU, les interconnexions, ni le nombre de GPU et de RDU par système. Le catalogue DCBBS de Supermicro inclut déjà les racks NVIDIA Vera Rubin NVL72 et le rack CPU Vera destiné aux environnements de test d'agents.
Supermicro prend en charge l'intégration et l'assistance sur site
Supermicro prend en charge l'intégration système, les tests, la livraison et le support client, y compris l'intervention sur site, tandis que les ingénieurs de SambaNova installent les modèles sur le SN50, les optimisent pour le matériel et accompagnent Supermicro lors des déploiements. Pour les acheteurs, le changement réside dans le canal de distribution : les RDU SN50 peuvent être commandées avec les GPU chez Supermicro, au même titre que le reste d'un rack, un seul fournisseur étant responsable du système.
« L'IA agente représente la prochaine révolution en matière d'inférence et doit être déployée partout », a déclaré Rodrigo Liang, cofondateur et PDG de SambaNova. « Supermicro conçoit des infrastructures d'IA pour les datacenters du monde entier. Désormais, les clients peuvent commander des unités de routage SN50 (RDU) et des GPU auprès d'un partenaire de confiance, leader mondial du secteur. C'est ainsi que l'inférence rapide et efficace peut atteindre une échelle exponentielle. »
« Notre collaboration avec SambaNova élargit notre vaste portefeuille DCBBS en permettant des architectures hétérogènes qui intègrent le calcul GPU à une accélération d'inférence spécialisée, aidant ainsi les clients à déployer des solutions d'IA efficaces et évolutives », a déclaré Charles Liang, président et PDG de Supermicro.
NeoClouds et Sovereign Clouds sont les cibles initiales.
Les entreprises commenceront par les NeoClouds et les clouds souverains, puis s'étendront aux entreprises exécutant l'IA sur site. SambaNova prévoit que ce partenariat permettra de mettre en service une capacité d'inférence haute performance nettement supérieure en 2027 à celle qu'elle pourrait déployer seule. L'entreprise n'a cependant pas encore dévoilé ses clients ni communiqué de calendrier pour les 10 000 puces. Cet accord fait suite à la levée de fonds de 1 milliard de dollars réalisée par SambaNova le 1er juillet, valorisant l'entreprise à 11 milliards de dollars. Cette levée de fonds s'est accompagnée du déploiement par JPMorgan Chase des systèmes SN40 et SN50 pour l'inférence sur site, ainsi que de sa collaboration avec Intel sur l'inférence hétérogène.
Amazon