DeepInfra hat ein neues KI-Rechenzentrum in Toronto eröffnet. Dies ist der erste Standort des Unternehmens außerhalb der USA und insgesamt sein neunter Standort. Die Eröffnung wurde am 8. Juli bekannt gegeben. Der Standort erweitert die globale Inferenzinfrastruktur von DeepInfra, da sich die Nachfrage von KI-Modelltraining hin zu produktiven Inferenz-Workloads verlagert.
Die Anlage in Toronto bietet eine Kapazität von 1.7 MW und wird mehr als 1,000 NVIDIA Blackwell B300 GPUs beherbergen. Nach der Inbetriebnahme wird der Cluster die globale Inferenzkapazität von DeepInfra erhöhen und gleichzeitig die Latenz für Kunden in Kanada und anderen internationalen Märkten reduzieren.
Diese Expansion spiegelt einen branchenweiten Trend wider. Da Unternehmen generative KI-Anwendungen zunehmend produktiv einsetzen, verlagert sich der Infrastrukturbedarf immer mehr vom Training hin zur Inferenz. Die Inferenz großer Sprachmodelle erfordert eine kontinuierliche GPU-Verfügbarkeit, latenzarme Netzwerke und eine geografisch verteilte Infrastruktur, um interaktive Anwendungen, KI-Agenten und API-Dienste mit hohem Datenaufkommen zu unterstützen. Laut einer in der Ankündigung zitierten Studie von McKinsey & Company wird die Inferenz bis 2030 mehr als 40 % des gesamten Rechenzentrumsbedarfs ausmachen und mit einer geschätzten jährlichen Wachstumsrate von 35 % wachsen.
DeepInfra erklärte, die Implementierung in Toronto sei darauf ausgelegt, diese Anforderungen zu erfüllen, indem GPU-Ressourcen näher an Nutzer und Daten gebracht und gleichzeitig die Gesamtkapazität der Plattform erhöht werden. Das Unternehmen besitzt und betreibt seine GPU-Infrastruktur, unterstützt über 200 Open-Source-Modelle und verarbeitet nach eigenen Angaben wöchentlich fast fünf Billionen Token über seine verwaltete Inferenzplattform, die sowohl offene als auch proprietäre KI-Modelle unterstützt.
Die Implementierung unterstreicht die zunehmende Verbreitung der Blackwell-Architektur von NVIDIA für Inferenzinfrastrukturen. Blackwell-GPUs sind darauf ausgelegt, den Inferenzdurchsatz und die Energieeffizienz für große Sprachmodelle und multimodale KI-Workloads im Vergleich zu früheren Hopper-basierten Systemen zu verbessern. DeepInfra gab zwar keine weiteren Details zur Infrastruktur, wie z. B. Netzwerk- oder Speicherarchitektur, bekannt, doch Implementierungen dieser Größenordnung setzen typischerweise auf Hochgeschwindigkeitsverbindungen und verteilten Speicher, um die GPUs optimal auszulasten.
Laut CEO und Mitgründer Nikola Borisov hat sich der Einsatz von KI in Unternehmen von der Experimentierphase hin zum Produktiveinsatz verlagert, wodurch der Bedarf an global verteilter Infrastruktur mit geringerer Latenz und skalierbarer Inferenzkapazität gestiegen ist. Er erklärte, der Cluster in Toronto stelle die erste Expansion des Unternehmens über die USA hinaus dar und bringe Rechenressourcen näher an die Kunden und deren Daten.
Die Inbetriebnahme des Rechenzentrums in Toronto folgt auf die kürzlich abgeschlossene Series-B-Finanzierungsrunde von DeepInfra und ist Teil der umfassenderen Infrastruktur-Expansionsstrategie des Unternehmens. DeepInfra gab an, dass weitere internationale Rechenzentrumsprojekte in Erwägung gezogen werden, da die Nachfrage nach GPU-basierten Inferenzdiensten weiter wächst.
Amazon