Equinix hat seine Partnerschaft mit NVIDIA ausgebaut und eine neue Kooperation mit Together AI gestartet, um Equinix Inference Exchange einzuführen. Die Plattform ist als verteilte KI-Inferenzarchitektur für Unternehmenseinsätze konzipiert und zielt darauf ab, Rechenlasten näher an zentrale Datenspeicher, Endnutzer und operative Anwendungen zu verlagern. Die Initiative wurde zusammen mit Equinix Fabric One auf der Equinix Horizon-Veranstaltung vorgestellt und kombiniert NVIDIA-Hardwarearchitekturen für Unternehmen, die Open-Source-Modellplattform von Together AI und die globale Interkonnektionsinfrastruktur von Equinix, um Latenzprobleme, Datensouveränität und Netzwerkengpässe zu beheben.
Umgang mit verteilter Inferenz und Datengravitation
Mit dem Übergang von KI-Initiativen in Unternehmen von der Prototypenvalidierung zur produktiven Massenproduktion bestimmt die Platzierung der Inferenz die Gesamtkosten, die Reaktionszeit und die Einhaltung von Compliance-Vorgaben. Die Verlagerung der Modellausführung näher an die Datenquellen reduziert die Kosten für die Datenübertragung über öffentliche Clouds und gewährleistet gleichzeitig deterministische Latenzprofile. Die Verwaltung verteilter Infrastrukturen in heterogenen Umgebungen führt jedoch zu operativem Mehraufwand und erhöhter Netzwerkkomplexität.
Equinix begegnet dieser operativen Herausforderung durch sein Netzwerk von über 280 Rechenzentren in 77 Metropolregionen, 230 Cloud-Zugangspunkten und mehr als 10,500 verbundenen Unternehmen. Da acht der zehn führenden Anbieter von KI-Modellen und neun der zehn führenden KI-Clouds bereits in Equinix-Einrichtungen betrieben werden, fungiert die Plattform als neutrale Aggregationsschicht für verteilte KI-Pipelines.
Architektur- und Stack-Integration
Der Equinix Inference Exchange-Stack ist in drei verschiedene Schichten unterteilt: Rechenleistung, Software und physische Infrastruktur.
Equinix verwaltet die physische und die Verbindungsinfrastruktur. Dies umfasst die Stromversorgung, fortschrittliche Flüssigkeitskühlung, den laufenden Betrieb der Anlagen sowie private Verbindungen zu Netzwerken, öffentlichen Clouds und SaaS-Plattformen über Equinix Fabric.
NVIDIA stellt die Rechen- und Referenzvalidierungsschicht bereit und liefert damit eine KI-Infrastruktur für Unternehmen, die für einen hohen Token-Durchsatz und reduzierte Inferenzkosten pro Abfrage ausgelegt ist.
Together AI stellt die Softwareschicht für Inferenzberechnungen bereit, die über 200 Open-Source-Modelle unterstützt. Die Plattform unterstützt sowohl gemeinsam genutzte Multitenant-Umgebungen für allgemeine Recheneffizienz als auch dedizierte Single-Tenant-Topologien für Workloads, die isolierte Kapazität erfordern.
Durch die Weiterleitung des Datenverkehrs über Equinix Fabric reduziert die Plattform die Time-to-First-Token-Metriken (TTFT) für regionale Benutzer und stellt gleichzeitig private Peering-Pfade zwischen lokalem Speicher und Modellendpunkten her.
Unternehmensweite Bereitstellungsziele und Verfügbarkeit
Die Plattform zielt auf drei primäre Bereitstellungstopologien ab. Für die Metro-Edge-Inferenz können Unternehmen Modelle in lokalen Metro-Hubs ausführen und so API-Antworten mit geringer Latenz bereitstellen, während gleichzeitig die zentrale Verwaltung und private Verbindungen erhalten bleiben. Für die Migration von Open-Source-Modellen bietet die Architektur einen reibungslosen Übergang von geschlossenen, proprietären APIs zu Open-Source-Basismodellen. Dies reduziert die Abhängigkeit von einzelnen Anbietern und nutzt bestehende Netzwerkstrukturen. Für souveräne KI und Compliance-Vorgaben ermöglicht das verteilte Layout Unternehmen in regulierten Branchen, die Inferenzausführung und Datenverarbeitung innerhalb bestimmter geografischer Grenzen zu halten und so strenge Anforderungen an Datenresidenz und Governance zu erfüllen.
Die Führungskräfte von Equinix, NVIDIA und Together AI stellten fest, dass die Integration eine herstellerneutrale, leistungsstarke Inferenzinfrastruktur schafft, die Rechenleistung und operative Agilität in Einklang bringt.
Die allgemeine Verfügbarkeit von Equinix Inference Exchange für Unternehmen ist für das erste Quartal 2027 geplant.
Amazon