Equinix heeft zijn partnerschap met NVIDIA uitgebreid en een nieuwe samenwerking met Together AI aangegaan om Equinix Inference Exchange te lanceren. Dit platform is ontworpen als een gedistribueerde AI-inferentiearchitectuur voor bedrijfsomgevingen en heeft als doel de rekenkracht dichter bij de kerngegevensopslagplaatsen, eindgebruikers en operationele applicaties te brengen. Het initiatief, dat samen met Equinix Fabric One werd aangekondigd tijdens het Equinix Horizon-evenement, combineert NVIDIA-hardwarearchitecturen voor bedrijven, het open-source modelplatform van Together AI en de wereldwijde interconnectie-infrastructuur van Equinix om knelpunten op het gebied van latentie, gegevenssoevereiniteit en netwerken aan te pakken.
Het aanpakken van gedistribueerde inferentie en datagravitatie
Naarmate AI-initiatieven binnen bedrijven overgaan van prototypevalidatie naar grootschalige productie, bepaalt de plaatsing van de inferentie de totale kosten, de responstijd en de naleving van regelgeving. Door de modeluitvoering dichter bij de databronnen te plaatsen, worden de kosten voor het transporteren van data via publieke clouds verlaagd en worden tegelijkertijd deterministische latentieprofielen geboden. Het beheren van gedistribueerde infrastructuur in verschillende omgevingen brengt echter operationele overhead en netwerkcomplexiteit met zich mee.
Equinix pakt deze operationele hindernis aan door gebruik te maken van zijn netwerk van meer dan 280 datacenters in 77 grote steden, 230 cloud-onramps en een netwerk van meer dan 10,500 onderling verbonden bedrijven. Met acht van de tien grootste aanbieders van AI-modellen en negen van de tien grootste AI-clouds die al binnen de faciliteiten van Equinix opereren, fungeert het platform als een neutrale aggregatielaag voor gedistribueerde AI-pipelines.
Architectuur en stackintegratie
De Equinix Inference Exchange-stack is opgebouwd uit drie afzonderlijke lagen op het gebied van rekenkracht, software en fysieke infrastructuur:
Equinix beheert de fysieke basisinfrastructuur en de interconnectie. Dit omvat stroomvoorziening, geavanceerde vloeistofkoeling, operationeel beheer vanaf de eerste dag na ingebruikname en private interconnectiviteit met netwerken, publieke clouds en SaaS-platformen via Equinix Fabric.
NVIDIA levert de reken- en referentievalidatielaag en biedt een bedrijfsbrede AI-infrastructuur die is ontworpen voor een hoge tokendoorvoer en lagere inferentiekosten per query.
Together AI levert de softwarelaag voor inferentie die meer dan 200 open-source modellen ondersteunt. Het platform ondersteunt zowel gedeelde multitenant-omgevingen voor algemene rekenefficiëntie als dedicated single-tenant-topologieën voor workloads die geïsoleerde capaciteit vereisen.
Door verkeer via Equinix Fabric te routeren, verlaagt het platform de time-to-first-token (TTFT)-waarden voor regionale gebruikers en worden er privé-peeringpaden opgezet tussen on-premises opslag en model-endpoints.
Implementatiedoelen en beschikbaarheid voor bedrijven
Het platform is gericht op drie primaire implementatietopologieën. Voor metro-edge inferentie kunnen organisaties modellen uitvoeren in lokale metrohubs, waardoor API-respons met lage latentie wordt geleverd, terwijl gecentraliseerd beheer en private interconnecties behouden blijven. Voor de migratie van open-source modellen biedt de architectuur een soepele overgang van gesloten, propriëtaire API's naar open-source basismodellen, waardoor vendor lock-in wordt verminderd en gebruik wordt gemaakt van bestaande netwerkstructuren. Voor soevereine AI en compliance-vereisten stelt de gedistribueerde opzet bedrijven in gereguleerde sectoren in staat om de inferentie-uitvoering en gegevensverwerking binnen specifieke geografische grenzen te houden, wat helpt om te voldoen aan strenge eisen op het gebied van dataresidentie en -governance.
De leiding van Equinix, NVIDIA en Together AI merkte op dat de integratie een leveranciersneutraal, krachtig inferentieplatform creëert dat een balans biedt tussen rekenkracht en operationele flexibiliteit.
Equinix Inference Exchange zal naar verwachting in het eerste kwartaal van 2027 algemeen beschikbaar komen voor bedrijven.
Amazon