NVIDIA en Cisco hebben vandaag plannen aangekondigd voor Ultra-Dense Small Form Factor Pluggable (USFP), een optisch moduleformaat dat is ontworpen voor 400 Gb/s per lane Ethernet in AI-netwerken. De eerste geplande transceivers bieden 16 full-duplex lanes in een formaat dat ongeveer gelijk is aan dat van een OSFP-module, wat neerkomt op 6.4 Tb/s per module. De connector is ontworpen om uit te breiden naar 32 lanes en 12.8 Tb/s. NVIDIA en Cisco stellen dat USFP vier keer zoveel bandbreedte en frontpaneeldichtheid biedt als 200 Gb/s per lane pluggable modules, met een energiezuinigheid die ongeveer 1.3 keer zo hoog is.
USFP is een plan zonder vast schema voor het maken van samples of een datum voor beschikbaarheid. NVIDIA en Cisco zijn van plan het ontwerp om te zetten in een open industriestandaard via een door de community geleide overeenkomst met meerdere leveranciers. Het is een onderdeel van een grotere reeks bijdragen van NVIDIA aan de OCP Global Summit, die ook betrekking hebben op Vera Rubin-rackontwerpen, DSX AI-fabriekssoftware, specificaties voor faciliteiten en netwerken, 800 VDC-voeding en Ethernet-projecten met Meta en Google.
USFP verhoogt het aantal lanes en de bandbreedtedichtheid van het voorpaneel.
USFP verdubbelt zowel het aantal lanes als de snelheid per lane van de huidige modules. Volgens NVIDIA en Cisco maakt dit het mogelijk voor een switch om meer 1.6 Tb/s endpoints aan te sluiten zonder een extra netwerklaag toe te voegen. De modules zijn bedoeld voor zowel switches als SuperNIC's. De bedrijven beschouwen de frontpaneeldichtheid als de beperkende factor voor de groei van AI-fabric: zodra een switch geen poorten meer over heeft, is de volgende stap een extra switchlaag met meer optische modules, wat leidt tot meer latentie, stroomverbruik en kosten. USFP behoudt het pluggable model, waardoor modules in het veld vervangbaar en onderhoudbaar blijven.
"Het bouwen van 's werelds grootste AI-fabrieken begint met het heroverwegen van de kleinste verbindingen", aldus Gilad Shainer, senior vice president bij NVIDIA. Bill Gartner, senior vice president en general manager van optische systemen en optica bij Cisco, zei dat het opvoeren van pluggable optica naar 400 Gb/s per lane meer vereist dan een incrementele uitbreiding van de huidige moduleontwerpen.
Een nieuwe connector ondersteunt 400 Gb/s-signaaloverdracht.
De connector is een tweedimensionale contactarray met een tweetraps insteekvolgorde, waarbij de hogesnelheidscontacten pas contact maken nadat de module is geplaatst. NVIDIA en Cisco stellen dat dit de slijtage van de contacten vermindert, de signaalintegriteit verbetert en de insteekkracht voorspelbaarder maakt. De connector is ontworpen voor 400 Gb/s per lane en verbetert volgens de bedrijven ook de prestaties bij 200 Gb/s per lane.
Een USFP-module kan tot 100W aan vermogen afvoeren zonder een speciaal koelcircuit in de transceiver, wat volgens de bedrijven het switchontwerp vereenvoudigt en de betrouwbaarheid verbetert. Elke USFP-configuratie ondersteunt optische ontwerpen die de signaalverwerking vereenvoudigen om latentie en stroomverbruik te verminderen, en het formaat is geschikt voor een reeks optische technologieën en bereikklassen. NVIDIA en Cisco werken samen met TE Connectivity en Amphenol aan cages, connectoren en modules, en er worden meer partners verwacht, voortbouwend op hun bestaande interoperabiliteitswerk tussen NVIDIA Spectrum-X en Cisco Silicon One-gebaseerde Ethernet-netwerken.
MGX 1.2 breidt de Vera Rubin Rack-infrastructuur uit.
NVIDIA heeft via zijn open MGX-architectuur zijn Vera Rubin -rack- en compute-tray-ontwerpen aan OCP bijgedragen als onderdeel van het derde generatie MGX-referentieontwerp in OCP's Open DC Initiative, samen met de open vloeistofkoelingsontwerpen MQD en MQDB. De MGX 1.2-specificatie voegt vloeistofkoeling op rackniveau met blinde koppeling, interoperabele interconnectie-infrastructuur op rackniveau en een vloeistofgekoelde 5,000A-busbar toe, met native ondersteuning voor 19-inch apparatuur en rackimplementaties tot 250 kW.
Configureerbare I/O-bays, ventilatorloze vloeistofgekoelde compute-trays en gestandaardiseerde stroom- en koelinterfaces maken de specificaties compleet. NVIDIA stelt dat de gemeenschappelijke interfaces de montage-, test- en servicetijden voor partners verkorten. Een aparte specificatie voor het ontwerp van de Vera CPU- rack breidt MGX uit tot voorbij versneld computergebruik. NVIDIA positioneert de Vera Rubin NVL72 als het platform voor grootschalige training en inferentie, en de Vera CPU-rack voor het aanroepen van tools, orkestratie en de uitvoering in een sandbox, wat agentische workloads met zich meebrengen.
DSX OS voegt componenten toe voor netwerk-, rack- en clusterbeheer.
NVIDIA heeft DSX OS, de open source besturingslaag van zijn DSX AI-platform, uitgebreid met vier open-source componenten. NVIDIA Config Manager automatiseert de configuratie, validatie en het onderhoud van switches in AI-omgevingen. NVIDIA Cluster Readiness Engine voert stresstests uit op GPU-clusters met workloadsimulaties voordat de training begint. Volgens NVIDIA worden hiermee hardwareproblemen opgespoord die anders tot mislukte trainingen zouden leiden.
De NVIDIA Rack Management Service beschouwt het rack als de operationele eenheid, met hardware-abstractie en firmwarebeheer op dat niveau. De Cluster API Provider voor de NVIDIA Infrastructure Controller verzorgt de bare-metal implementatie en de onboarding van tenants, en NVIDIA beweert dat hiermee ruwe hardware binnen enkele uren kan worden omgezet in productieklare clusters. De componenten zijn voortgekomen uit NVIDIA's ervaring met DGX Cloud en zijn bedoeld om cloudproviders en softwarepartners in staat te stellen AI-fabriekactiviteiten te integreren in multi-tenant platforms.
Open specificaties hebben betrekking op het ontwerp van de faciliteit en het herstel van het elektriciteitsnet.
NVIDIA, AMD, Google en Meta publiceerden Open Data Center Specification v0.7, een gezamenlijke blauwdruk voor datacenters die de stroomvoorziening, koeling en fysieke lay-out beschrijft. Apparatuurfabrikanten, colocatieproviders en operators kunnen zich hierop baseren bij hun ontwerpen. Google, Meta, Microsoft en NVIDIA publiceerden ook de OCP Grid Resilience Specification, die definieert hoe grote AI-faciliteiten stroomstoringen moeten doorstaan: verbonden blijven, automatisch reageren en binnen twee seconden weer bijna volledig operationeel zijn. NVIDIA stelt dat beide specificaties aansluiten op hun DSX-referentieontwerp.
Visionbay heeft plannen gepresenteerd voor K-1, een AI-fabrieksplatform dat NVIDIA's 800 VDC -referentiearchitectuur combineert met Vertiv-stroom- en koelapparatuur voor toekomstige Vera Rubin-implementaties. K-1 verplaatst de AC-naar-DC-conversie naar stroomcentra op clusterniveau en verdeelt 800 VDC dichter bij de rekenkracht, met gefaseerde invoering van 800 VDC, vloeistofkoeling en modulaire uitbreiding. Visionbay heeft nog geen implementatiedatum bekendgemaakt.
Meta neemt Spectrum-6 en Multiplane-netwerken in gebruik.
Meta gaat NVIDIA Spectrum-6 102.4 Tb/s Ethernet gebruiken voor zijn Vera Rubin AI-fabrieken. NVIDIA zegt dat Spectrum-6 de schakelcapaciteit en de bandbreedte per lane verdubbelt ten opzichte van Spectrum-4, met een snelheid van 200 Gbps per lane en prestatie-isolatie tussen taken. Meta's op Spectrum-6 gebaseerde N-IceCube-switch wordt in het vloeistofgekoelde IcePack 100T-rack geplaatst en draait FBOSS, Meta's open switch-software, die gebruikmaakt van de OCP Switch Abstraction Interface voor leverancieronafhankelijke besturing van de hardware.
Spectrum-X Multiplane combineert Spectrum-6 switches met ConnectX-9 SuperNICs en verdeelt GPU-verkeer in hardware over maximaal acht onafhankelijke netwerklagen. NVIDIA zegt dat het ontwerp schaalbaar is tot meer dan 100,000 GPU's met minder switchlagen, en dat wanneer een component uitvalt, het verkeer wordt overgeplaatst naar de resterende lagen, zodat taken met een lagere bandbreedte kunnen worden voortgezet. Meta en NVIDIA zeggen dat ze de voordelen op het gebied van redundantie zowel on-premises als in de cloud hebben gevalideerd, zonder cijfers te publiceren.
Google Falcon Transport richt zich op toekomstige netwerkhardware van NVIDIA.
NVIDIA en Google hebben de ondersteuning voor Falcon Transport aangekondigd voor toekomstige NVIDIA ConnectX-10 SuperNIC's en BlueField DPU's. Falcon levert betrouwbare data via Ethernet door middel van multipath load balancing, programmeerbare congestiecontrole, hardwarematig herstel na pakketverlies en beveiliging per verbinding. NVIDIA implementeert dit met hardwareversnelling en DOCA-software, waardoor NVIDIA- en Google-NIC's een gemeenschappelijk transportprotocol gebruiken, terwijl applicaties standaard RDMA-interfaces blijven gebruiken. De bedrijven stellen dat dit de bandbreedtebenutting en de voorspelbaarheid van de prestaties voor AI- en opslagverkeer verbetert naarmate Ethernet-netwerken schalen.
Cisco levert Silicon One G300-systemen en voegt een 51.2T Top-of-Rack-onderdeel toe.
Cisco heeft tijdens dezelfde OCP-aankondiging ook zijn eigen siliciumaanbod bijgewerkt. De Silicon One G300 met een snelheid van 102.4 Tb/s is nu beschikbaar als sample en de eerste systemen op basis van de G300 worden naar klanten verzonden. Cisco heeft ook de G302 toegevoegd, een switch-ASIC met een snelheid van 51.2 Tb/s en 200G SerDes, ontworpen voor top-of-rack-systemen met 1.6T optische modules en directe vloeistofkoeling naar de chip. Deze zal naar verwachting vóór eind 2026 worden geleverd. Cisco meldt verder dat zijn P200 deep-buffer routingchip met een snelheid van 51.2 Tb/s nu in productie is bij hyperscalers: Microsoft heeft P200-systemen in productie genomen en Alibaba Cloud heeft zijn eigen Quantum Cat-router met P200 ingezet in zijn eCORE-backbone, die draait op SONiC.
De rest van de Cisco-producten is operationeel. De Cisco 8001 is een managementswitch op de Silicon One A100 in 10G- en 1G-versies die SONiC naar het out-of-band netwerk brengt, zodat operators één set API's en automatisering kunnen gebruiken van de fabric tot aan het rack. Cisco-gevalideerde SONiC wordt meegeleverd met de Nexus One-architectuur en een Live Protect-optie die bekende kwetsbaarheden tijdens runtime verhelpt, vóór de definitieve oplossing, staat gepland voor medio 2027. Cisco is lid van ESUN en geeft aan te werken aan de 1.0-specificatie voor schaalbare netwerken.
Amazon