IBM heeft baanbrekend onderzoek aangekondigd in optische technologie dat belooft een revolutie teweeg te brengen in de manier waarop datacenters generatieve AI-modellen trainen en uitvoeren. Het bedrijf is een pionier op het gebied van een nieuwe benadering van co-packaged optics (CPO) - een technologie van de volgende generatie die gebruikmaakt van lichtgebaseerde connectiviteit in datacenters. Door de eerste openbaar aangekondigde polymer optical waveguide (PWG) te ontwerpen en te assembleren om deze innovatie aan te drijven, willen IBM-onderzoekers opnieuw definiëren hoe gegevens met een hoge bandbreedte worden verzonden tussen chips, printplaten en servers.
Afbeelding met dank aan Ranovus
Glasvezeltechnologie vervoert enorme hoeveelheden data over lange afstanden en beheert wereldwijde handel en communicatie. Binnen datacenters zijn racks echter afhankelijk van kopergebaseerde DAC-netwerkbekabeling voor connectiviteit. IBM is van mening dat deze opstelling knelpunten kan creëren door de snelheid en capaciteit te beperken, waardoor GPU-accelerators gedurende langere perioden inactief blijven tijdens gedistribueerde AI-trainingsprocessen. IBM's doorbraak is erop gericht om de snelheid en efficiëntie van optica in deze interne verbindingen te brengen, waardoor de prestaties en energie-efficiëntie drastisch worden verbeterd.
IBM heeft een nieuwe CPO-prototypemodule gedemonstreerd die optische connectiviteit met hoge snelheid introduceert in datacenters. Het onderzoek, gepubliceerd in een paper op arXiv, benadrukt hoe deze technologie de bandbreedte drastisch kan vergroten, GPU-downtime kan verminderen en AI-modeltraining kan versnellen, terwijl tegelijkertijd de toenemende energievraag in datacenters wordt aangepakt.
Belangrijkste voordelen van Co-Packaged Optics (CPO)
Verbeterde energie-efficiëntie en kostenreductie
CPO-technologie zorgt voor een meer dan 5x reductie in energieverbruik vergeleken met mid-range elektrische interconnects. Deze vooruitgang zorgt er ook voor dat datacenter-interconnectkabels zich kunnen uitstrekken van slechts een paar meter tot honderden meters, wat de operationele kosten aanzienlijk verlaagt.
- Versnelde AI-training: Door traditionele elektrische bedrading te vervangen door optische connectiviteit, kan CPO de snelheid van het trainen van grote taalmodellen (LLM's) tot wel vijf keer verhogen. Het kan bijvoorbeeld de trainingstijd voor een LLM verkorten van drie maanden naar drie weken, met nog grotere prestatiewinsten naarmate modellen en GPU-bronnen schalen.
- Ongeëvenaarde energiebesparing: IBM schat dat elk AI-model dat is getraind met behulp van CPO het equivalent van de jaarlijks stroomverbruik van 5,000 Amerikaanse huishoudens, wat de transformerende impact op energie-efficiëntie onderstreept.
- Ongeëvenaarde bandbreedtedichtheid: CPO-modules bieden tot 80 keer meer bandbreedte tussen chips vergeleken met elektrische verbindingen. De innovatie van IBM stelt chipmakers in staat om zes keer meer optische vezels toe te voegen aan de rand van siliciumfotonicachips, ook wel "beachfront density" genoemd, wat de algehele capaciteit van het datacenter vergroot.
Pionierstechnologie voor polymeeroptische golfgeleiders (PWG)
Het onderzoeksteam van IBM ontwierp een PWG met hoge dichtheid met optische kanalen met een pitch van 50 micrometer die adiabatisch gekoppeld zijn aan siliciumfotonica-golfgeleiders. Deze assemblage, uitgevoerd met behulp van standaard verpakkingsprocessen, is de eerste die strenge productiestresstests heeft doorstaan, waaronder hoge luchtvochtigheid, extreme temperaturen van -40°C tot 125°C en mechanische duurzaamheid. Het stapelen van PWG's maakt maximaal 128 connectiviteitskanalen mogelijk, wat ongekende schaalbaarheid biedt.
Deze innovatie sluit aan bij IBM's leiderschap in halfgeleidertechnologie, voortbouwend op ontwikkelingen zoals de eerste 2 nm node-chip, nanosheet-transistoren en verticale transistoren (VTFET). CPO-technologie introduceert een nieuwe manier om te voldoen aan de toenemende eisen van AI, door off-module communicatie van elektrisch naar optisch te verplaatsen en duurzame en schaalbare datacenteractiviteiten mogelijk te maken.
Ondersteuning van generatieve AI-groei
Dario Gil, Senior Vice President en Director of Research bij IBM, benadrukte het transformatieve potentieel van CPO:
"Aangezien generatieve AI meer energie en verwerkingskracht vraagt, moet het datacenter evolueren - en co-packaged optics kunnen deze datacenters toekomstbestendig maken. Met deze doorbraak zullen de chips van morgen op dezelfde manier communiceren als glasvezelkabels data in en uit datacenters vervoeren, wat een nieuw tijdperk van snellere, duurzamere communicatie inluidt die de AI-werklasten van de toekomst aankan."
IBM's werk aan CPO werd uitgevoerd in Albany, New York, de thuisbasis van het onlangs aangekondigde National Semiconductor Technology Center (NSTC). Prototype-assemblage en moduletesten vonden plaats in IBM's Bromont, Quebec, faciliteit, een leider in chipverpakking. Deze samenwerking is onderdeel van het Northeast Semiconductor Corridor-initiatief, dat gericht is op het versterken van halfgeleiderinnovatie in de Verenigde Staten en Canada.
De co-packaged optics-innovatie van IBM vertegenwoordigt een belangrijke stap voorwaarts in de verbetering van datacentercommunicatie. Door de integratie van lichtsnelheidsconnectiviteit in racks belooft CPO-technologie ongeëvenaarde efficiëntie, bandbreedte en energiebesparingen te leveren, de mogelijkheden van datacenters opnieuw te definiëren en ze voor te bereiden op de groeiende vraag naar generatieve AI en meer.
Amazon