IBM har tillkännagett banbrytande forskning inom optikteknik som lovar att revolutionera hur datacenter tränar och kör generativa AI-modeller. Företaget har banat väg för ett nytt tillvägagångssätt för co-packaged optik (CPO) – en nästa generations teknik som utnyttjar ljusbaserad anslutning i datacenter. Genom att designa och montera den första offentligt tillkännagivna polymeroptiska vågledaren (PWG) för att driva denna innovation, siktar IBMs forskare på att omdefiniera hur högbandbreddsdata överförs mellan chips, kretskort och servrar.
Bild med tillstånd av Ranovus
Fiberoptisk teknologi transporterar enorma mängder data över långa avstånd och hanterar global handel och kommunikation. Inom datacenter är dock rack beroende av kopparbaserade DAC-nätverkskablar för anslutning. IBM anser att den här installationen kan skapa flaskhalsar genom att begränsa hastighet och kapacitet, vilket gör att GPU-acceleratorer blir inaktiva under längre perioder under distribuerade AI-träningsprocesser. IBM:s genombrott syftar till att föra in optikens hastighet och effektivitet i dessa interna anslutningar, vilket dramatiskt förbättrar prestanda och energieffektivitet.
IBM har demonstrerat en ny CPO-prototypmodul som introducerar optisk höghastighetsanslutning inom datacenter. Forskningen publicerades i en artikel om arXiv och visar hur den här tekniken drastiskt kan öka bandbredden, minska GPU-avbrottstiden och påskynda utbildningen av AI-modeller samtidigt som den tar itu med eskalerande energibehov i datacenter.
Viktiga fördelar med Co-Packaged Optics (CPO)
Förbättrad energieffektivitet och kostnadsreduktion
CPO-teknik möjliggör en mer än 5x minskning av energiförbrukningen jämfört med mellanklasser för elektriska sammankopplingar. Detta framsteg gör också att datacenterkablar kan sträcka sig från bara några meter till hundratals meter, vilket minskar driftskostnaderna avsevärt.
- Accelererad AI-träning: Genom att ersätta traditionella elektriska ledningar med optisk anslutning kan CPO öka hastigheten för att träna stora språkmodeller (LLM) med upp till fem gånger. Till exempel kan det minska träningstiden för en LLM från tre månader till tre veckor, med ännu större prestandavinster när modeller och GPU-resurser skalas.
- Enastående energibesparingar: IBM uppskattar att varje AI-modell som tränas med CPO kan spara motsvarande årlig strömförbrukning för 5,000 XNUMX amerikanska hem, vilket understryker den transformativa inverkan på energieffektivitet.
- Oöverträffad bandbreddstäthet: CPO-moduler erbjuder upp till 80 gånger mer bandbredd mellan chips jämfört med elektriska anslutningar. IBMs innovation gör det möjligt för chiptillverkare att lägga till sex gånger fler optiska fibrer i kanten av kiselfotonikchips, så kallade "strandfrontdensitet", vilket ökar den totala datacenterkapaciteten.
Banbrytande Polymer Optical Waveguide (PWG)-teknik
IBMs forskargrupp designade en högdensitets-PWG med optiska kanaler med 50 mikrometers tonhöjd adiabatiskt kopplade till kiselfotonikvågledare. Denna montering, utförd med standardförpackningsprocesser, är den första som klarar stränga tillverkningsstresstester, inklusive hög luftfuktighet, extrema temperaturer från -40°C till 125°C och mekanisk hållbarhet. Stacking PWGs möjliggör upp till 128 anslutningskanaler, vilket erbjuder oöverträffad skalbarhet.
Denna innovation ligger i linje med IBM:s ledarskap inom halvledarteknologi, som bygger på framsteg som det första 2 nm nodchippet, nanosheettransistorer och vertikala transistorer (VTFET). CPO-teknik introducerar ett nytt sätt att möta AI:s ökande krav, och överför kommunikation utanför modulen från elektrisk till optisk och möjliggör hållbar och skalbar datacenterdrift.
Stödjer generativ AI-tillväxt
IBMs Senior Vice President och forskningsdirektör, Dario Gil, lyfte fram den transformativa potentialen hos CPO:
"Eftersom generativ AI kräver mer energi och processorkraft måste datacentret utvecklas – och sampaketerad optik kan göra dessa datacenter framtidssäkra. Med detta genombrott kommer morgondagens chips att kommunicera ungefär som hur fiberoptiska kablar transporterar data in och ut ur datacenter, vilket inleder en ny era av snabbare, mer hållbar kommunikation som kan hantera framtidens AI-arbetsbelastning.”
IBM:s arbete med CPO utfördes i Albany, New York, där det nyligen tillkännagivna National Semiconductor Technology Center (NSTC) ligger. Prototypmontering och modultestning ägde rum på IBM:s Bromont, Quebec, anläggning, en ledare inom chipförpackning. Detta samarbete är en del av initiativet Northeast Semiconductor Corridor, som syftar till att stärka halvledarinnovation i USA och Kanada.
IBM:s sampaketerade optikinnovation representerar ett betydande steg framåt för att utveckla datacenterkommunikationen. Genom att integrera ljushastighetsanslutning i rack, lovar CPO-teknik att leverera oöverträffad effektivitet, bandbredd och energibesparingar, omdefiniera datacenters kapacitet och förbereda dem för de växande kraven från generativ AI och mer.
Amazon