Meta heeft verbeteringen in zijn AI-infrastructuur aangekondigd door de volgende generatie Meta Training and Inference Accelerator (MTIA) te onthullen. Deze ontwikkeling markeert een aanzienlijke sprong in de inspanningen van Meta om op AI gebaseerde producten, diensten en onderzoek te verbeteren, als reactie op de escalerende vraag naar meer geavanceerde AI-modellen.
Na de introductie van de accelerator van de eerste generatie verfijnt het MTIA-project de rekenefficiëntie die essentieel is voor Meta's onderscheidende AI-workloads. Dit omvat de deep learning-aanbevelingsmodellen die een integraal onderdeel zijn van het verbeteren van gebruikerservaringen op Meta's platforms.
Volgende generatie versus. MTIA van de eerste generatie
De MTIA van de eerste generatie heeft aanzienlijke technologische verbeteringen ondergaan ten opzichte van zijn tegenhanger van de volgende generatie om te voldoen aan de groeiende eisen van AI-workloads. Aanvankelijk gebouwd met het 7 nm-proces van TSMC, had de eerste generatie MTIA een frequentie van 800 MHz, ondersteunde 1.12 miljard poorten en leverde tot 102.4 teraflops per seconde (TFLOPS/s) voor INT8-bewerkingen. Het was uitgerust met 128 MB on-chip geheugen en 64 GB off-chip LPDDR5-geheugen, met een TDP van 25 watt. Deze opstelling is geoptimaliseerd voor een balans tussen prestaties en energie-efficiëntie, met een totale geheugenbandbreedtecapaciteit van 400 GB/s per verwerkingselement (PE) voor lokaal geheugen en 800 GB/s voor on-chip geheugen.
De volgende generatie MTIA is overgestapt op het geavanceerdere 5 nm-proces van TSMC, waardoor de versneller op een hogere frequentie van 1.35 GHz kan werken. Deze upgrade verdubbelt het aantal poorten tot 2.35 miljard en verhoogt het aantal FLOPS tot 103 miljoen, wat een substantiële boost in de verwerkingsmogelijkheden van de chip aangeeft. De volgende generatie MTIA introduceert een drievoudige toename van lokale PE-opslag en verdubbelt het on-chip SRAM tot 256 MB, terwijl het off-chip LPDDR5-geheugen wordt uitgebreid tot 128 GB. Deze toename gaat gepaard met een verbeterde geheugenbandbreedte, die kan oplopen tot 1TB/s per PE voor lokaal geheugen en 2.7TB/s voor on-chip geheugen, waardoor een hogere gegevensdoorvoer en efficiëntie wordt gegarandeerd.
Bovendien bedraagt het TDP nu 90 watt om tegemoet te komen aan de hogere prestatieniveaus. De hostverbinding is ook geüpgraded naar 8x PCIe Gen5, waardoor de bandbreedte wordt verdubbeld tot 32 GB/s, wat snellere gegevensoverdracht tussen de accelerator en het hostsysteem ondersteunt. Deze opmerkelijke verbeteringen bieden een sterkere basis voor het ontwikkelen en inzetten van AI-gestuurde applicaties en diensten.
MTIA-functies van de volgende generatie
In de kern beschikt de MTIA over geavanceerde 8x8 grid PE's die de compacte en schaarse rekenprestaties aanzienlijk verbeteren. Deze verbetering wordt toegeschreven aan architecturale verbeteringen en een substantiële toename van lokale PE-opslag, on-chip SRAM en bandbreedte. Bovendien vergemakkelijkt de verbeterde Network-on-Chip (NoC)-architectuur van de accelerator een snelle coördinatie tussen PE's, waardoor gegevensverwerking met lage latentie wordt gegarandeerd die essentieel is voor complexe AI-taken.
Meta's aanpak gaat verder dan siliciuminnovatie. De MTIA van de volgende generatie wordt ondersteund door een robuust rackgebaseerd systeem dat plaats biedt aan maximaal 72 versnellers, wat een aanzienlijk schaalpotentieel biedt voor Meta's ambitieuze AI-projecten. Het ontwerp van het systeem maakt hogere bedrijfsfrequenties en efficiëntie mogelijk, waardoor diverse modelcomplexiteiten gemakkelijk kunnen worden opgevangen.
Software-integratie speelt ook een cruciale rol in het ecosysteem van MTIA, waarbij Meta zijn werk aan PyTorch inzet om naadloze compatibiliteit en productiviteit van ontwikkelaars te garanderen. De opname van geavanceerde programmeer- en uitvoeringsframeworks, zoals Triton-MTIA, vergemakkelijkt de efficiënte vertaling van AI-modellen in krachtige computerinstructies, waardoor het ontwikkelingsproces wordt gestroomlijnd.
Initiële prestatieresultaten van de volgende generatie MTIA
Meta zegt dat voorlopige prestatiestatistieken wijzen op een aanzienlijke verbetering ten opzichte van de eerste generatie, wat aantoont dat het in staat is om eenvoudige en complexe ranking- en aanbevelingsalgoritmen efficiënt te verwerken. Deze chip beheert algoritmen die aanzienlijk variëren in grootte en rekenbehoefte, en presteert beter dan standaard commerciële GPU's dankzij Meta's geïntegreerde technologiebenadering. Het bedrijf richt zich op het verbeteren van de energie-efficiëntie terwijl het deze chips in zijn systemen implementeert.
Uit eerste tests is gebleken dat de MTIA-chip van de volgende generatie de prestaties van zijn voorganger verdrievoudigt op de belangrijkste modellen. Met een geüpgraded systeem dat het dubbele aantal apparaten omvat en een krachtige dual-socket CPU, heeft Meta een zesvoudige toename bereikt in de verwerkingscapaciteit van modellen en een verbetering van 50% in energie-efficiëntie ten opzichte van de MTIA-opstelling van de eerste generatie. Deze verbeteringen zijn het resultaat van uitgebreide optimalisaties in computercomponenten en serverarchitectuur. Het optimaliseren van modellen gaat sneller naarmate het ecosysteem van ontwikkelaars volwassener wordt, met voldoende ruimte voor verdere efficiëntiewinst.
De MTIA-chip is nu actief in datacenters en verbetert de AI-werklastverwerking van Meta, wat een strategische aanvulling blijkt te zijn op commerciële GPU's. Nu er verschillende initiatieven gaande zijn om de functionaliteiten van MTIA uit te breiden, markeert deze release een nieuwe grote stap in de richting van de toewijding van het bedrijf aan het bevorderen van AI-technologie en haar toepassingen.
Amazon