Axelera AI levert Europa, de tweede generatie AI Processing Unit (AIPU) die het bedrijf sinds vorig jaar heeft gepresenteerd, en lanceert deze met gevalideerde servers van Dell en Supermicro. Het Eindhovense bedrijf wil inferentie op infrastructuur die de klant zelf beheert: agentsystemen, visie-taalmodellen, generatieve AI en computervisie die draaien op een standaard rackmount-server op locatie. Dit is bedoeld voor klanten in de financiële dienstverlening, gezondheidszorg, juridische sector, defensie en overheid, die vanwege compliance- of soevereiniteitsregels geen gebruik kunnen maken van AI in de publieke cloud. Europa is verkrijgbaar in drie varianten: als bare chip voor klanten die hun eigen boards ontwerpen, als de halfhoge, halflange Axelera Edge 232p PCIe-kaart en als de volledig hoge, volledig lange Axelera Server 250p.
629 TOPS bij 45W, met ingebouwde voor- en nabewerking.
Volgens de productpagina van Axelera behaalt de Europa 629 TOPS bij INT4, INT8 of INT16 met een TDP van 45W, dankzij acht AI-processorkernen van de tweede generatie, twee keer zoveel als in de eerste generatie Metis. Daarnaast beschikt de chip over 16 RISC-V vectorkernen die de voor- en nabewerking op de chip verzorgen, waardoor de host-CPU beschikbaar blijft voor applicatielogica. Ook is er een ingebouwde videodecoder die voorkomt dat beelden via het systeemgeheugen worden doorgestuurd. Het geheugen bestaat uit 128 MB L2 SRAM met een DRAM-bandbreedte van 200 GB/s, en de chip is geproduceerd met behulp van Samsungs 5nm-procestechnologie. Volgens de vergelijkingsgrafieken van Axelera bieden de Llama 3 8B, Llama 3 70B en Llama 3.2 11B Vision 3 tot 5 keer betere prestaties per dollar en 2 tot 3 keer betere prestaties per watt dan niet nader genoemde concurrenten, waarbij de configuratie met vier chips de meeste winst boekt. Deze cijfers zijn een combinatie van interne tests van Axelera en gepubliceerde NIM-benchmarkgegevens van concurrenten.
De foto's van de kaarten laten zien hoe de twee formfactoren de taken verdelen. Zonder koelblok heeft de Server 250p vier Europa AIPU's op een rij over de volledige lengte van de printplaat, wat overeenkomt met de kolom "Europa 4Chip" in de grafieken van Axelera. De Edge 232p heeft daarentegen één AIPU op een printplaat van halve lengte. Beide zijn standaard PCIe-kaarten die volgens Axelera in bestaande servers kunnen worden geïntegreerd zonder dat de omgeving opnieuw hoeft te worden opgebouwd rond een nieuw platform. De Edge 232p is de kaart die momenteel in gevalideerde systemen wordt gebruikt: Dell's XE5 en Supermicro's 111AD. Deze voegen zich bij een lijst van gevalideerde OEM-platformen van Advantech, Axiomtek, HPE, Lenovo en Seco, en er zullen er nog meer worden aangekondigd. "We hebben onze architectuur gebouwd rond enkele van de grootste beperkingen in de computerwereld: stroomverbruik, energie, kosten en de noodzaak om data lokaal te verwerken", aldus Fabrizio Del Maffeo, CEO en medeoprichter van Axelera AI. "Europa past dezelfde principes toe en breidt uit van fysieke naar bedrijfs-AI, waardoor organisaties de prestaties krijgen die ze nodig hebben voor steeds complexere workloads, terwijl ze de controle over hun data, infrastructuur en kosten behouden."
Eén gereedschapsketen van Métis tot Europa
De softwarekant wordt gevormd door de Voyager Toolchain, die bestaande modellen compileert en optimaliseert voor elk Axelera-onderdeel, van de ingebouwde Metis-modules tot de Server 250p. Dit gebeurt met behulp van YAML-pipelinedefinities, waardoor een visie- of taalapplicatie die op Metis is gebouwd, zonder herschrijving naar Europa kan worden overgezet. Daar bovenop bevindt zich Voyager Wingman , de agentische ontwikkelingslaag die Axelera in juli introduceerde en die bestaande inferentiepipelines overzet, nieuwe bouwt en code optimaliseert. Het nieuwste onderdeel is AxeleraScript (AxScript), de modelcompilatiemethode die Axelera vorige week onthulde om de modelondersteuning te verbreden. Volgens het bedrijf is dit de beperkende factor voor veel klanten en chipfabrikanten.
Del Maffeo geeft vandaag om 11:00 uur lokale tijd een keynote getiteld "Het kantelpunt van fysieke AI: verschuivingen in de industrie, adoptiebarrières en de noodzaak van infrastructuur" op de AI Infra Summit in Santa Clara. Op dezelfde beurs presenteert Lightbits zijn Inferra KV cache-engine en draait Europa op stand 930. Axelera zegt tot nu toe bij meer dan 600 klanten te hebben geïmplementeerd; Europa is het onderdeel dat moet bewijzen dat hetzelfde edge-first ontwerp standhoudt wanneer de workload een model met 70 miljard parameters is dat meerdere gebruikers vanaf één server bedient.
Amazon