Společnost Axelera AI dodává Europa, druhou generaci procesorové jednotky pro umělou inteligenci (AIPU), kterou v předpremiéře prezentuje od loňského roku, a k jejímu uvedení na trh jsou připojeny ověřené servery od společností Dell a Supermicro. Společnost z Eindhovenu se zaměřuje na infrastrukturu, kterou zákazník kontroluje: agentní systémy, modely vizuální-jazykové architektury, generativní umělá inteligence a počítačové vidění běžící na standardním rackovém serveru lokálně, pro odběratele z oblasti finančních služeb, zdravotnictví, práva, obrany a vlády, jejichž pravidla pro dodržování předpisů nebo suverenitu jim brání v přístupu k veřejnému cloudu pro umělou inteligenci. Europa se dodává ve třech formách: jako holý čip pro zákazníky, kteří si navrhují vlastní desky, jako poloviční výška a délka karty Axelera Edge 232p PCIe a jako plnohodnotný server Axelera Server 250p.
629 TOPS při 45 W, s integrovaným předběžným a následným zpracováním
Hlavní číslo Europy z produktové stránky Axelery je 629 TOPS na INT4, INT8 nebo INT16 v rámci 45W TDP, z osmi jader pro výpočet AI druhé generace, což je dvojnásobek oproti první generaci Metis. Vedle nich se nachází 16 vektorových jader RISC-V, která se starají o předběžné a následné zpracování na čipu, takže hostitelský procesor zůstává volný pro aplikační logiku, plus integrovaný video dekodér, který zabraňuje přeskakování snímků v obrazových kanálech systémovou pamětí. Paměť je 128 MB L2 SRAM s propustností 200 GB/s DRAM a křemík je vyroben 5nm procesem Samsung. Srovnávací tabulky Axelery uvádějí 3x až 5x výkon na dolar a 2x až 3x výkon na watt oproti nejmenovaným konkurentům na Llama 3 8B, Llama 3 70B a Llama 3.2 11B Vision, přičemž většinu vítězství připisuje čtyřčipová konfigurace; Tato čísla kombinují interní testování společnosti Axelera s publikovanými benchmarkovými daty NIM od konkurence.
Fotografie karet ukazují, jak si tyto dva tvarové faktory rozdělují práci. Bez chladiče nese Server 250p čtyři Europa AIPU v řadě podél desky o plné délce, což odpovídá sloupci „Europa 4Chip“ v grafech Axelery, zatímco Edge 232p montuje jednu AIPU na desku poloviční délky. Obě jsou standardní karty PCIe, které se podle Axelery dají instalovat do stávajících serverů bez nutnosti přestavby prostředí na novou platformu, a Edge 232p se dnes dodává ve validovaných systémech: Dell XE5 a Supermicro 111AD, které se připojují k seznamu validovaných OEM platforem od společností Advantech, Axiomtek, HPE, Lenovo a Seco, přičemž další budou teprve oznámeny. „Naši architekturu jsme postavili na některých z nejpřísnějších omezení ve výpočetní technice: výkon, energie, náklady a potřeba lokálního zpracování dat,“ řekl Fabrizio Del Maffeo, generální ředitel a spoluzakladatel společnosti Axelera AI. „Europa uplatňuje stejné principy a rozšiřuje se od fyzické umělé inteligence k podnikové AI, čímž organizacím poskytuje výkon, který potřebují pro stále sofistikovanější pracovní zátěže, a zároveň si udržuje kontrolu nad svými daty, infrastrukturou a ekonomikou.“
Jeden řetězec nástrojů od Metis po Evropu
Softwarovou stránkou je Voyager Toolchain, který kompiluje a optimalizuje stávající modely pro každou součást Axelery, od vestavěných modulů Metis až po Server 250p, s využitím definic pipeline v YAML, takže se vizuální nebo jazyková aplikace postavená na Metis přesune do Europa bez nutnosti přepisování. Nad ním se nachází Voyager Wingman , vývojová vrstva agentů, kterou Axelera představila v červenci a která portuje stávající inferenční pipeline, vytváří nové a optimalizuje kód. Nejnovějším prvkem je AxeleraScript (AxScript), přístup ke kompilaci modelů, který Axelera představila minulý týden s cílem rozšířit podporu modelů, což společnost označuje za omezující faktor pro mnoho zákazníků i dodavatelů křemíkových čipů.
Del Maffeo dnes v 11:00 místního času přednese na summitu AI Infra Summit v Santa Claře úvodní projev s názvem „Inflexní bod fyzické umělé inteligence: posuny v odvětví, bariéry přijetí a imperativ infrastruktury“. Na stejném veletrhu Lightbits debutuje se svým mezipaměťovým enginem Inferra KV a Europa se bude prezentovat na stánku 930. Společnost Axelera uvádí, že dosud nasadila systém u více než 600 zákazníků; Europa je ta část, která musí dokázat, že stejný edge-first design obstojí i při zatížení modelem s parametry 70B obsluhujícím více uživatelů z jednoho serveru.
Amazon