Axelera AI wprowadza na rynek platformę Europa, jednostkę przetwarzania AI (AIPU) drugiej generacji, którą firma zapowiada od zeszłego roku. Platforma ta jest dostępna z dołączonymi, sprawdzonymi serwerami Dell i Supermicro. Firma z Eindhoven prezentuje wnioskowanie na temat infrastruktury kontrolowanej przez klienta: systemy agentowe, modele języka wizyjnego, generatywną sztuczną inteligencję i przetwarzanie obrazu działające na standardowym serwerze rackowym w siedzibie klienta. Rozwiązanie to jest przeznaczone dla klientów z sektora usług finansowych, opieki zdrowotnej, prawa, obronności i administracji publicznej, których przepisy dotyczące zgodności lub suwerenności uniemożliwiają im korzystanie z publicznej chmury obliczeniowej AI. Europa jest dostępna w trzech wersjach: jako gotowy układ dla klientów projektujących własne płyty główne, jako karta PCIe Axelera Edge 232p o połowie wysokości i długości oraz jako serwer Axelera Server 250p o pełnej wysokości i długości.
629 TOPS przy 45 W, z wbudowanym przetwarzaniem wstępnym i końcowym
Oficjalna wartość Europa, podana na stronie produktu Axelery, to 629 TOPS przy INT4, INT8 lub INT16 w TDP 45 W, z ośmiu rdzeni przetwarzających AI drugiej generacji, dwukrotnie więcej niż w Metis pierwszej generacji. Obok nich znajduje się 16 rdzeni wektorowych RISC-V, które obsługują przetwarzanie wstępne i końcowe na chipie, dzięki czemu procesor hosta pozostaje wolny dla logiki aplikacji, a wbudowany dekoder wideo zapobiega przeskakiwaniu klatek przez potoki wizyjne w pamięci systemowej. Pamięć to 128 MB pamięci SRAM L2 wspieranej przez przepustowość DRAM 200 GB/s, a układ scalony jest zbudowany w procesie technologicznym Samsunga 5 nm. Tabele porównawcze firmy Axelera wskazują na 3-5-krotną poprawę wydajności w przeliczeniu na dolara i 2-3-krotną poprawę wydajności w przeliczeniu na wat w porównaniu z niewymienionymi z nazwy konkurentami w przypadku układów Llama 3 8B, Llama 3 70B i Llama 3.2 11B Vision, przy czym największą przewagę ma konfiguracja czteroprocesorowa; liczby te łączą wewnętrzne testy firmy Axelera z opublikowanymi danymi porównawczymi NIM konkurencji.
Zdjęcia karty pokazują, jak dwa formaty dzielą pracę. Bez radiatora, Server 250p przenosi cztery Europa AIPU w rzędzie wzdłuż pełnej długości płyty, co pokrywa się z kolumną „Europa 4Chip” na wykresach Axelera, podczas gdy Edge 232p montuje pojedynczy AIPU na połowie długości płyty. Obie są standardowymi kartami PCIe, które według Axelera można umieścić w istniejących serwerach bez przebudowy środowiska wokół nowej platformy, a Edge 232p jest tą, która jest obecnie dostarczana w sprawdzonych systemach: Dell XE5 i Supermicro 111AD, które dołączają do listy sprawdzonych platform OEM od Advantech, Axiomtek, HPE, Lenovo i Seco, a kolejne zostaną ogłoszone. „Zbudowaliśmy naszą architekturę wokół niektórych z najtrudniejszych ograniczeń w obliczeniach: mocy, energii, kosztów i potrzeby lokalnego przetwarzania danych”, powiedział Fabrizio Del Maffeo, dyrektor generalny i współzałożyciel Axelera AI. „Europa stosuje te same zasady, rozszerzając się od sztucznej inteligencji fizycznej do sztucznej inteligencji przedsiębiorstw, zapewniając organizacjom wydajność potrzebną do obsługi coraz bardziej złożonych obciążeń, jednocześnie zachowując kontrolę nad danymi, infrastrukturą i ekonomią”.
Jeden łańcuch narzędzi od Metis do Europy
Część programistyczną stanowi Voyager Toolchain, który kompiluje i optymalizuje istniejące modele dla każdej części Axelery, od wbudowanych modułów Metis do serwera 250p, wykorzystując definicje potoków YAML, dzięki czemu aplikacja wizyjna lub językowa zbudowana na Metisie jest przenoszona do platformy Europa bez konieczności przepisywania kodu. Na szczycie znajduje się Voyager Wingman , agentowa warstwa programistyczna wprowadzona przez Axelerę w lipcu, która przenosi istniejące potoki wnioskowania, buduje nowe i optymalizuje kod. Najnowszym elementem jest AxeleraScript (AxScript), podejście do kompilacji modeli, ujawnione w zeszłym tygodniu przez Axelerę w celu rozszerzenia obsługi modeli, co firma określa jako czynnik ograniczający dla wielu klientów i dostawców układów scalonych.
Del Maffeo wygłosi przemówienie otwierające zatytułowane „Punkt zwrotny w dziedzinie fizycznej sztucznej inteligencji: zmiany w branży, bariery wdrażania i konieczność infrastrukturalna” o godzinie 11:00 czasu lokalnego na szczycie AI Infra Summit w Santa Clara, na tych samych targach, na których Lightbits debiutuje ze swoim silnikiem pamięci podręcznej Inferra KV , a Europa będzie obecna na stoisku 930. Axelera twierdzi, że do tej pory wdrożyła rozwiązanie u ponad 600 klientów; Europa to część, która musi udowodnić, że ta sama konstrukcja edge-first sprawdzi się, gdy obciążeniem jest model 70B-parametrowy obsługujący wielu użytkowników z jednego serwera.
Amazon