Axelera AI 正式發售其第二代人工智慧處理單元 (AIPU) Europa，該產品自去年以來一直在進行預覽。此次發售的 AIPU 預先安裝了經過驗證的戴爾和超微伺服器。這家位於埃因霍溫的公司主打基於客戶可控基礎設施的推理：代理系統、視覺語言模型、生成式人工智慧和電腦視覺等技術，均可在標準的本地機架式伺服器上運行。此方案專為金融服務、醫療保健、法律、國防和政府等產業而設計，這些產業的客戶由於合規性或主權限制，無法使用公有雲 AI。 Europa 提供三種版本：裸晶片（供客戶自行設計電路板）、半高半長的 Axelera Edge 232p PCIe 卡，以及全高全長的 Axelera Server 250p 伺服器。
629 TOPS @ 45W，板載預處理和後處理功能
根據 Axelera 產品頁面上的數據，Europa 的核心效能指標為：在 45W TDP 的功耗下，INT4、INT8 或 INT16 算力可達 629 TOPS，這得益於其搭載的八個第二代 AI 處理核心，是第一代 Metis 核心數量的兩倍。此外，它還配備了 16 個 RISC-V 向量核心，用於在晶片上處理預處理和後處理，使主機 CPU 能夠專注於應用程式邏輯。晶片上還整合了一個視訊解碼器，可以避免視覺管線中的畫面在系統記憶體中來回跳躍。記憶體方面，它擁有 128MB 的 L2 SRAM 和 200GB/s 的 DRAM 頻寬，並且採用三星 5nm 製程製造。 Axelera 的比較圖表顯示，在 Llama 3 8B、Llama 3 70B 和 Llama 3.2 11B Vision 上，其每美元性能是競爭對手的 3 到 5 倍，每瓦性能是競爭對手的 2 到 3 倍，其中四晶片配置的優勢最為顯著；這些數據結合了 Axerael 的基準測試數據。
卡片照片展示了兩種外形尺寸如何分配工作。移除散熱片後，Server 250p 在一塊全長板上並排安裝了四個 Europa AIPU，這與 Axelera 圖表中的「Europa 4Chip」列相符；而 Edge 232p 則在一塊半長板上安裝了單個 AIPU。這兩款都是標準的 PCIe 卡，Axelera 表示它們可以直接安裝到現有伺服器中，無需圍繞新平台重建環境。 Edge 232p 目前已在經過驗證的系統中出貨，例如戴爾的 XE5 和 Supermicro 的 111AD，它們與研華、Axiomtek、HPE、聯想和 Seco 等其他經過驗證的 OEM 平台一起，未來還將有更多平台加入。 「我們圍繞著計算領域一些最嚴峻的限制構建了我們的架構：功耗、能耗、成本以及本地數據處理的需求，」Axelera AI 的首席執行官兼聯合創始人 Fabrizio Del Maffeo 表示。 “Europa 也應用了同樣的原則，從物理人工智慧擴展到企業人工智慧，為組織提供日益複雜的工作負載所需的性能，同時保持對其數據、基礎設施和經濟效益的控制。”
從 Metis 到 Europa 的一條工具鏈
軟體方面是 Voyager 工具鏈，它使用 YAML 管道定義編譯並優化現有模型，使其適用於從嵌入式 Metis 模組到 Server 250p 的所有 Axelera 組件，因此基於 Metis 構建的視覺或語言應用程式無需重寫即可遷移到 Europa。在其之上是Voyager Wingman，這是 Axelera 於 7 月推出的智能體開發層，可以移植現有的推理管道、建立新的管道並優化程式碼。最新推出的元件是 AxeleraScript (AxScript)，這是 Axelera 上週公佈的模型編譯方法，旨在擴展模型支援範圍。該公司指出，模型支援不足是許多客戶和晶片供應商面臨的瓶頸。
今天上午 11 點（當地時間），Del Maffeo 將在聖克拉拉舉行的 AI 基礎設施高峰會上發表題為「實體人工智慧轉折點：產業變革、應用障礙和基礎設施建設的必要性」的主題演講。 Lightbits 也將在此次峰會上首次推出其 Inferra KV 快取引擎，而 Europa 則在 930 號展位進行測試。 Axelera 表示，迄今為止，其產品已部署到 600 多家客戶；Europa 需要證明，當工作負載為 700 億參數模型，且該模型需從單一伺服器服務多個用戶時，同樣的邊緣優先設計仍然有效。
Amazon