Axelera AI သည် ပြီးခဲ့သည့်နှစ်ကတည်းက ကြိုတင်စမ်းသပ်နေသည့် ဒုတိယမျိုးဆက် AI Processing Unit (AIPU) Europa ကို တင်ပို့နေပြီး Dell နှင့် Supermicro မှ အတည်ပြုထားသော server များဖြင့် မိတ်ဆက်လိုက်ပါသည်။ Eindhoven ကုမ္ပဏီ၏ ရည်ရွယ်ချက်မှာ ဖောက်သည်ထိန်းချုပ်သော အခြေခံအဆောက်အအုံများပေါ်တွင် ကောက်ချက်ချခြင်းဖြစ်သည်- အေးဂျင့်စနစ်များ၊ အမြင်အာရုံဘာသာစကားမော်ဒယ်များ၊ generative AI နှင့် ဘဏ္ဍာရေးဝန်ဆောင်မှုများ၊ ကျန်းမာရေးစောင့်ရှောက်မှု၊ ဥပဒေရေးရာ၊ ကာကွယ်ရေးနှင့် အစိုးရဝယ်ယူသူများအတွက် စံသတ်မှတ်ထားသော rackmount server တွင် လည်ပတ်နေသော ကွန်ပျူတာအမြင်အာရုံ၊ လိုက်နာမှု သို့မဟုတ် အချုပ်အခြာအာဏာဆိုင်ရာစည်းမျဉ်းများကြောင့် public cloud AI မှ ကင်းလွတ်ခွင့်ရှိသည်။ Europa သည် နည်းလမ်းသုံးမျိုးဖြင့် ရရှိသည်- ၎င်းတို့၏ကိုယ်ပိုင် board များကို ဒီဇိုင်းဆွဲသော ဖောက်သည်များအတွက် bare chip အဖြစ်၊ half-height, half-length Axelera Edge 232p PCIe card အဖြစ် နှင့် full-height, full-length Axelera Server 250p အဖြစ်။
၄၅ ဝပ်တွင် TOPS ၆၂၉ ခု၊ ကြိုတင်ပြင်ဆင်မှုနှင့် ပြီးနောက်ပြင်ဆင်မှုတွင် ပါရှိသည်။
Axelera ရဲ့ ထုတ်ကုန်စာမျက်နှာကနေ Europa ရဲ့ အဓိကနံပါတ်က INT4၊ INT8 ဒါမှမဟုတ် INT16 မှာ TOPS ၆၂၉ ဖြစ်ပြီး ဒုတိယမျိုးဆက် AI processing cores ရှစ်ခုကနေ ပထမမျိုးဆက် Metis အပိုင်းမှာ အရေအတွက်ရဲ့ နှစ်ဆဖြစ်ပါတယ်။ သူတို့နဲ့အတူ chip ပေါ်မှာ pre- နဲ့ post-processing ကို ကိုင်တွယ်တဲ့ RISC-V vector cores ၁၆ ခု ပါရှိတာကြောင့် host CPU ဟာ application logic အတွက် အလကားဖြစ်နေပြီး system memory ကနေတစ်ဆင့် frame တွေ မခုန်အောင် vision pipelines တွေကို ကာကွယ်ပေးတဲ့ onboard video decoder လည်း ပါဝင်ပါတယ်။ Memory မှာ DRAM bandwidth 200GB/s နဲ့ ကျောထောက်နောက်ခံပေးထားတဲ့ L2 SRAM 128MB ပါဝင်ပြီး silicon ကို Samsung ရဲ့ 5nm process ပေါ်မှာ တည်ဆောက်ထားပါတယ်။ Axelera ရဲ့ နှိုင်းယှဉ်ဇယားတွေအရ Llama 3 8B၊ Llama 3 70B နဲ့ Llama 3.2 11B Vision မှာရှိတဲ့ အမည်မဖော်လိုတဲ့ ပြိုင်ဘက်တွေနဲ့ ယှဉ်ရင် တစ်ဒေါ်လာကို ၃ ဆ ကနေ ၅ ဆ စွမ်းဆောင်ရည်နဲ့ watt မှာ ၂ ဆ ကနေ ၃ ဆ စွမ်းဆောင်ရည် ရှိတယ်လို့ ဆိုပါတယ်။ four-chip configuration က အများစုကို အနိုင်ရစေပါတယ်။ ထိုကိန်းဂဏန်းများသည် Axelera အတွင်းပိုင်းစမ်းသပ်မှုနှင့် ပြိုင်ဘက်များ၏ထုတ်ဝေထားသော NIM benchmark data တို့ကို ပေါင်းစပ်ထားသည်။
ကတ်ဓာတ်ပုံများက ပုံစံနှစ်ခုက အလုပ်ကို ဘယ်လိုခွဲဝေပေးသလဲဆိုတာ ပြောပြပါတယ်။ Heatsink ကို ပိတ်ထားရင် Server 250p က Axelera ရဲ့ဇယားတွေမှာ “Europa 4Chip” ကော်လံနဲ့ တစ်တန်းတည်းရှိတဲ့ full-length board တစ်လျှောက် Europa AIPU လေးခုကို သယ်ဆောင်ထားပြီး Edge 232p က half-length board ပေါ်မှာ AIPU တစ်ခုတည်းကို တပ်ဆင်ပေးပါတယ်။ နှစ်ခုစလုံးက platform အသစ်တစ်ခုပတ်လည်က environment ကို ပြန်လည်တည်ဆောက်စရာမလိုဘဲ ရှိပြီးသား server တွေထဲကို ထည့်သွင်းတဲ့ standard PCIe card တွေဖြစ်ပြီး Edge 232p က ဒီနေ့ validated system တွေမှာ တင်ပို့နေတဲ့ တစ်ခုတည်းသော ကတ်တွေပါ။ Dell ရဲ့ XE5 နဲ့ Supermicro ရဲ့ 111AD တို့ဖြစ်ပြီး Advantech၊ Axiomtek၊ HPE၊ Lenovo နဲ့ Seco တို့ကနေ validated OEM platform စာရင်းနဲ့ ပူးပေါင်းထားပြီး နောက်ထပ်တွေကိုလည်း ကြေညာဖို့ရှိပါတယ်။ “ကျွန်တော်တို့ရဲ့ architecture ကို computing မှာ အခက်ခဲဆုံး ကန့်သတ်ချက်တွေဖြစ်တဲ့ ပါဝါ၊ စွမ်းအင်၊ ကုန်ကျစရိတ်နဲ့ ဒေသတွင်းဒေတာတွေကို process လုပ်ဖို့လိုအပ်မှုပေါ်မှာ အခြေခံပြီး တည်ဆောက်ထားပါတယ်” လို့ Axelera AI ရဲ့ CEO နဲ့ ပူးတွဲတည်ထောင်သူ Fabrizio Del Maffeo က ပြောပါတယ်။ “Europa သည် ထိုမူများကို အသုံးချပြီး Physical မှ Enterprise AI အထိ တိုးချဲ့လုပ်ဆောင်ကာ အဖွဲ့အစည်းများအား ၎င်းတို့၏ဒေတာ၊ အခြေခံအဆောက်အအုံနှင့် စီးပွားရေးကို ထိန်းချုပ်ထားစဉ်တွင် ပိုမိုရှုပ်ထွေးသော အလုပ်ပမာဏများအတွက် လိုအပ်သော စွမ်းဆောင်ရည်ကို ပေးစွမ်းပါသည်။”
Metis မှ Europa အထိ Toolchain တစ်ခု
ဆော့ဖ်ဝဲလ်ဘက်ခြမ်းကတော့ Voyager Toolchain ဖြစ်ပြီး embedded Metis modules တွေကနေ Server 250p အထိ Axelera အစိတ်အပိုင်းတိုင်းအတွက် ရှိပြီးသားမော်ဒယ်တွေကို compile လုပ်ပြီး optimize လုပ်ပေးပါတယ်။ YAML pipeline definitions တွေကို အသုံးပြုထားတာကြောင့် Metis မှာတည်ဆောက်ထားတဲ့ vision or language application ဟာ rewrite မလုပ်ဘဲ Europa ကို ရွှေ့ပေးပါတယ်။ အဲဒီအပေါ်မှာ ဇူလိုင်လမှာ Axelera မိတ်ဆက်ခဲ့တဲ့ agent development layer Voyager Wingman ရှိပါသေးတယ် ။ အဲဒီ development layer အသစ်ကတော့ Axelera က လက်ရှိ inference pipelines တွေကို port လုပ်၊ အသစ်တည်ဆောက်၊ code တွေကို optimize လုပ်ပေးတဲ့ agent development layer ပါ။ အသစ်ဆုံးအပိုင်းကတော့ Axelera က model compilation approach ကို ချဲ့ထွင်ဖို့ ပြီးခဲ့တဲ့အပတ်က ထုတ်ဖော်ပြသခဲ့တဲ့ Axelera Script (AxScript) ဖြစ်ပြီး ကုမ္ပဏီက customer တွေနဲ့ silicon vendor တွေအတွက် limiting factor အဖြစ် ခေါ်ဆိုထားတဲ့ model compilation approach ပါ။
Del Maffeo သည် ယနေ့ ဒေသစံတော်ချိန် နံနက် ၁၁:၀၀ နာရီတွင် Santa Clara ရှိ AI Infra Summit တွင် “The Physical AI Inflection Point: Industry Shifts, Adoption Barriers, and the Infrastructure Imperative” ခေါင်းစဉ်ဖြင့် မိန့်ခွန်းပြောကြားမည်ဖြစ်ပြီး၊ Lightbits သည် ၎င်း၏ Inferra KV cache engine ကို ပွဲဦးထွက်ပြသခဲ့ပြီး Europa သည် booth 930 တွင် လည်ပတ်နေသည့်ပွဲတွင်ပင် ဖြစ်သည်။ Axelera က ယနေ့အထိ ဖောက်သည် ၆၀၀ ကျော်တွင် ဖြန့်ကျက်ထားသည်ဟု ပြောကြားခဲ့သည်။ Europa သည် workload သည် server တစ်ခုတည်းမှ user များစွာကို ဝန်ဆောင်မှုပေးသည့် 70B-parameter model တစ်ခုဖြစ်သည့်အခါ တူညီသော edge-first design သည် တည်မြဲကြောင်း သက်သေပြရမည့် အစိတ်အပိုင်းဖြစ်သည်။
အမေဇုံ