SambaNova နှင့် Supermicro တို့သည် NVIDIA GPU များကို SambaNova ၏ SN50 Reconfigurable Dataflow Units (RDUs) နှင့် တွဲဖက်ပေးသည့် disaggregated inference system များကို တည်ဆောက်ရောင်းချမည်ဖြစ်ပြီး Supermicro သည် ကနဦးတွင် SN50 ချစ်ပ် ၁၀,၀၀၀ အတွက် စီစဉ်ထားသည်။ rack များသည် Supermicro ၏ Data Center Building Block Solutions (DCBBS) ကတ်တလောက်နှင့် ပူးပေါင်းမည်ဖြစ်ပြီး Supermicro သည် ၎င်းတို့ကို ပေါင်းစပ်၊ စမ်းသပ်၊ ပို့ဆောင်ပေးမည်ဖြစ်ပြီး ပံ့ပိုးပေးမည်ဖြစ်သည်။ ကုမ္ပဏီနှစ်ခုစလုံးသည် ချစ်ပ် ၁၀,၀၀၀ ကို အဆင့်ဆင့်ထုတ်လုပ်ရန်အတွက် စီမံကိန်းကိန်းဂဏန်းတစ်ခုအဖြစ် ဖော်ပြထားပြီး ဝယ်ယူမှုကတိကဝတ်၊ ဈေးနှုန်း သို့မဟုတ် ပို့ဆောင်မည့်ရက်စွဲကို မည်သူမျှ ထုတ်ဖော်ပြောကြားခြင်း မရှိပါ။
NVIDIA GPU များကို Run Prefill၊ SN50 RDU များကို Run Decode လုပ်ခြင်း
ပိုင်းခြားခြင်းသည် LLM တွက်ချက်မှု၏ အဆင့်နှစ်ဆင့်ကို လိုက်နာသည်။ Prefill သည် prompt ကို လုပ်ဆောင်ပြီး compute-bound ဖြစ်ပြီး SambaNova သည် NVIDIA GPU များသို့ သတ်မှတ်ပေးသည်။ decode သည် တစ်ကြိမ်လျှင် response token တစ်ခုထုတ်ပေးပြီး memory-bound ဖြစ်ပြီး SN50 သို့ သတ်မှတ်ပေးသည်။ SambaNova ၏ တွဲဖက်မှုအတွက် ဥပမာမှာ agentic workloads များသည် decode တွင် ၎င်းတို့၏အချိန်အများစုကို ကုန်ဆုံးစေသည်၊ အဘယ်ကြောင့်ဆိုသော် agent သည် model call ထောင်ပေါင်းများစွာကို ပြုလုပ်ပြီး response တစ်ခုချင်းစီသည် ၎င်း၏နောက်လုပ်ဆောင်ချက်ကို gates လုပ်သောကြောင့်ဖြစ်သည်။ ထို့ကြောင့် decode အဆင့်ပိုမိုမြန်ဆန်ခြင်းသည် loop တစ်ခုလုံးကို တိုတောင်းစေသည်။
SN50 သည် SambaNova ၏ ပဉ္စမမျိုးဆက် RDU ဖြစ်ပြီး ကုမ္ပဏီက ၎င်းသည် rack power density မြင့်မားခြင်းမရှိဘဲ အကြီးဆုံးမော်ဒယ်များကို မြင့်မားသော throughput ဖြင့် ဝန်ဆောင်မှုပေးသည်ဟု ဆိုသည်၊ ထို့ကြောင့် အော်ပရေတာများသည် ရှိပြီးသား စက်ရုံများတွင် inference capacity ကို ထည့်သွင်းနိုင်ပြီး ၎င်းတို့ပိုင်ဆိုင်ပြီးသား GPU များကို prefill duty တွင် ထိန်းသိမ်းထားနိုင်သည်။ SambaNova က SambaRack SN50 အတွက် accelerator တစ်ခုလျှင် compute ၅ ဆ နှင့် network bandwidth ၄ ဆ ရှိသည်ဟု ဆိုထားပြီး၊ ၎င်းသည် air-cooled ဖြစ်ပြီး accelerator ၂၅၆ ခုအထိ တိုးချဲ့နိုင်သည်။
SambaRack SN50 သည် rack တစ်ခုလျှင် RDU ၁၆ ခု သယ်ဆောင်ထားသောကြောင့် Supermicro သည် ထိုသိပ်သည်းဆကို ထိန်းသိမ်းထားပါက ကနဦး 10,000-chip အစီအစဉ်သည် rack ၆၂၅ ခုခန့်အထိ လည်ပတ်ပါသည်။ SambaNova သည် GPU နှင့် RDU စနစ်များပေါင်းစပ်မှုအတွက် throughput၊ latency သို့မဟုတ် power ကိန်းဂဏန်းများကို မထုတ်ပြန်သေးဘဲ Supermicro သည် server configuration များ၊ GPU မော်ဒယ်များ သို့မဟုတ် interconnects များ သို့မဟုတ် စနစ်တစ်ခုစီတွင် GPU နှင့် RDU မည်မျှပါဝင်သည်ကို သတ်မှတ်မထားပါ။ Supermicro ၏ DCBBS ကတ်တလောက်တွင် NVIDIA Vera Rubin NVL72 racks များ နှင့် agent sandboxes များအတွက် နေရာချထားသော Vera CPU rack တို့ ပါဝင်ပြီးသားဖြစ်သည်။
Supermicro သည် ပေါင်းစည်းမှုနှင့် လုပ်ငန်းခွင်ပံ့ပိုးမှုကို ကိုင်တွယ်သည်
Supermicro က စနစ်ပေါင်းစပ်မှု၊ စမ်းသပ်ခြင်း၊ ပို့ဆောင်ခြင်းနှင့် ဖောက်သည်ပံ့ပိုးမှုတို့ကို ဆောင်ရွက်ပေးသည့်အပြင်၊ ဆိုက်တွင်းဝန်ဆောင်မှုအပါအဝင် SambaNova အင်ဂျင်နီယာများက မော်ဒယ်များကို SN50 ပေါ်သို့ ယူဆောင်လာပြီး ဟာ့ဒ်ဝဲအတွက် ချိန်ညှိပေးကာ Supermicro ကို ဖြန့်ကျက်ရာတွင် ကူညီပေးပါသည်။ ဝယ်ယူသူများအတွက်၊ ပြောင်းလဲမှုမှာ လမ်းကြောင်းတွင် ရှိသည်- SN50 RDU များကို Supermicro မှ GPU များနှင့်အတူ rack ၏ ကျန်နည်းလမ်းများကဲ့သို့ပင် မှာယူနိုင်ပြီး၊ ရောင်းချသူတစ်ဦးက စနစ်အတွက် တာဝန်ယူထားသည်။
“Agentic AI ဟာ နောက်ထပ် inference လှိုင်းတစ်ခုဖြစ်ပြီး နေရာတိုင်းမှာ လည်ပတ်ရပါမယ်” လို့ SambaNova ရဲ့ ပူးတွဲတည်ထောင်သူနဲ့ CEO ဖြစ်သူ Rodrigo Liang က ပြောပါတယ်။ “Supermicro ဟာ ကမ္ဘာတစ်ဝှမ်းက data center တွေအတွက် AI အခြေခံအဆောက်အအုံတွေကို တည်ဆောက်ပေးပါတယ်။ အခုဆိုရင် customer တွေဟာ သူတို့ယုံကြည်ရတဲ့ ကမ္ဘာ့ဦးဆောင်မိတ်ဖက်ဆီကနေ GPU တွေနဲ့အတူ SN50 RDU တွေကို မှာယူနိုင်ပါပြီ။ ဒါကြောင့်ပဲ မြန်ဆန်ထိရောက်တဲ့ inference တွေ တိုးချဲ့နိုင်တာပါ။”
“SambaNova နှင့် ကျွန်ုပ်တို့၏ ပူးပေါင်းဆောင်ရွက်မှုသည် GPU computing ကို အထူးပြု inference acceleration နှင့် ပေါင်းစပ်ထားသည့် heterogeneous architectures များကို ပံ့ပိုးပေးခြင်းဖြင့် ကျွန်ုပ်တို့၏ ကျယ်ပြန့်သော DCBBS portfolio ကို တိုးချဲ့ပေးပြီး ဖောက်သည်များအား ထိရောက်ပြီး တိုးချဲ့နိုင်သော AI ဖြေရှင်းချက်များကို ဖြန့်ကျက်ရန် ကူညီပေးပါသည်” ဟု Supermicro ၏ ဥက္ကဋ္ဌနှင့် CEO ဖြစ်သူ Charles Liang က ပြောကြားခဲ့သည်။
NeoClouds နှင့် Sovereign Clouds တို့သည် ကနဦးပစ်မှတ်များဖြစ်သည်
ကုမ္ပဏီများသည် NeoClouds နှင့် sovereign cloud များဖြင့် စတင်ပြီးနောက် AI ကို on-premises တွင်လည်ပတ်သော လုပ်ငန်းများသို့ တိုးချဲ့သွားမည်ဖြစ်သည်။ SambaNova သည် ပူးပေါင်းဆောင်ရွက်မှုသည် ၂၀၂၇ ခုနှစ်တွင် ၎င်းတစ်ဦးတည်းလုပ်ဆောင်နိုင်သည်ထက် သိသိသာသာမြင့်မားသောစွမ်းဆောင်ရည်ရှိသော inference စွမ်းရည်ကို ဝန်ဆောင်မှုပေးလိမ့်မည်ဟု မျှော်လင့်ထားပြီး ဖောက်သည်များကို အမည်မဖော်ရသေးသလို ချစ်ပ် ၁၀,၀၀၀ အတွက် အချိန်ဇယားကိုလည်း မပေးရသေးပါ။ ယခုသဘောတူညီချက်သည် SambaNova ၏ ဇူလိုင်လတွင် ဒေါ်လာ ၁၁ ဘီလီယံတန်ဖိုးရှိ ဒေါ်လာ ၁ ဘီလီယံတန် ငွေကြေးထောက်ပံ့မှု ပထမဆုံးပိတ်သိမ်းမှုအပြီးတွင် ထွက်ပေါ်လာခြင်းဖြစ်ပြီး JPMorganChase သည် on-prem inference အတွက် SN40 နှင့် SN50 စနစ်များကို ဖြန့်ကျက်ခြင်းနှင့် Intel နှင့် ၎င်း၏ ကွဲပြားသော inference ပူးပေါင်းဆောင်ရွက်မှုတို့ ဖြစ်ပေါ်လာခြင်းဖြစ်သည်။
အမေဇုံ