DeepInfra သည် တိုရွန်တိုတွင် AI ဒေတာစင်တာအသစ်တစ်ခုကို ဖွင့်လှစ်ခဲ့ပြီး ၎င်းသည် ကုမ္ပဏီ၏ အမေရိကန်ပြင်ပတွင် ပထမဆုံးဖြန့်ကျက်မှုဖြစ်ပြီး စုစုပေါင်း ကိုးခုမြောက် အဆောက်အအုံဖြစ်သည်။ ဇူလိုင်လ ၈ ရက်နေ့တွင် ကြေငြာခဲ့သော ဤဆိုက်သည် AI မော်ဒယ်လေ့ကျင့်မှုမှ ထုတ်လုပ်မှု ကောက်ချက်အလုပ်များဆီသို့ ဝယ်လိုအားပြောင်းလဲလာသည်နှင့်အမျှ DeepInfra ၏ ကမ္ဘာလုံးဆိုင်ရာ inference အခြေခံအဆောက်အအုံကို တိုးချဲ့ပေးပါသည်။
တိုရွန်တိုစက်ရုံသည် 1.7 MW စွမ်းရည်ကို ပံ့ပိုးပေးပြီး NVIDIA Blackwell B300 GPU ၁၀၀၀ ကျော်ကို လက်ခံထားရှိမည်ဖြစ်သည်။ လည်ပတ်ပြီးသည်နှင့် cluster သည် DeepInfra ၏ ကမ္ဘာလုံးဆိုင်ရာ inference စွမ်းရည်ကို မြှင့်တင်ပေးမည်ဖြစ်ပြီး ကနေဒါနှင့် အခြားနိုင်ငံတကာဈေးကွက်များရှိ ဖောက်သည်များအတွက် latency ကို လျှော့ချပေးမည်ဖြစ်သည်။
ချဲ့ထွင်မှုသည် ပိုမိုကျယ်ပြန့်သော စက်မှုလုပ်ငန်းလမ်းကြောင်းကို ထင်ဟပ်စေသည်။ လုပ်ငန်းများသည် generative AI အပလီကေးရှင်းများကို ထုတ်လုပ်မှုထဲသို့ ရွှေ့ပြောင်းလာသည်နှင့်အမျှ အခြေခံအဆောက်အအုံဝယ်လိုအားသည် လေ့ကျင့်မှုထက် ကောက်ချက်ချမှုအပေါ် ပိုမိုအာရုံစိုက်လာသည်။ ဘာသာစကားမော်ဒယ်ကောက်ချက်ချမှုကြီးကြီးမားမားသည် အပြန်အလှန်အကျိုးပြုအပလီကေးရှင်းများ၊ AI အေးဂျင့်များနှင့် မြင့်မားသောပမာဏ API ဝန်ဆောင်မှုများကို ပံ့ပိုးရန်အတွက် GPU ရရှိနိုင်မှု၊ latency နည်းပါးသောကွန်ရက်နှင့် ပထဝီဝင်အနေအထားအရ ဖြန့်ဝေထားသော အခြေခံအဆောက်အအုံများ လိုအပ်သည်။ ကြေငြာချက်တွင် ကိုးကားထားသော McKinsey & Company သုတေသနအရ ၂၀၃၀ ခုနှစ်တွင် ကောက်ချက်ချမှုသည် စုစုပေါင်းဒေတာစင်တာဝယ်လိုအား၏ ၄၀% ကျော်ကို ကိုယ်စားပြုမည်ဖြစ်ပြီး ခန့်မှန်းခြေအားဖြင့် နှစ်စဉ်ပျမ်းမျှနှုန်း ၃၅% ဖြင့် တိုးတက်လာမည်ဟု ခန့်မှန်းရသည်။
DeepInfra က တိုရွန်တိုမြို့ ဖြန့်ကျက်မှုသည် GPU အရင်းအမြစ်များကို အသုံးပြုသူများနှင့် ဒေတာများနှင့် ပိုမိုနီးကပ်စွာ ပေါင်းစပ်ပေးခြင်းဖြင့် ထိုလိုအပ်ချက်များကို ဖြေရှင်းရန် ဒီဇိုင်းထုတ်ထားခြင်းဖြစ်ပြီး ပလက်ဖောင်းတစ်ခုလုံး၏ စွမ်းရည်ကို မြှင့်တင်ပေးသည်ဟု ပြောကြားခဲ့သည်။ ကုမ္ပဏီသည် ၎င်း၏ GPU အခြေခံအဆောက်အအုံကို ပိုင်ဆိုင်ပြီး လည်ပတ်ဆောင်ရွက်ကာ open-source မော်ဒယ် ၂၀၀ ကျော်ကို ပံ့ပိုးပေးပြီး open နှင့် proprietary AI မော်ဒယ်နှစ်မျိုးလုံးကို ဝန်ဆောင်မှုပေးသည့် ၎င်း၏ managed inference platform တစ်လျှောက်တွင် တစ်ပတ်လျှင် တိုကင်ငါးထရီလီယံနီးပါးကို စီမံဆောင်ရွက်ကြောင်း ပြောကြားခဲ့သည်။
ဤဖြန့်ကျက်မှုသည် NVIDIA ၏ Blackwell ဗိသုကာကို inference အခြေခံအဆောက်အအုံအတွက် တိုးပွားလာစေရန်လည်း မီးမောင်းထိုးပြနေပါသည်။ Blackwell GPU များကို ယခင် Hopper-based စနစ်များနှင့် နှိုင်းယှဉ်ပါက ကြီးမားသော ဘာသာစကားမော်ဒယ်များနှင့် multimodal AI workloads များအတွက် inference throughput နှင့် စွမ်းအင်ထိရောက်မှုကို မြှင့်တင်ရန် ဒီဇိုင်းထုတ်ထားသည်။ DeepInfra သည် ကွန်ရက် သို့မဟုတ် သိုလှောင်မှုဗိသုကာကဲ့သို့သော နောက်ထပ်အခြေခံအဆောက်အအုံအသေးစိတ်အချက်အလက်များကို ထုတ်ဖော်ပြောကြားခြင်းမရှိသော်လည်း၊ ဤအတိုင်းအတာတွင် ဖြန့်ကျက်မှုများသည် GPU များကို အပြည့်အဝအသုံးချနိုင်စေရန်အတွက် high-bandwidth interconnects နှင့် distributed storage ပေါ်တွင် မူတည်လေ့ရှိသည်။
CEO နှင့် ပူးတွဲတည်ထောင်သူ Nikola Borisov ၏ အဆိုအရ Enterprise AI သည် စမ်းသပ်ချက်မှ ထုတ်လုပ်မှုဖြန့်ကျက်မှုသို့ ပြောင်းလဲသွားခဲ့ပြီး နှောင့်နှေးမှုနည်းပါးပြီး တိုးချဲ့နိုင်သော ကောက်ချက်စွမ်းရည်ကို ပေးစွမ်းသည့် ကမ္ဘာလုံးဆိုင်ရာ ဖြန့်ဝေထားသော အခြေခံအဆောက်အအုံအတွက် လိုအပ်ချက်ကို တိုးမြင့်စေခဲ့သည်။ Toronto cluster သည် အမေရိကန်ပြင်ပတွင် ကုမ္ပဏီ၏ ပထမဆုံး တိုးချဲ့မှုကို ကိုယ်စားပြုပြီး ဖောက်သည်များနှင့် ၎င်းတို့၏ဒေတာနှင့် ပိုမိုနီးကပ်သော တွက်ချက်မှုအရင်းအမြစ်များကို နေရာယူထားကြောင်း ၎င်းက ပြောကြားခဲ့သည်။
တိုရွန်တိုတွင် ဖြန့်ကျက်မှုသည် DeepInfra ၏ မကြာသေးမီက Series B ရန်ပုံငွေထောက်ပံ့မှုအပြီးတွင် ဖြစ်ပေါ်လာပြီး ကုမ္ပဏီ၏ ပိုမိုကျယ်ပြန့်သော အခြေခံအဆောက်အအုံ တိုးချဲ့မှု မဟာဗျူဟာ၏ တစ်စိတ်တစ်ပိုင်းဖြစ်သည်။ GPU-based inference ဝန်ဆောင်မှုများအတွက် ဝယ်လိုအား ဆက်လက်တိုးပွားလာသည်နှင့်အမျှ နိုင်ငံတကာဒေတာစင်တာ တိုးချဲ့မှုများကိုလည်း ထည့်သွင်းစဉ်းစားနေကြောင်း ကုမ္ပဏီက ဖော်ပြခဲ့သည်။
အမေဇုံ