နောက်ဆုံးပေါ် MLPerf ရလဒ်များကို ထုတ်ပြန်ခဲ့ပြီး NVIDIA သည် AI တွက်ချက်မှုအတွက် cloud မှ edge အထိ အမြင့်ဆုံးစွမ်းဆောင်ရည်နှင့် ထိရောက်မှုကို ပေးဆောင်ပါသည်။ MLPerf သည် လွတ်လပ်သော၊ third-party benchmark တစ်ခုအနေဖြင့် AI စွမ်းဆောင်ရည်အတွက် အသုံးဝင်သော တိုင်းတာမှုတစ်ခုအဖြစ် ရှိနေဆဲဖြစ်သည်။ NVIDIA ၏ AI ပလပ်ဖောင်းသည် MLPerf စတင်တည်ထောင်ချိန်မှစ၍ လေ့ကျင့်မှုနှင့် တွက်ချက်မှုအတွက် ထိပ်ဆုံးတွင် ရှိနေခဲ့ပြီး နောက်ဆုံးပေါ် MLPerf Inference 3.0 benchmarks များလည်း ပါဝင်သည်။
ဆော့ဖ်ဝဲလ် အကောင်းဆုံးဖြစ်အောင် ပြုလုပ်ထားခြင်းကြောင့် DGX H100 စနစ်များတွင် လည်ပတ်နေသော NVIDIA H100 Tensor Core GPU များသည် AI တွက်ချက်မှု စမ်းသပ်မှုတိုင်းတွင် အမြင့်ဆုံးစွမ်းဆောင်ရည်ကို ပေးစွမ်းနိုင်ခဲ့ပြီး စက်တင်ဘာလတွင် ပွဲဦးထွက်ထက် ၅၄ ရာခိုင်နှုန်း မြင့်တက်လာခဲ့သည်။ ကျန်းမာရေးစောင့်ရှောက်မှုတွင် H100 GPU များသည် ဆေးဘက်ဆိုင်ရာပုံရိပ်ဖော်ခြင်းအတွက် MLPerf benchmark ဖြစ်သော 3D-UNet တွင် ၃၁ ရာခိုင်နှုန်း စွမ်းဆောင်ရည်တိုးတက်မှုများကို ပေးစွမ်းနိုင်ခဲ့သည်။
8X H100 GPU များပါဝင်သည့် Dell PowerEdge XE9680
Hopper ဗိသုကာကိုအခြေခံထားတဲ့ Transformer Engine ဖြင့် မောင်းနှင်ထားတဲ့ H100 GPU ဟာ BERT မှာ အလွန်ကောင်းမွန်ပါတယ်။ BERT ဟာ Google မှ တီထွင်ထားတဲ့ သဘာဝဘာသာစကား လုပ်ဆောင်မှုအတွက် မော်ဒယ်တစ်ခုဖြစ်ပြီး စာသားရဲ့ နှစ်လမ်းသွား ကိုယ်စားပြုမှုတွေကို သင်ယူပြီး မတူညီတဲ့ အလုပ်များစွာမှာ အညွှန်းမပါတဲ့ စာသားရဲ့ ဆက်စပ်နားလည်မှုကို သိသိသာသာ တိုးတက်စေပါတယ်။ RoBERTa၊ ALBERT နဲ့ DistilBERT လို BERT နဲ့ဆင်တူတဲ့ မော်ဒယ်မိသားစုတစ်ခုလုံးအတွက် အခြေခံဖြစ်ပါတယ်။
Generative AI ဖြင့် အသုံးပြုသူများသည် စာသား၊ ရုပ်ပုံများ၊ 3D မော်ဒယ်များနှင့် အခြားအရာများစွာကို လျင်မြန်စွာ ဖန်တီးနိုင်သည်။ startup များမှ cloud service provider များအထိ ကုမ္ပဏီများသည် စီးပွားရေးပုံစံအသစ်များကို ဖွင့်လှစ်ရန်နှင့် ရှိပြီးသားပုံစံများကို အရှိန်မြှင့်တင်ရန်အတွက် generative AI ကို လက်ခံကျင့်သုံးနေကြသည်။ မကြာသေးမီက သတင်းများတွင် ပါဝင်ခဲ့သော generative AI tool တစ်ခုမှာ ChatGPT ဖြစ်ပြီး မေးမြန်းချက်များနှင့် ထည့်သွင်းမှုများအပြီးတွင် ချက်ချင်းတုံ့ပြန်မှုများကို မျှော်လင့်နေသော သန်းပေါင်းများစွာသောသူများက အသုံးပြုကြသည်။
deep learning ကို နေရာတိုင်းတွင် ဖြန့်ကျက်အသုံးပြုလာသည်နှင့်အမျှ စက်ရုံကြမ်းပြင်များမှသည် အွန်လိုင်း အကြံပြုစနစ်များအထိ ကောက်ချက်ချခြင်းဆိုင်ရာ စွမ်းဆောင်ရည်သည် အလွန်အရေးကြီးပါသည်။
L4 GPU များသည် အံ့မခန်းစွမ်းဆောင်ရည်ကို ပေးစွမ်းသည်
၎င်း၏ ပထမဆုံးခရီးစဉ်တွင် NVIDIA L4 Tensor Core GPU များသည် ယခင်မျိုးဆက် T4 GPU များထက် ၃ ဆကျော် မြန်နှုန်းဖြင့် စွမ်းဆောင်ရည်မြင့်မားခဲ့သည်။ low-profile form factor ဖြင့်ထုပ်ပိုးထားသော L4 GPU accelerator များကို မည်သည့် server platform နီးပါးတွင်မဆို မြင့်မားသော throughput နှင့် low latency ကို ပေးစွမ်းနိုင်ရန် ဒီဇိုင်းထုတ်ထားသည်။ L4 Tensor GPU များသည် MLPerf workloads အားလုံးကို လုပ်ဆောင်ခဲ့ပြီး FP8 format ကို ၎င်းတို့၏ ပံ့ပိုးမှုကြောင့် စွမ်းဆောင်ရည်မြင့်မားသော BERT မော်ဒယ်တွင် ရလဒ်များ အလွန်ကောင်းမွန်ခဲ့သည်။
အလွန်အစွမ်းထက်သော AI စွမ်းဆောင်ရည်အပြင်၊ L4 GPU များသည် ရုပ်ပုံကုဒ်ဖွင့်ခြင်း ၁၀ ဆအထိ ပိုမိုမြန်ဆန်ခြင်း၊ ဗီဒီယိုလုပ်ဆောင်ခြင်း ၃.၂ ဆအထိ ပိုမိုမြန်ဆန်ခြင်းနှင့် ဂရပ်ဖစ်နှင့် အချိန်နှင့်တပြေးညီ ပုံဖော်ခြင်းစွမ်းဆောင်ရည် ၄ ဆကျော် ပိုမိုမြန်ဆန်ခြင်းတို့ကို ပေးဆောင်ပါသည်။ လွန်ခဲ့သော ရက်သတ္တပတ်အနည်းငယ်က GTC တွင် ကြေငြာခဲ့သော accelerator များကို system ထုတ်လုပ်သူများနှင့် cloud service provider များထံမှ ရရှိနိုင်ပါသည်။
ဘယ်ကွန်ရက်ဌာနခွဲလဲ။
NVIDIA ရဲ့ full-stack AI platform ဟာ MLPerf စမ်းသပ်မှုအသစ်တစ်ခုဖြစ်တဲ့ Network-division benchmark မှာ သူ့ရဲ့တန်ဖိုးကို ပြသခဲ့ပါတယ်။
ကွန်ရက်-ခွဲခြမ်းစိတ်ဖြာမှု စံနှုန်းသည် ဝေးလံခေါင်သီသော inference server သို့ ဒေတာများကို စီးဆင်းစေသည်။ ၎င်းသည် corporate firewall များနောက်ကွယ်တွင် ဒေတာသိမ်းဆည်းထားသော cloud တွင် AI အလုပ်များကို လုပ်ဆောင်နေသော enterprise user များ၏ ပျံ့နှံ့နေသော အခြေအနေကို ထင်ဟပ်စေသည်။
BERT တွင်၊ remote NVIDIA DGX A100 စနစ်များသည် ၎င်းတို့၏ အမြင့်ဆုံး ဒေသတွင်းစွမ်းဆောင်ရည်၏ ၉၆ ရာခိုင်နှုန်းအထိ ပေးစွမ်းနိုင်ခဲ့ပြီး CPU များမှ အချို့သောအလုပ်များကို ပြီးမြောက်ရန် စောင့်ဆိုင်းနေစဉ်တွင် တစ်စိတ်တစ်ပိုင်း နှေးကွေးသွားခဲ့သည်။ GPU များဖြင့်သာ ကိုင်တွယ်သော ကွန်ပျူတာအမြင်အတွက် ResNet-50 စမ်းသပ်မှုတွင် ၎င်းတို့သည် ၁၀၀% အထိ ရောက်ရှိခဲ့သည်။
NVIDIA Quantum Infiniband ကွန်ရက်၊ NVIDIA ConnectX SmartNICs နှင့် NVIDIA GPUDirect ကဲ့သို့သော ဆော့ဖ်ဝဲများသည် စမ်းသပ်မှုရလဒ်များတွင် သိသာထင်ရှားသော အခန်းကဏ္ဍမှ ပါဝင်ခဲ့သည်။
Orin က Edge မှာ တိုးတက်လာတယ်
သီးခြားစီအနေနဲ့ NVIDIA Jetson AGX Orin system-on-module ဟာ ပြီးခဲ့တဲ့နှစ်က ရလဒ်တွေနဲ့ နှိုင်းယှဉ်ရင် စွမ်းအင်ထိရောက်မှုမှာ ၆၃ ရာခိုင်နှုန်းအထိနဲ့ စွမ်းဆောင်ရည်မှာ ၈၁ ရာခိုင်နှုန်းအထိ တိုးတက်မှုတွေကို ပေးစွမ်းနိုင်ခဲ့ပါတယ်။ ဘက်ထရီသုံးစနစ်တွေ အပါအဝင် ပါဝါနည်းတဲ့နေရာတွေမှာ AI လိုအပ်တဲ့အခါ Jetson AGX Orin က ကောက်ချက်ချပေးနိုင်ပါတယ်။
ပါဝါနည်းနည်းပဲ လိုအပ်တဲ့ မော်ဂျူးငယ်လေးဖြစ်တဲ့ Jetson Orin NX 16G ဟာ benchmark တွေမှာ ကောင်းမွန်စွာ စွမ်းဆောင်ရည် ပြသနိုင်ခဲ့ပါတယ်။ Jetson Xavier NX processor ရဲ့ စွမ်းဆောင်ရည်ထက် ၃.၂ ဆ အထိ ပိုမိုကောင်းမွန်ပါတယ်။
NVIDIA AI ဂေဟစနစ်
MLPerf ရလဒ်များအရ NVIDIA AI သည် စက်သင်ယူမှုတွင် ကျယ်ပြန့်သော ဂေဟစနစ်ဖြင့် ကျောထောက်နောက်ခံပြုထားကြောင်း ပြသနေသည်။ Microsoft Azure cloud service နှင့် system ထုတ်လုပ်သူများ၊ ASUS၊ Dell Technologies၊ GIGABYTE၊ H3C၊ Lenovo၊ Nettrix၊ Supermicro နှင့် xFusion အပါအဝင် ကုမ္ပဏီဆယ်ခုသည် NVIDIA platform တွင် ရလဒ်များကို ယခုအဆင့်တွင် တင်သွင်းခဲ့ကြသည်။ ၎င်းတို့၏ လုပ်ဆောင်ချက်များအရ အသုံးပြုသူများသည် cloud နှင့် ၎င်းတို့၏ကိုယ်ပိုင်ဒေတာစင်တာများတွင် လည်ပတ်နေသော server များတွင် NVIDIA AI ဖြင့် ကောင်းမွန်သောစွမ်းဆောင်ရည်ကို ရရှိနိုင်သည်ကို ပြသနေသည်။
အမေဇုံ