AMD နှင့် Intel တို့သည် PyTorch အတွက် x86 CPU optimization လုပ်ငန်းကို Unified Acceleration Foundation (UXL) မှ စီမံခန့်ခွဲသော open-source deep learning library oneDNN တွင် ပေါင်းစပ်မည်ဖြစ်ပြီး PyTorch အတွင်းရှိ x86 acceleration အတွက် default open-source library အဖြစ် ပေါင်းစည်းမည်ဟု ကြေညာခဲ့သည်။ AMD သည် ၎င်း၏ ZenDNN optimization များကို oneDNN အဖြစ် ပေါင်းစည်းပြီး UXL Foundation တွင် steering member အဖြစ် ဝင်ရောက်ခဲ့သည်။ x86 Ecosystem Advisory Group မှ အကြံပြုချက်အရ ဤလှုပ်ရှားမှု ဖြစ်ပေါ်လာခြင်းဖြစ်ပြီး AMD နှင့် Intel processor များတစ်လျှောက် CPU inference နှင့် training ကို optimized လုပ်ရန် software path တစ်ခုဖြစ်ကြောင်း ဖော်ပြထားသော ရည်မှန်းချက်ဖြစ်သည်။
AMD သည် ZenDNN ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းကို oneDNN ထဲသို့ ပေါင်းစပ်ထားသည်
ယခုအချိန်အထိ x86 ရှိ PyTorch သည် ရောင်းချသူလမ်းကြောင်းနှစ်ခုကို သယ်ဆောင်လာခဲ့သည်။ Intel ၏ MKL-DNN အဖြစ်စတင်ခဲ့ပြီး ယခုအခါ UXL အုပ်ချုပ်မှုအောက်တွင် ရှိနေသော oneDNN သည် PyTorch ၏ optimized CPU operator အများအပြား၏နောက်ကွယ်ရှိ library ဖြစ်ပြီး AMD သည် ZenDNN ကို သီးခြား PyTorch plug-in ပါရှိသော EPYC-tuned primitives အစုံတစ်ခုအဖြစ် ထိန်းသိမ်းထားသည်။ ရောင်းချသူတစ်ဦးချင်းစီ၏ silicon မှ အကောင်းဆုံးကို လိုချင်သော developer များသည် မည်သည့် library ကို အသုံးပြုထားသည်ကို သိရှိပြီး မှန်ကန်သော library ကို install လုပ်ရမည်ဖြစ်သည်။ oneDNN တွင် ပေါင်းစည်းခြင်းသည် ရောင်းချသူနှစ်ဦးစလုံး၏ kernel များကို PyTorch calls တစ်ခုတည်း၏နောက်ကွယ်တွင် ထားရှိပေးသည်။
“AMD ဟာ developer တွေကို ရွေးချယ်စရာတွေ ပိုမိုရရှိစေပြီး စွမ်းဆောင်ရည်မြင့် AI application တွေ တည်ဆောက်ရာမှာ ပိုမိုလွယ်ကူစေမယ့် open software ecosystem တစ်ခုကို တိုးတက်အောင် လုပ်ဆောင်နေပါတယ်” လို့ AMD ရဲ့ Architecture and Strategy ဆိုင်ရာ corporate vice president ဖြစ်သူ Robert Hormuth က ပြောပါတယ်။ “x86 Ecosystem Advisory Group နဲ့ ပူးပေါင်းလုပ်ဆောင်ခြင်းအားဖြင့် x86 processors တွေမှာ ဖွံ့ဖြိုးတိုးတက်မှုကို ရိုးရှင်းစေမယ့် ဘုံနည်းပညာတွေကို အခြေခံပြီး ဒီလုပ်ငန်းကို စုစည်းပေးနေပါတယ်။”
AMD က ZenDNN လုပ်ဆောင်ချက် oneDNN မှာ ပါဝင်လာတာနဲ့အမျှ သူ့ရဲ့ ပရိုဆက်ဆာတွေအတွက် optimization ဆက်လုပ်သွားမယ်လို့ ပြောပါတယ်။ ကုမ္ပဏီနှစ်ခုစလုံးက PyTorch ဖြန့်ချိမှု ဒါမှမဟုတ် ပေါင်းစည်းထားတဲ့ oneDNN ဗားရှင်းကို အမည်မပေးရသေးသလို၊ အချိန်ဇယားထုတ်ပြန်ထားတာ ဒါမှမဟုတ် စွမ်းဆောင်ရည်ကိန်းဂဏန်းတွေကိုလည်း မထုတ်ပြန်ရသေးတာကြောင့် လောလောဆယ်မှာတော့ ကြေငြာချက်မှာ ပေါင်းစပ်မှုလုပ်ငန်းတွေကို ဖော်ပြထားပါတယ်။ EPYC 9006 Venice လိုင်းနဲ့ Intel ရဲ့ Diamond Rapids တို့ဟာ နှစ်ဖက်စလုံးရဲ့ နောက်ဆုံးပေါ် server အစိတ်အပိုင်းတွေဖြစ်ပြီး ဘယ်မျိုးဆက်တွေက ပေါင်းစည်းထားတဲ့လမ်းကြောင်းကို အရင်ဆုံးရရှိမလဲဆိုတာကို ကုမ္ပဏီနှစ်ခုစလုံးက မပြောသေးပါဘူး။
အကြံပြုချက်၏နောက်ကွယ်ရှိ အကြံပေးအဖွဲ့မှာ Intel နှင့် AMD တို့သည် x86 ကို shared platform အဖြစ် စီမံခန့်ခွဲရန် ၂၀၂၄ ခုနှစ် အောက်တိုဘာလတွင် ဖွဲ့စည်းခဲ့ပြီး Broadcom၊ Dell၊ Google၊ HPE၊ HP၊ Lenovo၊ Meta၊ Microsoft၊ Oracle နှင့် Red Hat တို့သည် တည်ထောင်သူအဖွဲ့ဝင်များအဖြစ် ပါဝင်ခဲ့သည်။ ၎င်း၏ပဋိညာဉ်စာတမ်းတွင် cross-platform compatibility နှင့် ပိုမိုရိုးရှင်းသော software ဖွံ့ဖြိုးတိုးတက်မှုတို့ကို လွှမ်းခြုံထားပြီး oneDNN ညှိနှိုင်းမှုသည် ACE သတ်မှတ်ချက်ကို ချစ်ပ်ထုတ်လုပ်သူနှစ်ဦးက ၎င်းအတွက် ဒုတိယရလဒ်အဖြစ် သတ်မှတ်ခဲ့သည်။
အနာဂတ် အပ်ဒိတ်များအတွက် AI Compute Extensions ပံ့ပိုးမှုကို စီစဉ်ထားသည်
ပူးပေါင်းဆောင်ရွက်မှုရဲ့ ဒုတိယအပိုင်းကတော့ AMD နဲ့ Intel တို့က အကြံပေးအဖွဲ့တစ်ခုတည်းကတစ်ဆင့် အတူတကွ သတ်မှတ်ပေးထားတဲ့ နောက်မျိုးဆက် x86 instruction set တစ်ခုဖြစ်တဲ့ AI Compute Extensions (ACE) ပါ။ ACE ကို matrix multiplication ကို အရှိန်မြှင့်ဖို့ တည်ဆောက်ထားပြီး ကုမ္ပဏီတွေက အနာဂတ် oneDNN update တွေကတစ်ဆင့် PyTorch ကို ရောက်ရှိမယ်လို့ ပြောကြားခဲ့ပြီး ဒါဟာ library တစ်ခုတည်းအတွက် လက်တွေ့ကျတဲ့ အကြောင်းပြချက်ပါပဲ- ပေါင်းစပ်မှုတစ်ခုတည်းက ရောင်းချသူနှစ်ဦးစလုံးရဲ့ processor တွေဆီကို instruction အသစ်တွေကို ရရှိစေပါတယ်။
AMD နှင့် Intel တို့သည် ယခုနှစ်အစောပိုင်းတွင် အကြံပေးအဖွဲ့မှတစ်ဆင့် ACE သတ်မှတ်ချက်ကို ထုတ်ပြန်ခဲ့သည်။ ၎င်းသည် AVX10 အင်ဂျင်အတွင်းရှိ အပိုယူနစ်တစ်ခုအဖြစ် outer-product matrix ညွှန်ကြားချက်များကို သတ်မှတ်ပေးထားပြီး 512-bit tile register ရှစ်ခု၊ OCP MX block scaling အတွက် 1,024-bit block scale register နှင့် MXFP4 နှင့် MXFP6 ကို လွှမ်းခြုံထားသော conversion များဖြင့် INT8၊ FP8၊ MXFP8၊ MXINT8 နှင့် BF16 data အမျိုးအစားများ ပါဝင်သည်။ ACE သည် AMX framework အောက်ရှိ palette အသစ်တစ်ခုအဖြစ် software တွင် ပေါ်လာပြီး AMX programming model နှင့် operating system support ကို ပြန်လည်အသုံးပြုနိုင်စေပြီး specification တွင် AVX10 multiply-accumulate နှင့်ညီမျှသော 16x compute density gain ရှိသည်ဟု ဖော်ပြထားသည်။
“x86 CPU ကနေ အကောင်းဆုံးရရှိဖို့အတွက် developer တွေဟာ သီးခြား software လမ်းကြောင်းတွေအကြောင်း စဉ်းစားစရာမလိုပါဘူး” လို့ Intel ရဲ့ Data Center Strategic Programs ရဲ့ ဒုတိယဥက္ကဋ္ဌနဲ့ အထွေထွေမန်နေဂျာ Jeff McVeigh က ပြောပါတယ်။ “oneDNN မှတစ်ဆင့် AMD နဲ့ လက်တွဲလုပ်ဆောင်ခြင်းက PyTorch အသိုင်းအဝိုင်းကို ခေတ်မီ processor တွေအတွက် တသမတ်တည်းချဉ်းကပ်မှုနဲ့ AI Compute Extensions အပါအဝင် အနာဂတ်စွမ်းရည်တွေကို framework ထဲ ယူဆောင်လာနိုင်မယ့် နည်းလမ်းတစ်ခု ပေးပါတယ်။”
ကုမ္ပဏီနှစ်ခုစလုံးက ACE ကို တင်ပို့မယ့် processor မျိုးဆက်တွေကို မဖော်ပြသေးတဲ့အတွက် oneDNN ပေါင်းစပ်မှုဟာ hardware roadmap ရဲ့ software ဘက်ခြမ်းဖြစ်ပြီး မကြေညာရသေးပါဘူး။ x86 မှာရှိတဲ့ PyTorch အသုံးပြုသူတွေအတွက် ရေတိုပြောင်းလဲမှုကတော့ optimization တွေ ဘယ်နေရာမှာ ရှိနေလဲဆိုတာနဲ့ တိုင်းတာလို့ရတဲ့အပိုင်းကတော့ oneDNN path တစ်ခုတည်းဟာ ZenDNN EPYC မှာ ပေးပို့ခဲ့တဲ့အရာနဲ့ ကိုက်ညီမှုရှိမရှိဖြစ်ပြီး ကုမ္ပဏီနှစ်ခုစလုံး ညွှန်ပြနိုင်တဲ့ ဖြန့်ချိမှုကို စောင့်ရပါလိမ့်မယ်။
အမေဇုံ