Oracle သည် လာ့စ်ဗီးဂတ်စ်ရှိ Oracle AI World တွင် Oracle Acceleron ၏ စွမ်းဆောင်ရည်များကို ဒုတိယအကြိမ်မြောက် ကြေညာခဲ့ပြီး ၎င်းသည် networking suite တွင် dedicated fabrics၊ multiplanar networking၊ SmartNICs နှင့် Oracle Cloud Infrastructure အတွက် direct data paths များကို ပထမဆုံး ပေါင်းစပ်ထည့်သွင်းပြီး တစ်နှစ်အကြာတွင် ဖြစ်သည်။ အစိတ်အပိုင်းအသစ်များမှာ OCI ၏ shared front-end network ပေါ်ရှိ RDMA၊ Acceleron bare metal နှင့် VM shapes များတစ်လျှောက် NVMe block storage attachments များ၊ block performance ထက် ၃ ဆအထိ အဆင့်သတ်မှတ်ထားသော failover နှင့် load balancing ကို NCCL နှင့် RCCL layer ထဲသို့ ရွှေ့ပေးသည့် collective communications plugin နှင့် front-end traffic သို့ တိုးချဲ့ထားသော multiplanar networking တို့ဖြစ်သည်။
“ကွန်ရက်ပွတ်တိုက်မှုနှင့်ပတ်သက်လာလျှင် AI အခြေခံအဆောက်အအုံသည် ခွင့်လွှတ်၍မရနိုင်ပါ” ဟု Oracle Cloud Infrastructure ၏ Compute and AI Infrastructure အမှုဆောင်ဒုတိယဥက္ကဋ္ဌ Pradeep Vincent က ပြောကြားခဲ့သည်။ “accelerator ထောင်ပေါင်းများစွာသည် အတူတကွလုပ်ဆောင်နေချိန်တွင်၊ ကျပ်တည်းသော သို့မဟုတ် ပျက်ကွက်သောလမ်းကြောင်းတစ်ခုသည် တစ်ခုတည်းသောချိတ်ဆက်မှုထက် များစွာကျော်လွန်၍ အကျိုးဆက်များဖြစ်ပေါ်စေနိုင်သည်။ Oracle Acceleron ဖြင့် ကျွန်ုပ်တို့သည် ယာဉ်ကြောပိတ်ဆို့မှုကို ပြန်လည်လမ်းကြောင်းပြောင်းခြင်း၊ ပျက်ကွက်မှုများမှ ပြန်လည်ကောင်းမွန်လာခြင်းနှင့် ဖောက်သည်များ လုံခြုံစွာတိုးချဲ့နိုင်ရန် ကူညီပေးခြင်းဖြင့် တုံ့ပြန်နိုင်သည့် ကွန်ရက်တစ်ခုကို တည်ဆောက်နေပါသည်။”
Front-End RDMA နှင့် 3x NVMe Block Storage Claim
OCI ရဲ့ front-end network မှာ Oracle Database၊ customer compute၊ block နဲ့ object storage၊ SaaS နဲ့ OCI service တွေ၊ backbone link တွေ၊ အင်တာနက် access နဲ့ on-premises connectivity တွေကို တူညီတဲ့ fabric ပေါ်မှာ သယ်ဆောင်ထားပါတယ်။ အဲဒါကြောင့် RDMA ဟာ သမိုင်းကြောင်းအရ dedicated back-end cluster network တွေမှာ ရှိနေခဲ့တာပါ။ Oracle Acceleron High-Performance Fabric က RDMA ကို share လုပ်ထားတဲ့ front end မှာ inference၊ storage နဲ့ HPC traffic အတွက် ထားရှိပြီး Oracle က queue pair type နဲ့ verb တိုင်းကို support လုပ်တယ်လို့ ပြောပါတယ်။ ဒါကြောင့် ရှိပြီးသား RDMA application တွေကို ပြောင်းလဲခြင်းမရှိဘဲ run နိုင်ပါတယ်။ ကုမ္ပဏီဟာ GPU cluster တစ်ခုချင်းစီကို ချိတ်ဆက်ဖို့ front-end link တွေကိုလည်း အသုံးပြုပြီး back-end fabric တွေက cluster တစ်ခုချင်းစီရဲ့ training ကို ကိုင်တွယ်ပါတယ်။
သိုလှောင်မှုတစ်ဝက်မှာ Acceleron bare metal နှင့် VM ပုံသဏ္ဍာန်အသစ်များတွင် တိုးချဲ့ထားသော NVMe block storage attachment options များဖြစ်ပြီး၊ Oracle က AI၊ database နှင့် အခြားဒေတာများစွာပါဝင်သော workloads များအတွက် NVMe block storage စွမ်းဆောင်ရည်ကို ၃ ဆအထိ မြှင့်တင်ပေးသည်ဟု ပြောကြားခဲ့သည်။ Oracle သည် baseline configuration၊ workload သို့မဟုတ် throughput၊ IOPS သို့မဟုတ် latency ရှိမရှိကို မထုတ်ပြန်ရသေးဘဲ၊ ကျွန်ုပ်တို့သည် ၎င်းကို လုပ်ဆောင်ခြင်း သို့မဟုတ် audit မလုပ်ခဲ့ပါ။ ထုတ်ဝေမှုတွင် Oracle ၏ စံသတ်မှတ်ထားသော အနာဂတ်ထုတ်ကုန်ရှင်းလင်းချက်ပါရှိပြီး မည်သည့်စွမ်းရည်အသစ်အတွက်မဆို ရရှိနိုင်မည့်ရက်စွဲများကို မပေးပါ။
RDMA နှင့် TCP အကြား front end မျှဝေခြင်းသည် congestion-control ပြဿနာတစ်ခုဖြစ်သည်၊ အဘယ်ကြောင့်ဆိုသော် RDMA transports များသည် rate-based control ကို အသုံးပြုလေ့ရှိပြီး TCP သည် window-based control ကို အသုံးပြုလေ့ရှိပြီး loop တစ်ခုသည် အခြားတစ်ခုကို ပြတ်တောက်စေနိုင်သည်။ Oracle ၏အဖြေသည် Acceleron SmartNIC တွင် ရှိနေသည်။ Hierarchical token buckets များသည် shared parent bucket တစ်ခုအောက်ရှိ RDMA နှင့် non-RDMA classes များအတွက် bandwidth ကို ခြေရာခံပြီး tokens များ နည်းပါးလာသည်နှင့်အမျှ NIC သည် ECN-capable packets များကို mark လုပ်ခြင်း သို့မဟုတ် ကျန် packets များကို drop လုပ်ခြင်းဖြစ်နိုင်ပြီး ၎င်းသည် တဖြည်းဖြည်း congestion signal ကို ထုတ်လုပ်ပေးပြီး top-of-rack link တွင် incast မှ ထွက်ခွာသွားစေသည်။ မည်သည့် class မဆို အခြား class တစ်ခုမှ အသုံးမပြုရသေးသော bandwidth ကို ငှားရမ်းနိုင်သည်။
fabric အတွင်းရှိ congestion အတွက် SmartNIC သည် One-Way-Delay Congestion Control ကို လုပ်ဆောင်ပြီး congested reverse path မှ false signal မဖြစ်ပေါ်စေရန် forward-path delay ကို တိုင်းတာသည်။ flow တွင် မြင့်မားသော delay ကိုတွေ့သောအခါ အခြားလမ်းကြောင်းသုံးခုကို စစ်ဆေးပြီး တစ်ခုပိုကောင်းပါက flow ကို ရွှေ့သည်။ တစ်ခုမကောင်းပါက ECN marking သို့ ပြန်ကျသွားသည် သို့မဟုတ် ကျဆင်းသွားသည်။ Oracle သည် host များတွင် standard kernel နှင့် CPU bypass ကိုထိန်းသိမ်းထားစဉ်တွင် switch များမှ အနည်းဆုံး QoS support လိုအပ်သည်ဟု ဒီဇိုင်းကို ဖော်ပြထားသည်။
| စွမ်းဆောင်နိုင်မှု | Oracle က ဘာလုပ်ပေးတယ်လို့ ပြောလဲ |
|---|---|
| Oracle Acceleron စွမ်းဆောင်ရည်မြင့် အထည်အလိပ် | OCI front-end compute ပေါ်ရှိ RDMA သည် inference၊ storage နှင့် HPC workloads များအတွက် queue pair အမျိုးအစားများနှင့် verb အားလုံးကို ပံ့ပိုးပေးပါသည်။ |
| ချဲ့ထွင်ထားသော NVMe block storage attachments များ | Acceleron bare metal နှင့် VM ပုံသဏ္ဍာန်များတွင် NVMe block storage၊ block storage စွမ်းဆောင်ရည် ၃ ဆအထိ (ရောင်းချသူကိန်းဂဏန်း) |
| Oracle Collective Communications Library ပလပ်အင် | back-end Multiplanar Network တစ်လျှောက် collective traffic ကို ဖြန့်ကျက်ပေးခြင်း၊ congestion ဖြင့် load balance ပေးခြင်းနှင့် dead port များနှင့် NIC များအနီးတွင် fail over ဖြစ်စေသော NCCL နှင့် RCCL network plugin |
| ပွင့်လင်းမြင်သာသော Front-End Multiplanar Networking | SmartNIC တွင် ကိုင်တွယ်သော front-end RDMA traffic အတွက် Path selection, failover နှင့် congestion control |
OCCL သည် Failover ကို Collective Layer ထဲသို့ ရွှေ့သည်
OCI ရဲ့ back-end Multiplanar Network က multi-port NIC တွေကို disjoint fabric အများအပြားနဲ့ ချိတ်ဆက်ပေးတာကြောင့် training job မှာ n-way redundancy ရှိပေမယ့် အဲဒီ plane တွေကိုသုံးဖို့ NIC-level functionality လိုအပ်ပြီး အမြဲတမ်းရရှိနိုင်မှာမဟုတ်ပါဘူး။ Oracle Collective Communications Library plugin က အဲဒီ dependency ကို ဖယ်ရှားပေးပါတယ်။ ဒါဟာ NVIDIA NCCL နဲ့ AMD RCCL plugin interface တွေကို natively support လုပ်တဲ့ CCL network plugin တစ်ခုဖြစ်ပြီး layer framework တွေက collective operations တွေကို NIC transfers တွေအဖြစ်ပြောင်းလဲဖို့အသုံးပြုပါတယ်။ ပြီးတော့ plugin ထဲမှာ failover, recovery နဲ့ congestion-aware load balancing တွေကို သယ်ဆောင်ထားပြီး NIC firmware နဲ့ topology တွေကနေ ကင်းလွတ်ပါတယ်။
လည်ပတ်မှုတွင် OCCL သည် စံသတ်မှတ်ထားသော Reliable Connection queue pair များတစ်လျှောက် collective traffic ကို ဖြန့်ဝေပေးပြီး၊ throughput မြင့်မားသော pair များပေါ်တွင် ပိုမိုပေးပို့ကာ၊ message နှင့် chunk level တွင် ပိတ်ဆို့နေသော path များမှ traffic ကို ရွှေ့ပေးသည်။ port တစ်ခု သို့မဟုတ် NIC တစ်ခုလုံး ပျက်ကွက်သောအခါ၊ collective ကို အခြား port သို့မဟုတ် NIC သို့ မောင်းနှင်ပေးသောကြောင့် အလုပ်သည် restart မလုပ်ဘဲ ဆက်လက်လုပ်ဆောင်သည်။ Oracle ၏ framing မှာ ၎င်းသည် fabric path များကို ရွေးချယ်ပြီး ပြောင်းလဲမှုများကို စောင့်ကြည့်သော routing controller များထက် ပိုမိုရိုးရှင်းပြီး single-plane နှင့် multi-plane network များတွင်ပါ အလုပ်လုပ်သည်။ တူညီသော multiplanar path selection နှင့် failover သည် Oracle ဟုခေါ်သော Transparent Front-End Multiplanar Networking မှတစ်ဆင့် front-end RDMA traffic သို့ ရောက်ရှိသည်။
တူညီသော ကွန်ရက်အပ်ဒိတ်တွင် Acceleron ပြင်ပရှိ အချက်နှစ်ချက်ကို လွှမ်းခြုံထားသည်။ OCI Global CDN Connect သည် OCI Object Storage နှင့် Cloudflare၊ Fastly၊ Netskrt နှင့် Mainstreaming အကြား တိုက်ရိုက်ချိတ်ဆက်မှုများကို ပံ့ပိုးပေးပြီး ပံ့ပိုးပေးထားသော ဒေသများတွင် အရည်အချင်းပြည့်မီသော cache fetch များတွင် OCI egress charges သုညဖြင့် ပံ့ပိုးပေးသည်။ ထို့အပြင် Oracle သည် စီစဉ်ထားသော OCI App Defense ဝဘ်အပလီကေးရှင်းနှင့် API ကာကွယ်ရေးဝန်ဆောင်မှုအတွက် F5 နှင့် စည်းနှောင်မှုမရှိသော နားလည်မှုစာချွန်လွှာကို လက်မှတ်ရေးထိုးထားသည်။
အမေဇုံ