StorageReview.com

Alluxio 2.0 ကို မိတ်ဆက်လိုက်ပါပြီ

စီးပွားရေးလုပ်ငန်း  ◇  Software များ

ယနေ့ AWS Global Summit တွင် Alluxio သည် ၎င်း၏ data orchestration နည်းပညာ၏ နောက်ဆုံးထွက်ဗားရှင်းဖြစ်သော Alluxio 2.0 ကို ကြေညာခဲ့သည်။ နောက်ဆုံးထွက်ဗားရှင်းတွင် data အင်ဂျင်နီယာများအတွက် ဆန်းသစ်တီထွင်မှုအသစ်များ ပါဝင်ပြီး multi-cloud analytics နှင့် AI အတွက် ရည်ရွယ်ပါသည်။

ကျွန်ုပ်တို့ အစပိုင်းတွင် ဖော်ပြခဲ့သည့်အတိုင်း Alluxio က ၎င်းတို့သည် မှတ်ဉာဏ်အမြန်နှုန်းဖြင့် ဒေတာများကို ပေါင်းစည်းပေးသည့် ကမ္ဘာ့ပထမဆုံးစနစ်ဖြစ်သည်ဟု ဖော်ပြထားသည်။ “မှတ်ဉာဏ်အမြန်နှုန်း” သည် စီးပွားရေးလုပ်ငန်းများအား မတူညီသော သိုလှောင်မှုစနစ်များတစ်လျှောက် ဒေတာများကို လျင်မြန်စွာ ဝင်ရောက်ကြည့်ရှုနိုင်စေမည်ဖြစ်ပြီး၊ ဆိုလိုသည်မှာ ၎င်းတို့၏ဒေတာကို ပိုမိုထိရောက်စွာ စီမံခန့်ခွဲနိုင်ခြင်း၊ အဖိုးတန်သော အသိအမြင်များကို ပိုမိုမြန်ဆန်စွာ ရှာဖွေတွေ့ရှိနိုင်ခြင်းနှင့် hybrid cloud ကို အသုံးပြုမှုကို လွယ်ကူချောမွေ့စေခြင်းတို့ကို ပြုလုပ်နိုင်မည်ဖြစ်သည်။ လက်ရှိတွင် Alluxio သည် Alibaba၊ Baidu၊ Barclay's Bank၊ CERN၊ ESRI၊ Huawei၊ Intel နှင့် Juniper ကဲ့သို့သော ကုမ္ပဏီများအတွက် အရေးကြီးသော workloads များကို လုပ်ဆောင်နေပါသည်။

ကမ္ဘာကြီးဟာ cloud-based compute intensive workloads တွေဆီ ပြောင်းလဲနေပါတယ်။ ဒီအာရုံစိုက်မှုအသစ်က compute ဟာ storage ကနေ သီးခြားစီ elastic နည်းနဲ့ scale လုပ်ဖို့လိုအပ်တယ်လို့ ဆိုလိုပါတယ်။ performance ရှုထောင့်ကနေကြည့်ရင် အကျိုးကျေးဇူးတွေ အများကြီးရှိပေမယ့် data engineer တွေအတွက် ခေါင်းခဲစရာဖြစ်လာနိုင်ပါတယ်။ Alluxio က data silos၊ zones၊ regions နဲ့ cloud တွေမှာတောင် compute လုပ်ဖို့အတွက် data locality၊ data accessibility နဲ့ data elasticity တွေကို ယူဆောင်လာပေးတဲ့ abstraction layer တစ်ခုထည့်သွင်းခြင်းအားဖြင့် ဒီပြဿနာကို ဖြေရှင်းဖို့ ရည်ရွယ်ထားပါတယ်။

အင်္ဂါရပ်များနှင့် စွမ်းရည်များ ပါဝင်သည်-

  • Multi-cloud အတွက် ဒေတာစုစည်းမှု ဆန်းသစ်တီထွင်မှု- 
    • မူဝါဒအခြေပြုဒေတာစီမံခန့်ခွဲမှု
      • Alluxio 2.0 တွင် ဒေတာအင်ဂျင်နီယာများအနေဖြင့် ကြိုတင်သတ်မှတ်ထားသော မူဝါဒများအပေါ် အခြေခံ၍ သိုလှောင်မှုစနစ်များတစ်လျှောက် ဒေတာရွှေ့ပြောင်းမှုကို အလိုအလျောက်နှင့် ဆက်လက်လုပ်ဆောင်နိုင်စေမည့် စွမ်းရည်အသစ်တစ်ခု ပါဝင်သည်။ ဆိုလိုသည်မှာ ဒေတာကို ဖန်တီးပြီး ပူပြင်းသော၊ နွေးသော၊ အေးသောဒေတာကို စီမံခန့်ခွဲသည်နှင့်အမျှ Alluxio သည် on-premises နှင့် cloud အားလုံးရှိ သိုလှောင်မှုစနစ်အရေအတွက်မရွေး ဒေတာအဆင့်ဆင့်ကို အလိုအလျောက်လုပ်ဆောင်နိုင်သည်။
      • ဒေတာပလက်ဖောင်းအဖွဲ့များသည် ယခုအခါ ဈေးကြီးသော သိုလှောင်မှုစနစ်များရှိ အရေးကြီးဆုံးဒေတာများကိုသာ အလိုအလျောက် စီမံခန့်ခွဲခြင်းနှင့် အခြားဒေတာများကို ဈေးသက်သာသော သိုလှောင်မှုရွေးချယ်စရာများသို့ ရွှေ့ပြောင်းခြင်းဖြင့် သိုလှောင်မှုကုန်ကျစရိတ်များကို လျှော့ချနိုင်ပါပြီ။
      • ဒေတာဝင်ရောက်ခွင့်မူဝါဒများကို ပိုမိုကောင်းမွန်စွာ စီမံခန့်ခွဲခြင်း- ဖိုင်အဆင့်တွင် အသေးစိတ်ဖော်ပြထားသော မူဝါဒများအပြင်၊ ယခုအခါ အသုံးပြုသူများသည် မည်သည့် directory နှင့် folder အဆင့်တွင်မဆို မူဝါဒများကို configure လုပ်နိုင်ပြီး ဒေတာဝင်ရောက်ခွင့်အပြင် workloads များ၏ စွမ်းဆောင်ရည်ကို ပိုမိုကောင်းမွန်စေပါသည်။ ၎င်းတို့တွင် ဒေတာရေးသားခြင်း သို့မဟုတ် Alluxio အောက်ရှိ storage systems များနှင့် ဒေတာများကို sync လုပ်ခြင်းကဲ့သို့သော core function အမျိုးမျိုးတွင် တစ်ဦးချင်း dataset များအတွက် အပြုအမူများကို သတ်မှတ်ခြင်း ပါဝင်သည်။
      • ဒေတာဝန်ဆောင်မှုမှတစ်ဆင့် cloud သိုလှောင်မှုဖြတ်ကျော် ထိရောက်သောဒေတာရွှေ့ပြောင်းမှု- ဒေတာဝန်ဆောင်မှုအသစ်သည် AWS S3 နှင့် Google GCS ကဲ့သို့သော cloud store များတစ်လျှောက် အပါအဝင် အလွန်ထိရောက်သောဒေတာရွှေ့ပြောင်းမှုကို ခွင့်ပြုပြီး object storage ပေါ်ရှိ စျေးကြီးသောလုပ်ဆောင်မှုများကို compute framework နှင့် ချောမွေ့စေသည်။
  • Cloud Analytics အတွက် Compute Optimized Data Access:
    • Compute-focused Cluster Partitioning: အသုံးပြုသူများသည် ယခုအခါ မည်သည့် dimension ပေါ်မူတည်၍ Alluxio တစ်ခုတည်းကို partition လုပ်နိုင်ပြီဖြစ်သောကြောင့် framework သို့မဟုတ် workload တစ်ခုစီအတွက် dataset များကို အခြားတစ်ခုမှ မညစ်ညမ်းစေပါ။ အသုံးအများဆုံးအသုံးပြုမှုတွင် framework Spark၊ Presto စသည်တို့ဖြင့် cluster ကို partition လုပ်ခြင်း ပါဝင်သည်။ ထို့အပြင်၊ ၎င်းသည် data transfer ကုန်ကျစရိတ်များကို လျှော့ချပေးပြီး data များကို သတ်မှတ်ထားသော zone သို့မဟုတ် region အတွင်းတွင်သာ ရှိနေစေရန် ကန့်သတ်ထားသည်။
    • REST မှတစ်ဆင့် ပြင်ပဒေတာရင်းမြစ်များနှင့် ပေါင်းစပ်ခြင်း- အသုံးပြုသူများသည် ၎င်းတို့၏ ခွဲခြမ်းစိတ်ဖြာမှုများကို လုပ်ဆောင်ရန်အတွက် Alluxio တွင် ဝဘ်အခြေပြုဒေတာရင်းမြစ်များမှ ဒေတာများကိုပင် ယူဆောင်လာနိုင်ပါပြီ။ ဖိုင်များပါရှိသော မည်သည့်ဝဘ်တည်နေရာကိုမဆို query သို့မဟုတ် model run ပေါ်မူတည်၍ လိုအပ်သလို ဆွဲယူနိုင်ရန် Alluxio သို့ ညွှန်ပြခြင်းဖြင့် ရိုးရှင်းအောင် ပြုလုပ်နိုင်ပါသည်။
  • အခြားအင်္ဂါရပ်များ၊ ပါဝင်သည်-
    • မြင့်မားစွာဖြန့်ဝေထားသောဒေတာဝန်ဆောင်မှုများ – ၂.၀ သည် ဖြန့်ဝေထားသော clustered ဝန်ဆောင်မှုတစ်ခုဖြစ်သည့် Alluxio Data Service ကို မိတ်ဆက်ပေးထားပြီး၊ မိတ္တူကူးခြင်း၊ တည်မြဲခြင်းကဲ့သို့သော ဒေတာလုပ်ဆောင်ချက်များသည် မြင့်မားသောစွမ်းဆောင်ရည်နှင့် ကြီးမားသောစကေးကို ဖြစ်ပေါ်စေပါသည်။ 
    • ဒေတာတည်နေရာတိုးမြှင့်ရန်အတွက် လိုက်လျောညီထွေဖြစ်အောင် မိတ္တူကူးခြင်း – Alluxio တွင် အလိုအလျောက်စီမံခန့်ခွဲသည့် ဒေတာမိတ္တူအရေအတွက်အတွက် အပိုင်းအခြားတစ်ခုကို ပြင်ဆင်သတ်မှတ်ရန် အင်္ဂါရပ်အသစ်။
    • Embedded Journal ဖြင့် ရရှိနိုင်မှုမြင့်မားခြင်း – RAFT consensus algorithm ကိုအသုံးပြုပြီး အခြား external storage system များနှင့် မသက်ဆိုင်သော embedded journal ဟုခေါ်သော file နှင့် object metadata အတွက် fault tolerance နှင့် high availability mode အသစ်တစ်ခု။ ၎င်းသည် object storage ကို abstract လုပ်ရာတွင် အထူးအထောက်အကူဖြစ်စေပါသည်။
    • Alluxio POSIX API – Alluxio ရဲ့ FUSE feature က POSIX နဲ့ တွဲဖက်အသုံးပြုနိုင်တဲ့ API ကို ဖွင့်ပေးတာကြောင့် Tensorflow၊ Caffe နဲ့ တခြား Python-based model တွေလို framework တွေဟာ ရိုးရာ file system access ကို အသုံးပြုပြီး Alluxio မှတစ်ဆင့် မည်သည့် storage system မှမဆို data တွေကို တိုက်ရိုက် access လုပ်နိုင်ပါတယ်။
  • Amazon AWS ပံ့ပိုးမှု-
    • AWS Elastic Map Reduce (EMR) ဝန်ဆောင်မှုပေါင်းစပ်မှု- အသုံးပြုသူများသည် analytical နှင့် AI workloads များကို ဖြန့်ကျက်ရန် cloud ဝန်ဆောင်မှုများသို့ ပြောင်းလဲလာသည်နှင့်အမျှ AWS EMR ကဲ့သို့သော ဝန်ဆောင်မှုများကို ပိုမိုအသုံးပြုလာကြသည်။ Alluxio ကို AWS EMR cluster ထဲသို့ ချောမွေ့စွာ bootstrapped လုပ်နိုင်ပြီး Spark၊ Presto နှင့် Hive frameworks များအတွက် EMR အတွင်းရှိ data layer အဖြစ် ရရှိနိုင်ပါသည်။ အသုံးပြုသူများသည် ယခုအခါ S3 သို့မဟုတ် remote data မှ data များကို cache လုပ်ခြင်းအတွက် မြင့်မားသောစွမ်းဆောင်ရည်ရှိသော အခြားရွေးချယ်စရာတစ်ခုရှိပြီး EMR တွင် ထိန်းသိမ်းထားသော data မိတ္တူများကိုလည်း လျှော့ချပေးပါသည်။

အသုံးပြုနိုင်မှု

Alluxio 2.0 Community နှင့် Enterprise Edition နှစ်မျိုးလုံးကို ယခုရရှိနိုင်ပါပြီ။

Alluxio ပင်မဆိုက်

ဒီဇာတ်လမ်းကို ဆွေးနွေးပါ

StorageReview သတင်းလွှာအတွက် စာရင်းသွင်းပါ

StorageReview မှာ ပါဝင်လုပ်ဆောင်ပါ

သတင်းလွှာ | YouTube | ပေါ့ဒ်ကတ်စ် iTunes / Spotify | Instagram | Twitter | TikTok | RSS Feed

အဒမ်အမ်းစထရောင်း

အာဒမ်သည် StorageReview.com ၏ အကြီးတန်းသတင်းအယ်ဒီတာဖြစ်ပြီး ကျွန်ုပ်တို့၏ အတွင်းပိုင်းနှင့် freelance အကြောင်းအရာအဖွဲ့များကို စီမံခန့်ခွဲပါသည်။