သြဂုတ်လ ၈ ရက်နေ့တွင် Amazon Web Services သည် data lake ဝန်ဆောင်မှုတစ်ခုဖြစ်သည့် AWS Lake Formation ကို ထုတ်ပြန်ခဲ့သည်။ ဖောက်သည်များစွာသည် ၎င်းတို့၏ data lake အတွက် Amazon S3 (Simple Storage Services) ကို အသုံးပြုနေကြပြီဖြစ်သောကြောင့် Lake Formation ကို Amazon data lake ကို ပိုမိုစျေးသက်သာပြီး အသုံးပြုရလွယ်ကူစေရန် ကိရိယာတစ်ခုအဖြစ် အကောင်းဆုံးရှုမြင်နိုင်ပါသည်။
Amazon မှာ Amazon Web Services Lake Formation က ပံ့ပိုးပေးတဲ့ အဓိက tool ငါးခုကို စာရင်းပြုစုထားပါတယ်- source crawlers၊ ETL နဲ့ data prep၊ data catalog၊ security settings နဲ့ access control တို့ပါ။ ဒီ tool အားလုံးကို central Lake Formation Console ကနေတစ်ဆင့် စီမံခန့်ခွဲပါတယ်။ Athena၊ Redshift နဲ့ EMR လိုမျိုး တခြား AWS service တွေကတော့ data ကို ရွှေ့ပြောင်းပြီးတာနဲ့ access လုပ်လို့ရနေဦးမှာပါ။
AWS Lake Formation source crawler များသည် လက်ရှိရှိနေသည့်နေရာမှ သင့် data lake ထဲသို့ data များရယူရာတွင် ပါဝင်သော overhead ကို လျှော့ချရန် ရည်ရွယ်ပါသည်။ S3 instance ရှိပြီးသားဖောက်သည်များသည် Lake Formation ကို ၎င်းတို့ဆွဲယူလိုသော instance များကို ညွှန်ပြရန်သာ လိုအပ်ပါသည်။ ဖောက်သည်အသစ်များ သို့မဟုတ် data source အသစ်များထည့်လိုသူများအတွက် လုပ်ငန်းစဉ်သည် အနည်းငယ်ပိုမိုရှုပ်ထွေးပါသည်။ AWS Lake Formation သည် database တစ်ခုလုံးကို ဆွဲယူနိုင်သည် သို့မဟုတ် user-defined table များနှင့် key များအပေါ်အခြေခံ၍ incremental update များကို ပြုလုပ်နိုင်သည်။
AWS Lake Formation သည် extract, transform, load (ETL) နှင့် data preparation ဝန်ဆောင်မှုများ ပေးရန်အတွက် AWS glue ကို အသုံးပြုသည်။ Lake Formation သည် data များ ထည့်သွင်းလာသည်နှင့်အမျှ ထပ်တူကျနေသော data များကို ဖယ်ရှားရန်အတွက် built-in machine learning ဝန်ဆောင်မှုကိုလည်း ပေးပါသည်။ ၎င်းသည် data lake ၏ အရွယ်အစားကို ထိန်းသိမ်းရန်နှင့် ကုန်ကျစရိတ်များကို လျှော့ချရန် ကူညီပေးသင့်သည်။
data lake တွေအတွက် အခက်ခဲဆုံးအတားအဆီးတစ်ခုကတော့ lake ထဲမှာ ဘာတွေရှိနေလဲဆိုတာကို ခြေရာခံနေဖို့ပါပဲ။ AWS Lake Formation က ရရှိနိုင်တဲ့ data set အမျိုးမျိုးနဲ့ ဘယ် user အုပ်စုတွေက တစ်ခုချင်းစီကို access လုပ်ခွင့်ရှိလဲဆိုတာကို ဖော်ပြတဲ့ data catalog တစ်ခုကို ပေးစွမ်းပါတယ်။ ဒါက သက်ဆိုင်ရာ data set တွေကို ရှာဖွေတဲ့ လုပ်ငန်းစဉ်ကို အသုံးပြုရလွယ်ကူစေသင့်ပါတယ်။
နောက်ဆုံး built-in tool နှစ်ခုကတော့ လုံခြုံရေးနဲ့ ဝင်ရောက်ခွင့်ထိန်းချုပ်မှုကို ပေးစွမ်းနိုင်တဲ့ tool အစုံပါပဲ။ tool set မှာ AWS Identity၊ Access Management နဲ့ AWS Key Management Service လိုမျိုး ဝန်ဆောင်မှုတွေ ပါဝင်ပါတယ်။ AWS Lake Formation က customer တွေကို central console ကနေတစ်ဆင့် data lake တစ်ခုလုံးရဲ့ policies တွေကို သတ်မှတ်နိုင်စေပါတယ်။ ပိုပြီး အသေးစိတ်ထိန်းချုပ်မှု လိုအပ်ရင် per data set security setting တွေကိုလည်း support လုပ်ပါတယ်။
အသုံးပြုနိုင်မှု
လက်ငင်း
အမေဇုံ