DataFusion သည် အခက်ခဲဆုံးဒေတာလိုအပ်ချက်များကို ကိုင်တွယ်ဖြေရှင်းရန် ပြောင်းလွယ်ပြင်လွယ်နှင့် တိုးချဲ့နိုင်မှုရှိသော enterprise in-memory virtual database သို့မဟုတ် data-warehouse တစ်ခုဖြစ်သည်။ ၎င်း၏ တိုးချဲ့ထားသော SQL92 instruction set သည် ရှိပြီးသားတည်နေရာများမှ မတူညီသောရင်းမြစ်ဒေတာများကို တိုက်ရိုက်စုစည်းနိုင်စေပါသည်။ ၎င်းသည် အဖွဲ့အစည်းများအား ကြီးမားပြီး စျေးကြီးသော ဒေတာဂိုဒေါင်ပရောဂျက်များ မလိုအပ်ဘဲ ရှိပြီးသားပိုင်ဆိုင်မှုများကို အသုံးချပြီး လိုအပ်ချက်အသစ်များကို ပေးအပ်နိုင်စေပါသည်။ မြင့်မားသောဒေတာချုံ့မှုအဆင့်များနှင့် အဆင့်မြင့်အကောင်အထည်ဖော်မှုဗျူဟာများဖြင့် DataFusion သည် ထူးကဲသော query စွမ်းဆောင်ရည်အတွက် hardware light route ကို ပေးဆောင်ပါသည်။ စက်မှုလုပ်ငန်းစံနှုန်းနှင့် custom analytics များ၏ ချောမွေ့စွာပေါင်းစပ်မှုသည် အဖွဲ့အစည်းများအား အခက်ခဲဆုံးနှင့် ပြောင်းလဲလွယ်သောအခြေအနေများကို လျင်မြန်စွာ အကဲဖြတ်နိုင်စွမ်းကို ပေးစွမ်းသည်။ မြင့်မားသောစွမ်းဆောင်ရည်၊ မြန်ဆန်သောဖြန့်ကျက်မှုနှင့် မြင့်မားသောရရှိနိုင်မှုအတွက် အပြည့်အဝပါရှိသော DataFusion သည် မည်သည့် “agile အဖွဲ့အစည်း” အတွက်မဆို အဖိုးတန်ပိုင်ဆိုင်မှုတစ်ခုဖြစ်သည်။
ငွေကြေးဝန်ဆောင်မှုများ၊ အစိုးရကဏ္ဍနှင့် ပမာဏများစွာဖြန့်ဖြူးသူများအပါအဝင် လုပ်ငန်းအားလုံးရှိ ဒေတာအသုံးပြုမှုများပြားသော အဖွဲ့အစည်းများသည် “Big Data” စိန်ခေါ်မှုနှင့် ရင်ဆိုင်နေရသည့် မည်သည့်ကုမ္ပဏီကိုမဆို ကူညီပေးမည့် DataFusion ၏ ထူးခြားသောဗိသုကာမှ အကျိုးကျေးဇူးရရှိနိုင်ပါသည်။ ဥပမာဖြေရှင်းချက်များတွင် အချိန်နှင့်တပြေးညီ ဆုံးဖြတ်ချက်ပံ့ပိုးမှု၊ အန္တရာယ်စီမံခန့်ခွဲမှု၊ စည်းမျဉ်းစည်းကမ်းဆိုင်ရာ အစီရင်ခံခြင်းနှင့် တရားစီရင်ပိုင်ခွင့်များစွာ သို့မဟုတ် တရားဝင်အဖွဲ့အစည်းများတွင် ဒေတာစုစည်းမှုလိုအပ်သည့် ထောက်ပံ့ရေးကွင်းဆက် အကောင်းဆုံးဖြစ်အောင်လုပ်ဆောင်ခြင်းတို့ ပါဝင်သည်။
DataFusion Benchmark
- DataFusion benchmark ကို Stream Financial မှ ဟာ့ဒ်ဝဲ configuration များကို အကဲဖြတ်ရန် တီထွင်ခဲ့ပြီး DataFusion ထုတ်ဝေမှုများအတွင်း အသုံးပြုသည့် စွမ်းဆောင်ရည်စမ်းသပ်မှုများ၏ တစ်စိတ်တစ်ပိုင်းအဖြစ် အသုံးပြုသည်။
- DataFusion သည် ဗိသုကာပုံစံများစွာတွင် query လုပ်နိုင်သော်လည်း၊ ဤ benchmark သည် indexing မပါဘဲ "brute-force" လုပ်ဆောင်သည့် 1Tn row and 13 column table ပေါ်တွင် ရိုးရှင်းသော "where and group-by" ဖြစ်သည်။
- ထရီလီယံ တန်းဒေတာဇယားကို DataFusion ၏ မူရင်းဖော်မတ်ဖြင့် disk(များ) တွင် ကြိုတင်သိမ်းဆည်းထားသည်။
- multi-channel သို့မဟုတ် mixed storage မှ အမြင့်ဆုံးစွမ်းဆောင်ရည်ရရှိရန်အတွက် DataFusion သည် mount များစွာတွင် ကြီးမားသောဇယားများကို stripe လုပ်နိုင်ပြီး ရရှိနိုင်သော storage စွမ်းဆောင်ရည်အားလုံးကို အကောင်းဆုံးအသုံးချနိုင်စေရန် မတူညီသော IO multipliers များဖြင့် ဤ mount များပေါ်တွင် round-robin လုပ်နိုင်သည်။
- DataFusion သည် IO နှင့် မှတ်ဉာဏ် နှစ်မျိုးလုံးကို အကောင်းဆုံးအသုံးပြုနေစဉ်တွင် ဤကြီးမားသော query များ၏ လုပ်ဆောင်မှုကို CPU နှင့် စက်များစွာတွင် ဖြန့်ကျက်နိုင်သည်။
- အမြင့်ဆုံး benchmark စွမ်းဆောင်ရည်ရရှိရန် DataFusion တွင် storage စွမ်းဆောင်ရည် သို့မဟုတ် CPU ကို သီးခြားစီထည့်သွင်းရန် ပြောင်းလွယ်ပြင်လွယ်ရှိသည်။ ၎င်းသည် server များနှင့် storage နှစ်ခုလုံးကို ၎င်းတို့၏ အပြည့်အဝစွမ်းရည်ဖြင့် အသုံးပြုနေကြောင်း သေချာစေသည်။
အမေဇုံ