၂၀၂၆ ခုနှစ်၊ အောက်တိုဘာလ ၂၈ ရက်နေ့တွင် အပ်ဒိတ်လုပ်ခဲ့သည်- Ollama သည် တိုင်းတာထားသော လမ်းညွှန်ရလဒ်များဖြင့် တတိယမြောက် ရွေးချယ်ခံရသူ ဖြစ်လာခဲ့သည် (RTX 5000 Ada bench တွင် တစ်စက္ကန့်လျှင် တိုကင် ၁၄၅.၄၈ နှင့် ၉၂.၈၇၊ ယခုအချိန်အထိ သုံးခုတွင် အမြန်ဆုံးဖြစ်သည်)၊ starter FAQ သည် ယခုအခါ မြန်နှုန်းကွာဟချက်ကို ထင်ဟပ်စေပြီး လမ်းညွှန်ကော်လံသည် Ollama ကို လက်တွေ့အသုံးချမှုနှင့် ချိတ်ဆက်ပေးသည်။ အောက်တိုဘာလ ၁၉ ရက်နေ့တွင် Open WebUI သည် ဇန်နဝါရီလအတွက် ၁၂၃ နှင့် ၈၂ တို့ကို နှိုင်းယှဉ်ပါက ၁၁၅.၃၂ နှင့် ၇၅.၀၆ ဖြင့် ဒုတိယနေရာ ရရှိခဲ့သည်။ မူလက ၂၀၂၆ ခုနှစ်၊ ဩဂုတ်လ ၁၉ ရက်နေ့တွင် ထုတ်ဝေခဲ့သည်။
ကိုယ်ပိုင် hardware မှာ language model တစ်ခုကို run ရတဲ့ အကြောင်းရင်းလေးချက်ရှိပြီး တစ်ခုကသာ ideological ဖြစ်ပါတယ်။ Privacy: local model ကို ပေးလိုက်တဲ့ document တစ်ခုဟာ စက်ကနေ ဘယ်တော့မှ မထွက်ခွာပါဘူး။ အဲဒါက client code၊ contract တွေ၊ patient data နဲ့ unreleased product တွေအတွက် စကားဝိုင်းတစ်ခုလုံးပါ။
ကုန်ကျစရိတ်ဖွဲ့စည်းပုံ- cloud AI ကို တိုင်းတာပြီး အေးဂျင့်လုပ်ငန်းပမာဏသည် တိုကင်အရေအတွက်ကို လျင်မြန်စွာ မြှောက်ပေးသောကြောင့် စွမ်းဆောင်ရည်ရှိသော workstation တစ်ခုသည် ၎င်းကိုယ်တိုင်အတွက် ပေးချေနိုင်သည်။ သင်ပိုင်ဆိုင်သော hardware သည် လျှပ်စစ်ဓာတ်အားခ၏ ဈေးနှုန်းဖြင့် လည်ပတ်သည်။ ရရှိနိုင်မှု- နှုန်းထားကန့်သတ်ချက်မရှိ၊ ပြတ်တောက်မှုမရှိ၊ အင်္ဂါနေ့တွင် သင့် workflow ကို ပြောင်းလဲပေးသော deprecation email မရှိပါ။ နှင့် ထိန်းချုပ်မှု- သင်အတည်ပြုထားသော မော်ဒယ်သည် သင်အခြားဆုံးဖြတ်ချက်မချမချင်း သင်လည်ပတ်သော မော်ဒယ်ဖြစ်သည်။
အပြန်အလှန်အားဖြင့် frontier cloud model များသည် ပိုမိုစွမ်းဆောင်နိုင်ဆဲဖြစ်ပြီး long-horizon agent work အတွက်မူ ကွာဟချက်မှာ အမှန်တကယ်ဖြစ်သည်။ local model များသည် ညီမျှမှုရောက်ရှိသည့်နေရာတွင် ကန့်သတ်ထားသောအလုပ်များဖြစ်သည်- chat၊ summarization၊ single-file code နှင့် document Q&A။ ၎င်းသည် လူအများစု တစ်နေ့လုံးလုပ်ဆောင်သည့်အရာအများစုဖြစ်သည်။ သင့် driver သည် မည်သည့်စျေးနှုန်းဖြင့်မဆို အမြင့်ဆုံးစွမ်းရည်ရှိပါက cloud ကိုသုံးပါ။ သင့် driver သည် privacy၊ cost သို့မဟုတ် control ဖြစ်ပါက local သည် ယနေ့ခေတ်တွင် အသုံးဝင်ပြီး ဤစာမျက်နှာသည် မြေပုံဖြစ်သည်။
အဲဒီဘောင်ခတ်မှုက သင့်ရဲ့ hardware budget ကို သတ်မှတ်သင့်ပါတယ်၊ ဘာလို့လဲဆိုတော့ ဒေသတွင်း AI သုံးစွဲမှုဟာ တခြားဘာမှမဖြစ်ခင် မှတ်ဉာဏ်ဆုံးဖြတ်ချက်အပေါ်မှာ မူတည်လို့ပါ။ 16GB VRAM သို့မဟုတ် 32GB unified memory ဟာ အထက်ဖော်ပြပါ ကန့်သတ်ချက်ရှိတဲ့အလုပ်ကို ကိုင်တွယ်တဲ့ 7 မှ 8B class ကို လွှမ်းခြုံထားပါတယ်။ 24 မှ 32GB VRAM သို့မဟုတ် 48GB unified ဟာ agentic coding demo မဟုတ်တော့တဲ့ 30B class ကို ရောက်ရှိပါတယ်။ 96 မှ 128GB unified memory ဟာ frontier quality ကို ချဉ်းကပ်တဲ့ 100B-plus မော်ဒယ်တွေကို လည်ပတ်ပါတယ်။ အလွန်အကျွံဝယ်ယူခြင်းက သင်သတိမထားမိနိုင်တဲ့ speed ကို ဝယ်ယူခြင်းဖြစ်ပြီး၊ နည်းပါးဝယ်ယူခြင်းကတော့ သင်လိုချင်တဲ့ မော်ဒယ် class ကို ဘယ်တော့မှ load မလုပ်ဘူးလို့ ဆိုလိုပါတယ်။
ဒေသတွင်း AI အတွက် အကောင်းဆုံး Laptop များ နှင့် ဒေသတွင်း AI ဘုတ်များအတွက် အကောင်းဆုံး Desktop များသည် စက်များကို အဆင့်အလိုက် အဆင့်သတ်မှတ်ပါသည်။ ဤစာမျက်နှာတွင် ၎င်းတို့တွင် မည်သည့်အရာများကို လည်ပတ်ရမည်ကို ဖော်ပြထားသည်။
ဆော့ဖ်ဝဲလ်ဘက်ခြမ်းဟာ ဟာ့ဒ်ဝဲလောက် ကျက်သရေရှိရှိ ရင့်ကျက်မလာသေးပါဘူး။ ဒီနေ့ ရှာဖွေမှုရလဒ်မှာ အကြံပြုထားတဲ့ ကိရိယာတွေရဲ့ သုံးပုံတစ်ပုံလောက်ဟာ ပျောက်ကွယ်သွားပြီး သူတို့ကို အကြံပြုတဲ့ စာမျက်နှာအများစုကလည်း သတိမထားမိကြပါဘူး။
ဒီစာမျက်နှာက ၂၀၂၆ ခုနှစ် အောက်တိုဘာလအထိ ဘာအလုပ်လုပ်လဲ၊ ဘယ်ဟာ့ဒ်ဝဲမှာ အလုပ်လုပ်လဲဆိုတာကို ခြေရာခံပါတယ်။ လောလောဆယ်မှာတော့ GitHub ကြယ်ပွင့်အလိုက် အဆင့်သတ်မှတ်ထားပါတယ်၊ အကြောင်းကတော့ ဒါဟာ ကြားနေဖြစ်ပြီး အတည်ပြုနိုင်တဲ့ အချက်ပြမှုတစ်ခုဖြစ်တာကြောင့်ပါ။ ကိရိယာတစ်ခုဟာ closed source ဖြစ်ပြီး ကြယ်ပွင့်အရေအတွက် ပေးစရာမရှိတဲ့အခါ ကျွန်တော်တို့ ပြောပါမယ်။ ဇယားတွေထဲက ကိရိယာအမည်တိုင်းဟာ ၎င်းရဲ့တရားဝင်ဒေါင်းလုဒ်နဲ့ ချိတ်ဆက်ထားပါတယ်။ ရွေးချယ်မှုတစ်ခုစီကို lab မှာ ဖြတ်သန်းသွားတဲ့အခါ Guide column က လက်တွေ့တပ်ဆင်မှု လမ်းညွှန်ချက်နဲ့ ကျွန်တော်တို့ရဲ့ကိုယ်ပိုင်နံပါတ်တွေနဲ့ ဖြည့်သွင်းထားပြီး ဇန်နဝါရီလကနေစတင်ပါတယ်။
ဤစာမျက်နှာကို စည်းမျဉ်းသုံးခုဖြင့် အုပ်ချုပ်ပြီး ဒေသတွင်းမော်ဒယ် နှင့် ဒေသတွင်းအေးဂျင့်ကို ခွဲခြားခြင်းဖြင့် စတင်သည် ။ ထုတ်ကုန်များစွာသည် သင့်စက်ပေါ်တွင် လည်ပတ်နေစဉ်တွင် ကောက်ချက်ခေါ်ဆိုမှုတိုင်းသည် ရောင်းချသူ cloud သို့ ရောက်ရှိသည်။ ၎င်းသည် အော့ဖ်လိုင်းစွမ်းရည်မဟုတ်ဘဲ ကိုယ်ရေးကိုယ်တာ ရပ်တည်ချက်ဖြစ်ပြီး ထိုကိရိယာများကို အောက်ခြေတွင် သီးခြားစီဖော်ပြထားသောကြောင့် ခွဲခြားမှုကို မြင်နိုင်သည်။ ဒုတိယအချက်မှာ မန်မိုရီကိန်းဂဏန်းမပါဘဲ "၎င်းသည် လက်တော့ပ်ပေါ်တွင် လည်ပတ်သည်" ဟူသော အဓိပ္ပာယ်မရှိသော မှတ်တမ်းတိုင်းတွင် လက်တွေ့ကျသော ဟာ့ဒ်ဝဲ အနည်းဆုံးပါရှိသည်။ တတိယအချက်မှာ FAQ တွင် ရက်စွဲများနှင့်အတူ မည်သည့်အရာသေဆုံးသွားသည်ကို ခြေရာခံပါသည်။
ရွေးချယ်မှုများ
အကောင်းဆုံး ဒေသတွင်း LLM Runtime: Ollama
Ollama က default answer ဖြစ်ပြီး တခြား tool အများစုကလည်း ပြောကြပါတယ်။ MIT လိုင်စင်ရထားပြီး GitHub star ၁၇၉,၀၀၀ လောက်ရှိပါတယ်။ အခုဆိုရင် CLI နဲ့အတူ desktop GUI တစ်ခုကိုပါ ထည့်ပေးလိုက်ပါတယ်။ command တစ်ခုတည်းနဲ့ model တွေကို pull လုပ်တယ်၊ localhost မှာ OpenAI နဲ့ တွဲဖက်အသုံးပြုနိုင်တဲ့ endpoint ကို ဖော်ထုတ်ပေးတယ်၊ ပြီးတော့ ၂၀၂၆ ခုနှစ် ဇန်နဝါရီလမှာ Anthropic Messages API compatibility ကို ထည့်သွင်းပေးခဲ့ပြီး Claude Code က local model ကို ညွှန်ပြပေးသလိုပါပဲ။ အနည်းဆုံး: 3B model အတွက် system RAM 8GB၊ 7-8B အတွက် 16GB၊ 30B class အတွက် 24GB VRAM ရှိရပါမယ်။
ဒီစာမျက်နှာမှာ ကျွန်တော်တို့ရဲ့ကိုယ်ပိုင်နံပါတ်တွေနဲ့ အမြန်ဆုံးပလက်ဖောင်းလည်းဖြစ်ပါတယ်။ ကျွန်တော်တို့ရဲ့ Ollama hands-on မှာ Jan နဲ့ Open WebUI လမ်းညွှန်တွေလိုပဲ RTX 5000 Ada bench နဲ့ model ဖိုင်တွေမှာ Ollama 0.40.11 က Jan V3.5 4B ကို တစ်စက္ကန့်ကို ပျမ်းမျှ 145.48 tokens နဲ့ Jan V2 VL High ကို 92.87 နဲ့ decode လုပ်ခဲ့ပြီး Jan ထက် 18 ရာခိုင်နှုန်းနဲ့ 13 ရာခိုင်နှုန်း စောပြီး full GPU offload နဲ့ CUDA setup မလုပ်ထားပါဘူး။ အပေးအယူတွေကတော့ desktop app မှာရှိပါတယ်- ရှိပြီးသား GGUF တွေကို import လုပ်ဖို့အတွက် Modelfile နဲ့ PowerShell ကိုယူပါတယ်၊ import လုပ်ထားတဲ့ vision model က projector file မပါဘဲ image support ဆုံးရှုံးသွားပြီး web search က account တစ်ခုလိုအပ်ပြီး HTTP 402 error ကိုပြန်ပေးခဲ့ပါတယ်။
Benchmarking Hardware အတွက် အကောင်းဆုံး: LM Studio
အရင်းအမြစ်ပိတ်ထားတဲ့အတွက် ကြယ်ပွင့်ရေတွက်စရာမလိုဘဲ ဘယ်လိုပဲဖြစ်ဖြစ် နေရာတစ်နေရာရထားပါတယ်။ LM Studio က llama.cpp နဲ့ MLX နှစ်မျိုးလုံးကို ပေါင်းစပ်ထားပြီး စက်တစ်ခုကို တိုင်းတာတဲ့အခါ အရေးကြီးတဲ့ ထိန်းချုပ်မှုတွေကို ဖော်ထုတ်ပေးပါတယ်- GPU offload layers၊ quantization choice၊ context length နဲ့ multi-GPU behavior တို့ပါ။ ၂၀၂၅ ခုနှစ် ဇူလိုင်လကတည်းက စီးပွားဖြစ်အသုံးပြုနိုင်ပါတယ်။ ဒါက ကျွန်ုပ်တို့ရဲ့ workstation နဲ့ laptop board တွေမှာ tokens-per-second ကိန်းဂဏန်းအများစုရဲ့ နောက်ကွယ်က tool ပါ။ အနည်းဆုံး: 16GB RAM; 24GB VRAM သို့မဟုတ် 32GB unified memory ဆိုတာ စိတ်ဝင်စားစရာပါပဲ။
အကောင်းဆုံး အခြေခံအင်ဂျင်- llama.cpp
ဒီစာမျက်နှာမှာရှိတဲ့ ကျန်တာအားလုံးနီးပါးဟာ llama.cpp ရဲ့ အောက်ပိုင်းဒေသတွေပါ။ MIT လိုင်စင်ရထားပြီး ခန့်မှန်းခြေအားဖြင့် ကြယ်ပွင့် ၁၂၄,၇၀၀ ရရှိထားပြီး တစ်နေ့ကို tag လုပ်ထားတဲ့ build အများအပြား ထုတ်ဝေထားပါတယ်။ hardware ပရိသတ်အတွက် တိကျတဲ့ အကြောင်းပြချက်တစ်ခုကြောင့် အရေးပါပါတယ်- backend စာရင်းက CUDA၊ ROCm၊ Metal၊ Vulkan၊ SYCL၊ CANN နဲ့ OpenCL တို့ကို လွှမ်းခြုံထားပြီး အခုဆိုရင် vendor engineer တွေက တိုက်ရိုက် optimization တွေ လုပ်ပေးပါတယ်။ build 8688 မှာ Intel Arc prefill improvement ဟာ ၅ ဆလောက် တန်ဖိုးရှိခဲ့ပြီး Ollama နဲ့ LM Studio အသုံးပြုသူတိုင်းဟာ ဘာမှ install မလုပ်ဘဲ ရရှိခဲ့ပါတယ်။ အနည်းဆုံး- CPU တစ်ခုတည်းနဲ့ run ပါတယ်။ အသုံးပြုနိုင်ဖို့ 8GB RAM ရှိရပါမယ်။
အကောင်းဆုံး Local-First Desktop အက်ပ်- ဇန်နဝါရီ
Apache 2.0၊ ခန့်မှန်းခြေအားဖြင့် ကြယ်ပွင့် ၄၄,၁၀၀ ရရှိထားပြီး ၂၀၂၆ ခုနှစ် အောက်တိုဘာလအထိ v0.8.6 ရှိသည်။ Jan သည် llama.cpp ကို စုစည်းထားသောကြောင့် ထည့်သွင်းရန် အခြားဘာမှမလိုအပ်ဘဲ ကွန်ရက်ကြိုးကို ဆွဲထုတ်လိုက်ရုံဖြင့် အလုပ်လုပ်ပါသည်။ ဤအမျိုးအစားတွင် Ollama field ပါရှိသော cloud client မည်မျှရှိသည်ကို သင်စစ်ဆေးသည်အထိ ၎င်းသည် နိမ့်ကျသောဘားတစ်ခုကဲ့သို့ ထင်ရသည်။ ဤသည်မှာ terminal ကို ဘယ်တော့မှ မဖွင့်သော လုပ်ဖော်ကိုင်ဖက်တစ်ဦးထံ ပေးရမည့်အရာဖြစ်သည်။
၎င်းသည် ကျွန်ုပ်တို့၏ကိုယ်ပိုင်နံပါတ်များဖြင့် ဤစာမျက်နှာတွင် ပထမဆုံးပလက်ဖောင်းလည်းဖြစ်သည်- ကျွန်ုပ်တို့၏ RTX 5000 Ada bench တွင်၊ Jan V3.5 4B ကို တစ်စက္ကန့်လျှင် ပျမ်းမျှ 123 တိုကင်ဖြင့် decode လုပ်ထားပြီး Jan V2 VL High ကို 82 တွင် decode လုပ်ထားပြီး 4.8GB နှင့် 8.2GB GPU မှတ်ဉာဏ်ကို အသုံးပြုထားပြီး ပထမဆုံးအကြိမ်စတင်ချိန်တွင် GPU အရှိန်မြှင့်ခြင်းကို enable လုပ်ထားပြီး CUDA setup မရှိပါ။ install လုပ်ခြင်းမှ OpenAI နှင့်လိုက်ဖက်သော API အထိ အပြည့်အစုံလမ်းညွှန်ချက်ကို ကျွန်ုပ်တို့၏ Jan hands-on guide တွင်ဖော်ပြထားသည် ။ RAG စာရွက်စာတမ်းသည် ၎င်းမပါဝင်သော အက်ပ်၏ အစိတ်အပိုင်းတစ်ခုဖြစ်သည်။ အနည်းဆုံး- 8GB RAM။
အကောင်းဆုံး ဒေသတွင်း စာရွက်စာတမ်း RAG: AnythingLLM
MIT မှာဆိုရင် ကြယ်ပေါင်း ၆၄,၈၀၀ လောက်ရှိပါတယ်။ vector database တစ်ခုကို စုစည်းပေးပြီး configuration မပါဘဲ chunking နဲ့ embedding ကို ကိုင်တွယ်ပေးတာကြောင့် desktop class မှာ turnkey အဖြစ်ဆုံး document chat ဖြစ်လာပါတယ်။ ကျွန်တော်တို့ မြှုပ်နှံမှာမဟုတ်တဲ့ အချက်နှစ်ချက်ကတော့ ၂၀၂၆ ခုနှစ် မတ်လက CVSS 9.6 အဆင့်သတ်မှတ်ထားတဲ့ vulnerability က model ရဲ့ streamed response ကနေ remote code execution ကို ခွင့်ပြုပေးခဲ့ပြီး 1.11.2 မှာ ပြင်ဆင်ပြီးသားဖြစ်လို့ အသုံးမပြုခင် update လုပ်ပါ။ ပြီးတော့ telemetry ကိုလည်း local-first အဖြစ် ဈေးကွက်တင်ထားတဲ့ app မှာ default အနေနဲ့ ထည့်ပေးထားပြီး Settings မှာ ပိတ်ထားပါတယ်။ အနည်းဆုံး: document work အတွက် 16GB RAM။
အကောင်းဆုံး Self-Hosted Multi-User: Open WebUI
ကြယ်ပေါင်း ၁၄၉,၀၀၀ ခန့်နဲ့ အနက်ရှိုင်းဆုံး ပြန်လည်ရယူနိုင်စွမ်းကို ဒီမှာ စမ်းသပ်ခဲ့ပြီး server v0.12.2 ကို စမ်းသပ်ခဲ့ပါတယ်။ အစပိုင်းမှာ Docker ကို entry point အဖြစ် အသုံးပြုထားတဲ့ self-hosted server အနေနဲ့ စတင်ခဲ့ပြီး Windows desktop app က bundled Python environment နဲ့ သူ့ရဲ့ကိုယ်ပိုင် llama.cpp runtime နဲ့ install လုပ်ပါတယ်။ တည်ဆောက်မှုမပြုလုပ်ခင် သိထားရမယ့်အချက်တစ်ခုကတော့ လိုင်စင်ကို ၂၀၂၅ ခုနှစ် ဧပြီလမှာ BSD-3 ကနေ OSI-approved မဖြစ်တဲ့ custom license ကို ပြောင်းလဲခဲ့ပြီး Open WebUI branding ကို ဖယ်ရှားခြင်းမပြုရန် clause တစ်ခု ထည့်သွင်းခဲ့ပါတယ်။ ရက် ၃၀ အတွင်း user ၅၀ အောက်သာ ကန့်သတ်ထားပါတယ်။ အသေးစားပြင်ဆင်မှုမရှိဘဲ run လိုက်ရင် ဘာမှမပြောင်းလဲပါဘူး။
ဒါက ကျွန်တော်တို့ရဲ့ ကိုယ်ပိုင်နံပါတ်တွေနဲ့ ဒီစာမျက်နှာမှာ ဒုတိယမြောက် platform ပါ။ ကျွန်တော်တို့ရဲ့ Jan bench နဲ့ model files တွေမှာ Open WebUI Desktop က Jan V3.5 4B ကို တစ်စက္ကန့်ကို ပျမ်းမျှ 115.32 tokens နဲ့ Jan V2 VL High ကို 75.06%၊ Jan ရဲ့ နောက်မှာ 6.2% နဲ့ 8.5% ရှိတယ်လို့ decode လုပ်ခဲ့ပါတယ်။ Setup မှာ သူတို့ ကွဲပြားသွားတာပါ- llama.cpp build b11612 ကို pin လုပ်ခဲ့ပြီး CUDA runtime DLLs တွေကို ကိုယ်တိုင်ထည့်သွင်းခဲ့ပြီး reinstall လုပ်ပြီးနောက် 8,192-token context ကို restore လုပ်ခဲ့ပါတယ်။ slot တစ်ခုလျှင် 169,984 tokens အထိ allocate လုပ်ခွင့်ပြုခဲ့ပါတယ်။
Presets များ၊ image input၊ DDGS web search နှင့် local API အားလုံးသည် ကျွန်ုပ်တို့၏ Open WebUI လက်တွေ့လမ်းညွှန်ချက်တွင် အသေးစိတ်ဖော်ပြထားသည့်အတိုင်း အလုပ်လုပ်ပါသည်။ အနည်းဆုံး- container အတွက် သီးခြား runtime နှင့် 4GB သို့မဟုတ် ၎င်းတွင်ပါဝင်သော llama.cpp ပါသည့် desktop app။
အကောင်းဆုံး ဒေသတွင်း ကုဒ်ရေးအေးဂျင့်- Cline
Apache 2.0၊ ခန့်မှန်းခြေအားဖြင့် ကြယ် ၆၃,၉၀၀ ပွင့်။ Cline သည် မည်သည့်ပြိုင်ဘက်ထက်မဆို ဒေသတွင်းလမ်းကြောင်းတွင် ပိုမိုစစ်မှန်သော အင်ဂျင်နီယာပညာကို လုပ်ဆောင်ခဲ့ပြီး Ollama နှင့် LM Studio အတွက် သီးသန့်တည်ဆောက်ထားသော ကျစ်လစ်သော system prompt နှင့် မော်ဒယ်မိသားစုတစ်ခုစီအတွက် native tool calling ပါဝင်သည်။ ၎င်းတို့၏ကိုယ်ပိုင်စာရွက်စာတမ်းများသည် cloud သည် မည်သည့်နေရာတွင် အနိုင်ရနေဆဲဖြစ်သည်ကို ထူးထူးခြားခြား ရိုးသားစွာဖော်ပြထားသည်။ အနည်းဆုံး- 24GB VRAM သို့မဟုတ် 36GB unified memory နှင့် context ကို 32K သို့မဟုတ် ထို့ထက်မြင့်သောသို့ သတ်မှတ်ပါ။
အကောင်းဆုံး အော့ဖ်လိုင်း တာမီနယ် ကုဒ်ရေးခြင်း- Aider
Apache 2.0၊ ခန့်မှန်းခြေအားဖြင့် ကြယ် ၄၈,၃၀၀ ပါဝင်ပြီး ဗိသုကာပိုင်းဆိုင်ရာအရ အယုံကြည်ရဆုံး local option တစ်ခုလည်း ဖြစ်ပါတယ်။ Aider က JSON tool calling ကို လုံးဝမသုံးပါဘူး။ diff နဲ့ whole-file edit format တွေကို plain text ကနေ parse လုပ်တာကြောင့် local model တွေမှာ agent အများစုကို ပျက်စီးစေတဲ့ failure mode ကို ရှောင်ရှားနိုင်ပါတယ်။ သတိပေးချက်ကတော့ maintenance ပါ- single author တစ်ယောက်က commit ၉၆ ရာခိုင်နှုန်းကို ရေးသားခဲ့ပြီး release cadence က ၂၀၂၆ ခုနှစ်မှာ stable release တစ်ခုအထိ ကျဆင်းသွားခဲ့ပါတယ်။ အနည်းဆုံး- 24GB VRAM ဒါမှမဟုတ် 36GB unified ရှိရပါမယ်။
အကောင်းဆုံး Self-Hosted Agent ပလက်ဖောင်း- OpenHands
MIT မှာ ကြယ် ၈၄,၅၀၀ ခန့် ရှိပါတယ်။ OpenHands က ဒေသတွင်း မော်ဒယ်တွေကို စနစ်တကျ မှတ်တမ်းတင်ထားပြီး၊ ပိုပြီးအသုံးဝင်တာက ပြဿနာက သင့်ရဲ့ setup မဟုတ်တဲ့အခါ သင့်ကို ပြောပြပါတယ်- သူ့ရဲ့ကိုယ်ပိုင် docs တွေမှာ agent က chatbot လိုမျိုး ပြုမူရင် ဒါမှမဟုတ် tool တွေကို အဆက်မပြတ် ပျက်ကွက်ရင်၊ မော်ဒယ်က ကန့်သတ်ချက်ဖြစ်တယ်လို့ ဖော်ပြထားပါတယ်။ 22K context အနည်းဆုံး လိုအပ်ပြီး 32K ကို အကြံပြုထားပါတယ်။ အနည်းဆုံး- quantized မော်ဒယ်တွေအတွက် 24GB VRAM ဒါမှမဟုတ် 64GB unified memory။
အကောင်းဆုံး အခမဲ့ အော့ဖ်လိုင်း အံ့အားသင့်စရာ- GitHub Copilot CLI
၂၀၂၆ ခုနှစ် ဧပြီလမှစ၍ Copilot CLI သည် Ollama၊ vLLM နှင့် Foundry Local တို့နှင့် ယှဉ်ပြိုင်နိုင်သည်။ GitHub authentication သည် ရွေးချယ်နိုင်ပြီး Copilot subscription မလိုအပ်ပါ။ COPILOT_OFFLINE သတ်မှတ်ခြင်းသည် telemetry နှင့် network contact အားလုံးကို ရပ်တန့်စေပြီး ၎င်း၏ sub-agent များသည် သင့်ဒေသခံ provider ကို အမွေဆက်ခံသည်။ နှိုင်းယှဉ်ဆောင်းပါးအများစုတွင် ၎င်းကို cloud-only အဖြစ် စာရင်းသွင်းထားဆဲဖြစ်သည်။ ပိုင်းခြားမှုကို သတိပြုပါ- IDE extension သည် bring-your-own-key အောက်တွင်ပင် cloud သို့ inline completion များကို ပေးပို့နေဆဲဖြစ်သည်။ အနည်းဆုံး- 128K context window ပါရှိသော မော်ဒယ်တစ်ခု၊ ထို့ကြောင့် 32GB VRAM သို့မဟုတ် 64GB ပေါင်းစပ်ထားသည်။
အကောင်းဆုံး ရောင်းချသူထောက်ခံထားသော ဆာဗာ- Lemonade
Apache 2.0၊ ခန့်မှန်းခြေအားဖြင့် ကြယ် ၅,၄၀၀ ရရှိထားပြီး ကျွန်ုပ်တို့ အကြံပြုလိုသည့် တစ်ခုတည်းသော ရောင်းချသူနှင့် ဆက်စပ်သော tool လည်းဖြစ်သည်။ AMD အင်ဂျင်နီယာများက ၎င်းကို ထိန်းသိမ်းထားပြီး NVIDIA CUDA၊ Apple Metal၊ Vulkan နှင့် plain CPU အပြင် Radeon နှင့် Ryzen AI NPU များတွင်လည်း လည်ပတ်ပါသည်။ ၎င်းကို နှစ်ပတ်တစ်ကြိမ်ခန့် ပို့ဆောင်ပေးခဲ့ပြီး ၎င်း၏ desktop app ကို ၂၀၂၆ ခုနှစ် ဧပြီလတွင် Electron မှ Tauri သို့ ရွှေ့ပြောင်းခဲ့သည်။ အနည်းဆုံး- 16GB RAM; NPU လမ်းကြောင်းအတွက် Ryzen AI 300 series သို့မဟုတ် နောက်ပိုင်း။
အကောင်းဆုံး Filesystem-Wide Local RAG: Nexa AI Hyperlink
Nexa AI Hyperlink သည် closed source ဖြစ်ပြီး အခမဲ့ဖြစ်ပြီး သင့် device ပေါ်ရှိ filesystem တစ်ခုလုံးကို index လုပ်ကာ inline citation များဖြင့် အဖြေပေးပါသည်။ ၎င်းသည် consumer hardware တွင် ထုတ်ဝေထားသော acceleration ကိန်းဂဏန်းများပါရှိသော တစ်ခုတည်းသော local RAG tool အသစ်ဖြစ်သောကြောင့် ဤစာရင်းတွင် ပါဝင်ရခြင်းဖြစ်သည်- RTX 5090 တွင် indexing ၃ ဆခန့်နှင့် inference ၂ ဆခန့်ပိုမြန်ပြီး 1GB folder ကို ၁၅ မိနစ်မှ လေးမိနစ် သို့မဟုတ် ငါးမိနစ်အထိ လျှော့ချပေးပါသည်။ အနည်းဆုံး- ခေတ်မီ RTX GPU၊ 16GB RAM။
Runtimes: မော်ဒယ်ကို ဘာတွေက လည်ပတ်စေသလဲ
ဒီငါးခုက အင်ဂျင်တွေဖြစ်ပြီး နောက်ဇယားနှစ်ခုထဲက အရာအားလုံးက အင်ဂျင်တစ်ခုနဲ့ စကားပြောတဲ့ front end တစ်ခုဖြစ်တာကြောင့် ဇယားကို စာမျက်နှာရဲ့ ကျန်တဲ့အပိုင်းတွေလိုပဲ GitHub ကြယ်ပွင့်တွေက အစီအစဉ်တကျ စီစဉ်ပေးပါတယ်။
ဤနေရာတွင် လမ်းညွှန်ကော်လံသည် အက်ပ်များနှင့် ထပ်နေသောကြောင့် ၎င်းကို လိုက်လျောညီထွေဖြစ်အောင် ကန့်သတ်ထားသည်- Ollama သည် အခြားကိရိယာများအများစု ညွှန်ပြသည့် ရွေးချယ်မှုနှင့် backend ဖြစ်သောကြောင့် ၎င်း၏ကိုယ်ပိုင်လမ်းညွှန်ကို ရရှိပြီး၊ LM Studio သည် ဇယားနှစ်ခုလုံးတွင် ပေါ်လာပြီး လမ်းညွှန်တစ်ခုရရှိပြီး၊ llama.cpp ကို Jan hands-on မှစတင်၍ ၎င်းနှင့် bundle လုပ်သော အက်ပ်များမှတစ်ဆင့် လွှမ်းခြုံထားပြီး၊ MLX ကို Apple Silicon ရှိ LM Studio မှတစ်ဆင့် လွှမ်းခြုံထားသည်။ vLLM သည် serving engine တစ်ခုဖြစ်ပြီး ၎င်း၏စမ်းသပ်မှုကို ကျွန်ုပ်တို့၏ two-tower GB300 cluster review တွင် အသုံးပြုပြီးဖြစ်သည်။
| runtime | ကြယ်များ | လိုင်စင် | အနည်းဆုံး ဟာ့ဒ်ဝဲ | အရှိန် | လမ်းညွှန် |
|---|---|---|---|---|---|
| အိုလာမာ | ~ 179,000 | MIT က | 8GB RAM (3B)၊ 16GB (7-8B)၊ 24GB VRAM (30B အတန်း) | CUDA၊ ROCm၊ သတ္တု၊ Vulkan | အိုလာမာလက်တွေ့လမ်းညွှန် |
| call.cpp | ~ 124,700 | MIT က | 8GB RAM၊ CPU သီးသန့်သာ အလုပ်လုပ်သည် | CUDA၊ ROCm၊ သတ္တု၊ Vulkan၊ SYCL၊ CANN၊ OpenCL | မှတစ်ဆင့် ဖုံးအုပ်ထားသည် ဇန်နဝါရီ နှင့် ဝဘ် UI ကို ဖွင့်ပါ လက်ဖြင့်လုပ်ဆောင်ခြင်း |
| MLX / mlx-lm | ~ 27,500 | MIT က | Apple Silicon၊ 16GB ပေါင်းစည်းထားသော | သတ္တု; CUDA backend ကို ၂၀၂၆ ခုနှစ်တွင် ထည့်သွင်းခဲ့သည် | LM Studio လမ်းညွှန်မှတစ်ဆင့် (မကြာမီလာမည်) |
| LM Studio | ပိတ်ထားသောအရင်းအမြစ် | သီးသန့်၊ စီးပွားဖြစ်အသုံးပြုရန် အခမဲ့ | 16GB RAM; 24GB VRAM သို့မဟုတ် 32GB ပေါင်းစည်းထားသော | llama.cpp နှင့် MLX အစုအဝေးများ | မကြာမှီလာမည် |
| vLLM | ထုတ်လုပ်ရေးဝန်ဆောင်မှု | Apache ကို 2.0 | 24GB VRAM လက်တွေ့ကျတဲ့ကြမ်းပြင် | CUDA၊ ROCm | ကျွန်ုပ်တို့တွင် စမ်းသပ်ထားသည် GB300 အစုအဝေး ပြန်လည်သုံးသပ်ချက် |
Desktop အက်ပ်များနှင့် Local RAG
ဒါတွေက စာဖတ်သူက ထည့်သွင်းတဲ့ အက်ပ်တွေဖြစ်ပြီး Local-First ကော်လံက ဂရုတစိုက်ဖတ်ရှုရမယ့် ကော်လံပါ- ဒါက သင့်စက်မှာ မော်ဒယ်တစ်ခုကို လုပ်ဆောင်တဲ့ ဆော့ဖ်ဝဲနဲ့ Ollama URL အတွက် အကွက်တစ်ခုထည့်သွင်းတဲ့ ဆော့ဖ်ဝဲကို ခွဲခြားပေးပါတယ်။
| App ကို | ကြယ်များ | လိုင်စင် | ဒေသတွင်း-ဦးစားပေး | အနည်းဆုံး ဟာ့ဒ်ဝဲ | လမ်းညွှန် |
|---|---|---|---|---|---|
| ဝဘ် UI ကို ဖွင့်ပါ | ~ 149,000 | စိတ်ကြိုက်၊ OSI မှ အတည်ပြုထားခြင်း မဟုတ်ပါ | လုပ်ဆောင်နိုင်စွမ်းရှိသည်။ server အပြင် llama.cpp ကို ပေါင်းစပ်ထားသော Windows desktop app တစ်ခုလည်း ပါဝင်သည်။ | သီးခြား runtime + container အတွက် 4GB သို့မဟုတ် desktop app အတွက် | WebUI လက်တွေ့လမ်းညွှန်ကိုဖွင့်ပါ |
| အဲ့မှာ LLM | ~ 64,800 | MIT က | လုပ်ဆောင်နိုင်သည်၊ မူရင်းအားဖြင့် telemetry ကိုဖွင့်ထားသည် | 16GB RAM ကို | မကြာမှီလာမည် |
| ဇန်နဝါရီ | ~ 44,100 | Apache ကို 2.0 | ဟုတ်ကဲ့၊ llama.cpp အစုအဝေးများ | 8GB RAM ကို | ဇန်နဝါရီ လက်တွေ့လမ်းညွှန် |
| LM Studio | ပိတ်ထားသောအရင်းအမြစ် | စီးပွားဖြစ် | Yes | 16GB RAM; 24GB VRAM က စိတ်ဝင်စားစရာကောင်းလိမ့်မယ် | မကြာမှီလာမည် |
| မစ္စတီ | ပိတ်ထားသောအရင်းအမြစ် | သီးသန့်၊ အခမဲ့အဆင့် | ဟုတ်ကဲ့၊ Ollama၊ MLX၊ llama.cpp အတွဲများ | 8GB RAM ကို | မကြာမှီလာမည် |
| Nexa AI ဟိုက်ပါလင့်ခ် | ပိတ်ထားသောအရင်းအမြစ် | ကိုယ်ပိုင်၊ အခမဲ့ | ဟုတ်ကဲ့၊ စက်ပစ္စည်းပေါ်တွင် အညွှန်းကိန်းထည့်ခြင်း | ခေတ်မီ RTX GPU၊ 16GB RAM | မကြာမှီလာမည် |
ကုဒ်ရေးခြင်းနှင့် အေးဂျင့်ကိရိယာများ
ဒါတွေက စာမျက်နှာပေါ်မှာ hardware အလိုအပ်ဆုံး entry တွေပါ၊ ဘာလို့လဲဆိုတော့ agent work က context window ကြီးကြီးနဲ့ session ရှည်ကြီးတွေ လိုအပ်လို့ပါ။ 32GB VRAM ဒါမှမဟုတ် 64GB unified memory ကို demo အဖြစ်ကနေ ရပ်တန့်လိုက်တဲ့အချိန်အဖြစ် သတ်မှတ်ပါ။
| tool ကို | ကြယ်များ | လိုင်စင် | ဒေသတွင်းလမ်းကြောင်း | အနည်းဆုံး ဟာ့ဒ်ဝဲ | လမ်းညွှန် |
|---|---|---|---|---|---|
| OpenHands | ~ 84,500 | MIT က | LM စတူဒီယို၊ အိုလာမာ၊ vLLM၊ SGLang | 24GB VRAM သို့မဟုတ် 64GB ပေါင်းစည်းထားသော; 32K ဆက်စပ်အချက်အလက် | မကြာမှီလာမည် |
| ကလိုင်း | ~ 63,900 | Apache ကို 2.0 | Ollama၊ LM Studio၊ OpenAI နှင့် တွဲဖက်အသုံးပြုနိုင်သည် | 24GB VRAM သို့မဟုတ် 36GB ပေါင်းစည်းထားသော | မကြာမှီလာမည် |
| ဘဲငန်း | ~ 52,900 | Apache ကို 2.0 | အိုလာမာ ပထမတန်းစား၊ ယခု Linux Foundation | 24GB VRAM သို့မဟုတ် 36GB ပေါင်းစည်းထားသော | မကြာမှီလာမည် |
| ကူညီဖို့ | ~ 48,300 | Apache ကို 2.0 | Ollama၊ OpenAI နှင့် တွဲဖက်အသုံးပြုနိုင်သည်။ tool ခေါ်ဆိုရန်မလိုအပ်ပါ။ | 24GB VRAM သို့မဟုတ် 36GB ပေါင်းစည်းထားသော | မကြာမှီလာမည် |
| Zed | v1.0၊ ၂၀၂၆ ခုနှစ်၊ ဧပြီလ | Apache ကို 2.0 | LM စတူဒီယို၊ အိုလာမာ၊ llama.cpp | 24GB VRAM သို့မဟုတ် 36GB ပေါင်းစည်းထားသော | မကြာမှီလာမည် |
| GitHub Copilot CLI | ပိတ်ထားသောအရင်းအမြစ် | သီးသန့်၊ စာရင်းသွင်းရန် မလိုအပ်ပါ | အိုလာမာ၊ vLLM၊ ဖန်စက်ရုံဒေသခံ | 32GB VRAM သို့မဟုတ် 64GB ပေါင်းစည်းထားသော; 128K ဆက်စပ်အချက်အလက် | မကြာမှီလာမည် |
ရောင်းချသူများ၏ လုပ်ဆောင်ချက်များ
ဆီလီကွန်နှင့် OS ရောင်းချသူတိုင်းသည် ဒေသတွင်း AI အတွက် တစ်ခုခုကို တင်ပို့ပေးပြီး အမျိုးအစားသည် ၎င်း၏ကိုယ်ပိုင် line item ကို ထိုက်တန်ပါသည်၊ အဘယ်ကြောင့်ဆိုသော် အမည်ပေးခြင်းသည် ရှုပ်ထွေးပြီး သေဆုံးမှုနှုန်း မြင့်မားသောကြောင့်ဖြစ်သည်။ ၂၀၂၆ ခုနှစ်တစ်လျှောက်လုံးတွင် ပုံစံသည် တသမတ်တည်းရှိသည်- ရောင်းချသူများသည် ပြင်ပ stack နှင့် ယှဉ်ပြိုင်ခြင်းကို ရပ်တန့်ပြီး ၎င်းကို ကျွေးမွေးရန် စတင်ခဲ့သည်။ NVIDIA သည် ၎င်း၏ကိုယ်ပိုင် ဒေသတွင်း AI ထုတ်ကုန်နှစ်ခုလုံးကို ရပ်ဆိုင်းလိုက်ပြီး ယခုအခါ Ollama၊ llama.cpp နှင့် ComfyUI အတွက် optimization များကို ထုတ်ဝေသည်။ AMD သည် LM Studio နှင့် ပူးတွဲအမှတ်တံဆိပ်များ။ Qualcomm သည် အခြားသူတစ်ဦး၏ အက်ပ်ကို port လုပ်ခြင်းဖြင့် ၎င်း၏ NPU စွမ်းရည်ကို တင်ပို့ခဲ့သည်။
Ollama နဲ့ LM Studio တို့ မလုပ်နိုင်တဲ့ တစ်ခုတည်းသော vendor tooling က NPU ကို ရောက်အောင် မလုပ်ဆောင်နိုင်ပါဘူး ။ llama.cpp မှာ NPU backend မရှိတဲ့အတွက် Snapdragon ဒါမှမဟုတ် Ryzen AI စက်မှာ အဲဒီ tools တွေက neural engine ကို သုညရာခိုင်နှုန်းမှာပဲ ထားခဲ့ပါတယ်။ TOPS ၄၀ ကနေ ၆၀ အတွက် ပေးချေခဲ့ရင် vendor path တစ်ခုတည်းကသာ အသုံးပြုပါတယ်။ NPU တွေက လက်ရှိမှာ မော်ဒယ် ၇ ဘီလီယံလောက်မှာ အများဆုံးဖြစ်ပြီး အားသာချက်ကတော့ throughput မဟုတ်ဘဲ အမြဲတမ်းဖွင့်ထားတဲ့ မော်ဒယ်အသေးစားတွေမှာ ဘက်ထရီသက်တမ်းပါပဲ။ discrete GPU က မြန်နှုန်းမှာ NPU ထက် အမြဲတမ်းသာလွန်ပါတယ်။
| ရောင်းချသူ | ဒါဘာလဲ | ပုံစံ | ဟာ့ဒ်ဝဲ လိုအပ်သည်။ | status | လမ်းညွှန် |
|---|---|---|---|---|---|
| AMD သံပုရာရည် | ဆာဗာ၊ GUI နှင့် SDK; ~ကြယ် ၅,၄၀၀၊ Apache 2.0 | အက်ပ် + ဆာဗာ | 16GB RAM; NPU အတွက် Ryzen AI 300+။ NVIDIA၊ Apple၊ CPU တို့တွင်လည်း အလုပ်လုပ်ပါသည်။ | တက်ကြွသည်၊ နှစ်ပတ်တစ်ကြိမ် ပို့ဆောင်သည် | မကြာမှီလာမည် |
| Intel OpenVINO GenAI | Runtime နှင့် SDK; ကြယ်ပွင့် ~၁၀,၇၀၀ | SDK ကို | Core Ultra၊ Arc A/B စီးရီး၊ 16GB RAM | ၂၀၂၆ ခုနှစ် ဩဂုတ်လတွင် ၂၀၂၆ ခုနှစ်၌ အသက်ဝင်ခဲ့သည် | ခြေရာခံထားပြီး၊ လမ်းညွှန်စီစဉ်ထားခြင်း မရှိပါ။ |
| Apple Foundation မော်ဒယ်များ | OS မှ ထုတ်ဖော်ပြသထားသော စက်ပေါ်ရှိ မော်ဒယ်များ | OS framework | Apple Silicon; တပ်ဆင်ပြီးပါပြီ | အသက်ဝင်သည်; WWDC 2026 တွင် မည်သည့်ပံ့ပိုးပေးသူအတွက်မဆို ဖွင့်လှစ်ထားသည် | ခြေရာခံထားပြီး၊ လမ်းညွှန်စီစဉ်ထားခြင်း မရှိပါ။ |
| မိုက်ခရိုဆော့ဖ် ဖောင်ဒရီ ဒေသတွင်း | ဒေသတွင်း ကောက်ချက် SDK နှင့် CLI; ~ကြယ် ၂၄၀၀ | SDK ကို | Windows၊ macOS၊ Linux; NPU/GPU/CPU | GA ဧပြီလ ၂၀၂၆; ရွေးချယ်ထားသော မော်ဒယ်ကတ်တလောက် | ခြေရာခံထားပြီး၊ လမ်းညွှန်စီစဉ်ထားခြင်း မရှိပါ။ |
| AMD GAIA | Ryzen AI အတွက် ဒေသတွင်း LLM အက်ပ်; ~ကြယ်ပွင့် ၁၄၀၀၊ MIT | အက်ပ် + SDK | Ryzen AI 300 စီးရီး အနည်းဆုံး; 16GB RAM၊ 64GB ကို အကြံပြုထားသည် | အသက်ဝင်သည်၊ v0.20.0 ဇွန်လ ၂၀၂၆ ခုနှစ် | ခြေရာခံထားပြီး၊ လမ်းညွှန်စီစဉ်ထားခြင်း မရှိပါ။ |
| Intel AI ကစားကွင်း | ဒက်စ်တော့အက်ပ်; ~ကြယ် ၉၀၀ | App ကို | Arc A-series 8GB+၊ Arc B-series၊ Core Ultra | နှစ်နှစ်ကြာပြီးနောက် အသက်ဝင်နေသော်လည်း ဘီတာအဖြစ် ရှိနေဆဲဖြစ်သည် | ခြေရာခံထားပြီး၊ လမ်းညွှန်စီစဉ်ထားခြင်း မရှိပါ။ |
| Qualcomm GenieX | Snapdragon NPU အတွက် စက်ပေါ်ရှိ GGUF runtime | runtime | Snapdragon X / X Elite၊ 8 Elite | ဆော့ဖ်ဝဲရေးသားသူ အစမ်းကြည့်ရှုခြင်း၊ ၂၀၂၆ ခုနှစ် ဇူလိုင်လ | ခြေရာခံထားပြီး၊ လမ်းညွှန်စီစဉ်ထားခြင်း မရှိပါ။ |
| NVIDIA ပရောဂျက် G-Assist | စနစ်ထိန်းချုပ်မှုအတွက် စက်ပစ္စည်းပေါ်ရှိ 8B လက်ထောက် | App ကို | RTX 20 စီးရီး သို့မဟုတ် နောက်ပိုင်းဗားရှင်းများ၊ 6GB VRAM | လက်ရှိအသုံးပြုနေသော်လည်း ထုတ်ဝေမှုမတိုင်မီ အညွှန်းတပ်ထားဆဲဖြစ်သည် | ခြေရာခံထားပြီး၊ လမ်းညွှန်စီစဉ်ထားခြင်း မရှိပါ။ |
NVIDIA ရဲ့ “RTX AI Garage” ဟာ ထုတ်ကုန်တစ်ခုလို ထင်ရပြီး ထုတ်ကုန်တစ်ခု မဟုတ်ဘဲ ဘလော့ဂ်စီးရီးတစ်ခု ဖြစ်နေတာကြောင့် နာမည်ပေးတာက ရှုပ်ထွေးမှုကို ပိုဆိုးစေပါတယ်။ Microsoft ရဲ့ stack ကို အကြိမ်ကြိမ် အမည်ပြောင်းလဲခဲ့ပါတယ်- Copilot Runtime API တွေက Windows AI API တွေ ဖြစ်လာပြီး၊ Azure AI Foundry က Microsoft Foundry ဖြစ်လာပြီး၊ DirectML ကတော့ လုံခြုံရေးပြင်ဆင်မှုတွေနဲ့ပဲ ပြုပြင်ထိန်းသိမ်းမှုမုဒ်မှာ ရှိနေပါပြီ။ Qualcomm AI Hub ဟာ cloud ဝန်ဆောင်မှုတစ်ခုဖြစ်ပြီး ဒေသတွင်းမှာ လည်ပတ်တဲ့အရာ မဟုတ်ပါဘူး။
ဘာတွေ ပျက်လေ့ရှိလဲ
ဒေသတွင်းမော်ဒယ်များသည် မော်ဒယ်ပြဿနာများမဟုတ်ဘဲ ဖွဲ့စည်းပုံပြဿနာများဖြစ်သည်ဟု အများစုက သတင်းပို့ကြသည်။ အထူးသဖြင့် လေးခုသည် ၎င်းတို့အများစုအတွက် တာဝန်ရှိပြီး လေးခုစလုံးသည် ဆီလီကွန်ကို အပြစ်မတင်မီ ဟာ့ဒ်ဝဲပရိသတ်များ သိထားသင့်သည့်အချက်များဖြစ်သည်။
၁။ Ollama သည် default အားဖြင့် 4,096-token context ကို အသုံးပြုထားသည်။ ၎င်းထက်ကျော်လွန်သွားသောအခါ error မပေးပါ။ ၎င်းသည် တိတ်တဆိတ်ဖြတ်တောက်ပြီး agent loop သည် တိတ်ဆိတ်စွာသေဆုံးသွားသည်။ အရေးကြီးသော harness တိုင်းသည် ပိုမိုလိုအပ်သည်- OpenHands သည် အနည်းဆုံး 22K လိုချင်ပြီး 32K ကို အကြံပြုသည်၊ Codex သည် 32K လိုအပ်သည်၊ Copilot CLI သည် 128K လိုအပ်ပြီး Cline သည် 262,144 ကို သတ်မှတ်သည်။ ဤ setting တစ်ခုတည်းသည် အွန်လိုင်းတွင် သင်တွေ့ရမည့် failure report များ၏ အဖြစ်အများဆုံးအကြောင်းရင်းဖြစ်နိုင်သည်။
၂။ KV cache quantization သည် tool calling ကို အထူးသဖြင့် ယိုယွင်းစေပြီး အထွေထွေ output အရည်အသွေး သိသိသာသာ မထိခိုက်မီတွင် ထိုသို့ ယိုယွင်းစေသည်။ llama.cpp စာရွက်စာတမ်းတွင် တိုက်ရိုက်သတိပေးထားသည်။ agent တစ်ခုကို သင် run နေပါက ၎င်းကို ပိတ်ပါ။
၃။ Tool အရေအတွက်က ချောက်ကမ်းပါးပါ ၊ አዲስ ...
၄။ Q4_K_M သည် လက်တွေ့ကျသော အထပ်ဖြစ်သည်။ ၎င်းအောက်တွင် tool-call ယုံကြည်စိတ်ချရမှုသည် ယေဘုယျအရည်အသွေးထက် ပိုမိုမြန်ဆန်စွာ ကျဆင်းသွားသောကြောင့် မော်ဒယ်သည် မည်သည့်အရာကိုမျှ တိတ်တဆိတ်လုပ်ဆောင်ရန် ပျက်ကွက်သော်လည်း ကောင်းမွန်စွာ အသံထွက်နေဆဲဖြစ်သည်။
မှတ်ဉာဏ်သည် ကန့်သတ်ချက်ဖြစ်သည်
ဒီစာမျက်နှာမှာရှိတဲ့ tool တိုင်းမှာ ဘာတွေကို run နိုင်လဲဆိုတာကို ဆုံးဖြတ်ပေးတဲ့ မေးခွန်းက accelerator က မှတ်ဉာဏ်ဘယ်လောက်မြင်နိုင်လဲဆိုတာပါပဲ။ ဒါတွေက agent work အတွက် အများဆုံးကိုးကားထားတဲ့ pairing တွေနဲ့ lab မှာ verify လုပ်ဖို့ ရည်ရွယ်ထားတဲ့ pairing တွေပါ။
| hardware | ပုံစံ | ခွေရာ | အစီရင်ခံထားသော စွမ်းဆောင်ရည် |
|---|---|---|---|
| RTX 5090၊ 32GB | Qwen3.6-35B-A3B Q4_K_M | ~၉၃ ဂစ်ဂါဘိုက် | ၁၆၀-၁၈၀ tok/s၊ ၂၆၂K အခြေအနေ |
| RTX 5090၊ 32GB | Qwen3-Coder-30B-A3B Q4_K_M | ~၉၃ ဂစ်ဂါဘိုက် | 24GB အတန်းအစားတွင် 50-90 tok/s |
| RTX 5090၊ 32GB | Devstral အသေးစား ၂၄B Q4_K_M | ~၉၃ ဂစ်ဂါဘိုက် | ကိရိယာခေါ်ဆိုမှုအတွက် ရည်ရွယ်ချက်ရှိရှိ တည်ဆောက်ထားသည် |
| RTX PRO 6000၊ 96GB | GPT-OSS 120B MXFP4 | ~၉၃ ဂစ်ဂါဘိုက် | တစ်ခုတည်းသော workstation ကတ်ပေါ်ရှိ 100B အတန်း၊ ကျွန်ုပ်တို့၏ ဓာတ်ခွဲခန်းသုံးသပ်ချက်မှ GPU |
| RTX PRO 5000 လက်တော့ပ်၊ 24GB GDDR7 | Qwen3-Coder-30B-A3B Q4_K_M | ~၉၃ ဂစ်ဂါဘိုက် | ကျွန်ုပ်တို့စမ်းသပ်ဖူးသမျှထဲမှာ အကြီးဆုံးလက်တော့ပ် GPU (ThinkPad P16 Gen 3); 30B အမျိုးအစားဟာ အပိုအခြေအနေတွေနဲ့ ကိုက်ညီပါတယ် |
| ၉၆-၁၂၈GB ပေါင်းစည်းထားသော၊ M-စီးရီး | gpt-oss-120b Q6_K | ~၉၃ ဂစ်ဂါဘိုက် | ၁၄-၂၀ tok/s; မည်သည့် open-weight မော်ဒယ်တွင်မဆို အသန့်ရှင်းဆုံး tool-call JSON |
ပြောသင့်ပါတယ်၊ ဘာလို့လဲဆိုတော့ ဈေးကွက်ရှာဖွေရေးက မလုပ်ပေးလို့ပါ။ အကြီးဆုံး open-weight မော်ဒယ်တွေက workstation မော်ဒယ်တွေ မဟုတ်ပါဘူး။ GLM-5.2 က ခန့်မှန်းခြေအားဖြင့် 744B parameters တွေရှိပြီး FP8 မှာ 744GB ဝန်းကျင်လောက် လိုအပ်ပါတယ်။ အဲဒါက eight-GPU datacenter node တစ်ခုပါ။ Kimi K2 နဲ့ DeepSeek V4 တို့က အတူတူပါပဲ။ ဒါတွေကို desktop မှာ run ဖို့ ပြောတဲ့ လမ်းညွှန်ချက်တိုင်းက မှားပါတယ်။
အထက်ဖော်ပြပါ throughput ကိန်းဂဏန်းများသည် ထုတ်ဝေထားသော ပြင်ပစမ်းသပ်မှုနှင့် ရောင်းချသူပစ္စည်းများမှ ရယူထားပြီး အထက်ဖော်ပြပါ ရွေးချယ်မှုများရှိ Jan၊ Open WebUI နှင့် Ollama decode ကိန်းဂဏန်းများမှလွဲ၍ StorageReview ဓာတ်ခွဲခန်းရလဒ်များ မဟုတ်ပါ။ ရွေးချယ်မှုတစ်ခုစီသည် လမ်းညွှန်လုပ်ငန်းစဉ်ကို ဖြတ်သန်းသွားသည်နှင့်အမျှ ကျွန်ုပ်တို့၏ကိုယ်ပိုင်နံပါတ်များဖြင့် အစားထိုးသွားပါမည်။
Cloud-First Tools များနှင့် ၎င်းတို့ကို ဤနေရာတွင် အဆင့်သတ်မှတ်မထားရသည့် အကြောင်းရင်း
local agent သည် local model မဟုတ်ပါ နှင့် အောက်ပါ tools များသည် ကွာခြားချက်ကို ပြသထားသည်- တစ်ခုချင်းစီသည် vendor cloud သို့ inference call တိုင်းကို ပေးပို့နေစဉ်တွင် သင့်စက်ပေါ်တွင် run ပါသည်။
| tool ကို | ဒေသခံမော်ဒယ်ပံ့ပိုးမှု | မှတ်စု |
|---|---|---|
| cursor | အဘယ်သူမျှမ | တရားဝင်စာရွက်စာတမ်းများတွင် တောင်းဆိုမှုအားလုံးသည် Cursor ဆာဗာများမှတစ်ဆင့် လမ်းကြောင်းရှိကြောင်း ဖော်ပြထားသည်။ custom key များသည် အဓိက cloud provider များနှင့်သာ အလုပ်လုပ်ပြီး tab ပြီးမြောက်ခြင်းသည် Cursor မော်ဒယ်များကို အမြဲအသုံးပြုသည်။ ၂၀၂၆ ခုနှစ်တွင် SpaceX မှ ဝယ်ယူခဲ့သည်။ |
| Devin Desktop (Windsurf ဖြစ်ခဲ့) | အဘယ်သူမျှမ | ၂၀၂၆ ခုနှစ် ဇွန်လတွင် အမည်ပြောင်းလဲခဲ့သည်။ မော်ဒယ်တိုင်းကို cloud-hosted ဖြင့် သိမ်းဆည်းထားသည်။ |
| Google Antigravity | အဘယ်သူမျှမ | စာရွက်စာတမ်းများတွင် Ollama၊ LM Studio သို့မဟုတ် custom endpoint ကို အသုံးမပြုနိုင်ကြောင်း ရှင်းလင်းစွာဖော်ပြထားသည် |
| Gemini CLI | အဘယ်သူမျှမ | ဒေသခံပံ့ပိုးမှုမှာ community forks များတွင်သာရှိသည်။ |
| Qodo | အဘယ်သူမျှမ | “On-prem” ဆိုသည်မှာ cloud model များကို ဆက်လက်အသုံးပြုနေသော self-hosted infrastructure ကို ရည်ညွှန်းသည်။ |
| IDE မှာ GitHub Copilot | တစိတ်တဒေသဖြစ်သော | Chat သည် ဒေသတွင်းမော်ဒယ်များကို အသုံးပြုနိုင်သည်။ inline completions များသည် bring-your-own-key အောက်တွင်ပင် cloud အနေဖြင့် ရှိနေပါသည်။ |
| GPT ချတ် | အဘယ်သူမျှမ | ဒက်စ်တော့နှင့် မိုဘိုင်းအက်ပ်များသည် OpenAI ၏ cloud မော်ဒယ်များအတွက် client များဖြစ်သည်။ OpenAI ၏ open-weight gpt-oss မော်ဒယ်များသည် ဒေသတွင်းတွင်သာ လည်ပတ်သော်လည်း ChatGPT အက်ပ်မှတစ်ဆင့်မဟုတ်ဘဲ အထက်ပါ runtime များမှတစ်ဆင့်သာ လည်ပတ်ပါသည်။ |
| Claude | အဘယ်သူမျှမ | Claude အက်ပ်များနှင့် Cowork များသည် Anthropic ၏ cloud မော်ဒယ်များတွင် လည်ပတ်ပါသည်။ Claude Code ကို Ollama ၏ Anthropic-compatible API မှတစ်ဆင့် local မော်ဒယ်သို့ ညွှန်ပြနိုင်ပြီး ၎င်းသည် အလုပ်လုပ်သော်လည်း ပံ့ပိုးမထားသော configuration တစ်ခုဖြစ်သည်။ |
| အထွေထွေအေးဂျင့်လက်ထောက်များ | အဘယ်သူမျှမ | ဤအတန်းအစားရှိကိရိယာများသည် သင့်စက်ပေါ်တွင်အလုပ်လုပ်သော်လည်း ကျိုးကြောင်းဆင်ခြင်ရန်အတွက် cloud မော်ဒယ်ပေါ်တွင် မူတည်ပါသည် |
“Cursor ကို Ollama နဲ့ ချိတ်ဆက်ပါ” လမ်းညွှန်ချက် အမျိုးအစားကို ကျယ်ကျယ်ပြန့်ပြန့် ထပ်ခါတလဲလဲ အသုံးပြုကြပါတယ်။ Cursor ရဲ့ စာရွက်စာတမ်းတွေကလည်း ဆန့်ကျင်ဘက်ပါပဲ။ အော့ဖ်လိုင်း လုပ်ဆောင်ချက်က သင့်အတွက် လိုအပ်ချက်တစ်ခု ဖြစ်မယ်ဆိုရင် အဲဒီခြားနားချက်က အဓိကပါပဲ။
ရုပ်ပုံနှင့် ဗီဒီယိုထုတ်လုပ်ခြင်းကော။
ဒေသတွင်းပုံရိပ်ထုတ်လုပ်ခြင်းသည် ဒေသတွင်း AI တွင် အကြီးဆုံးအသိုင်းအဝိုင်းများထဲမှ တစ်ခုဖြစ်သည်။ ComfyUI တစ်ခုတည်းသည် GitHub ကြယ်ပွင့်များမှ အဆင့်သတ်မှတ်ထားသော ကိရိယာများအများစုထက် သာလွန်နေပြီး ဒေသတွင်းဗီဒီယိုထုတ်လုပ်ခြင်းသည် VRAM ကို အလိုအပ်ဆုံးသော စားသုံးသူအလုပ်ဝန်ထုပ်ဝန်ပိုးအဖြစ် ပေါ်ထွက်လာနေသည်။ ၎င်းသည် ၎င်း၏ကိုယ်ပိုင်ဦးဆောင်သူဘုတ်ကို ထိုက်တန်ပြီး တစ်ခုရရှိမည်ဖြစ်သည်။ ဤစာမျက်နှာတွင် စတုတ္ထအမျိုးအစားကို ထည့်သွင်းခြင်းသည် ၎င်းကို မြှုပ်နှံသွားမည်ဖြစ်သည်။ ထိုအချိန်အထိ၊ ဤစာမျက်နှာရှိ ဟာ့ဒ်ဝဲယုတ္တိဗေဒသည် တိုက်ရိုက်လွှဲပြောင်းပေးသည်- ရုပ်ပုံနှင့် ဗီဒီယိုလုပ်ငန်းသည် ဘာသာစကားမော်ဒယ်များထက် မှတ်ဉာဏ်ကန့်သတ်ချက်ပိုမိုရှိပြီး အဆင့်တူများလည်း အကျုံးဝင်ပါသည်။
ဤစာမျက်နှာ မည်သို့အလုပ်လုပ်သည်
အဆင့်သတ်မှတ်ချက်ကို စည်းမျဉ်းသုံးခုဖြင့် ထိန်းချုပ်ထားပြီး ပထမအချက်မှာ GitHub ကြယ်ပွင့်များအလိုက် အစီအစဉ်တကျ လုပ်ဆောင်ရန်ဖြစ်သည်။ ၎င်းသည် အကောင်းဆုံးမဟုတ်သော်လည်း ကြားနေ၊ အတည်ပြုနိုင်သော၊ ကျွန်ုပ်တို့ မစမ်းသပ်ရသေးသောအရာများကို စမ်းသပ်ပြီးဟန်ဆောင်ရန် မလိုအပ်ပါ။ Closed-source tools များကို ထိုအတိုင်း မှတ်သားထားပြီး တီထွင်ထားသောရမှတ် မပေးပါ။ ကျွန်ုပ်တို့၏ကိုယ်ပိုင်စမ်းသပ်မှုတွင် ရှင်းလင်းသောအကြိုက်များကို ထုတ်လုပ်ပေးသောကြောင့် အစီအစဉ်သည် တိုင်းတာထားသောရလဒ်များကို ထင်ဟပ်စေရန် ပြောင်းလဲမည်ဖြစ်ပြီး ကျွန်ုပ်တို့ ထိုသို့ပြောပါမည်။ Jan၊ Open WebUI နှင့် Ollama တို့တွင် ယခုအခါ ဓာတ်ခွဲခန်းနံပါတ်များ ရှိနေပြီဖြစ်သောကြောင့် ထိုပြောင်းလဲမှု စတင်ပါပြီ။ ဒုတိယအချက်မှာ entry တိုင်းတွင် အနည်းဆုံးမှတ်ဉာဏ်ပါရှိသည်၊ အဘယ်ကြောင့်ဆိုသော် ၎င်းသည် မော်ဒယ်တစ်ခု load လုပ်မလုပ်ကို ဆုံးဖြတ်ပေးသော နံပါတ်ဖြစ်သောကြောင့်ဖြစ်သည်။
တတိယအချက်အနေနဲ့ လမ်းညွှန်ကော်လံဟာ ရွေးချယ်မှုတွေအပေါ် သက်ရောက်မှုရှိတဲ့ ကတိကဝတ်တစ်ခုပါ- အဆင့်သတ်မှတ်ထားတဲ့ ရွေးချယ်မှုတစ်ခုစီဟာ ကျွန်ုပ်တို့ရဲ့ ဟာ့ဒ်ဝဲပေါ်က နံပါတ်တွေနဲ့အတူ လက်တွေ့တပ်ဆင်မှု လမ်းညွှန်ချက်တစ်ခု ရရှိမှာဖြစ်ပြီး အက်ပ်တစ်ခုအတွင်း ပေးပို့တဲ့ runtime ကို အဲဒီအက်ပ်လမ်းညွှန်မှာ ဖော်ပြထားကာ ရောင်းချသူရဲ့ ကြိုးပမ်းအားထုတ်မှုတွေကို ဇယားမှာ မပါဘဲ ခြေရာခံပါတယ်။ လမ်းညွှန်တစ်ခုစီ ထုတ်ဝေတဲ့အခါ လင့်ခ်က ဒီမှာ ပေါ်လာပါတယ်။
ဒေသတွင်း LLM ကိရိယာများအကြောင်း မေးလေ့ရှိသောမေးခွန်းများ
ဘယ်ဒေသခံ LLM tool နဲ့ စတင်သင့်လဲ။
terminal မှာ အဆင်ပြေရင် Ollama၊ control ပါတဲ့ window လိုချင်ရင် LM Studio နဲ့ box ထဲမှာ ချက်ချင်းအလုပ်လုပ်ပြီး ဘာမှ install မလုပ်ခိုင်းတဲ့ တစ်ခုခုကို လိုချင်ရင် Jan ကို ရွေးချယ်နိုင်ပါတယ်။ သုံးခုစလုံးက အခမဲ့ဖြစ်ပြီး သုံးခုစလုံးက offline အပြည့်နဲ့ အလုပ်လုပ်ပြီး သုံးခုစလုံးက llama.cpp ကို အောက်မှာသုံးထားတာကြောင့် model behavior က အတူတူပါပဲ။ speed က အတူတူမဟုတ်ပါဘူး။ ကျွန်တော်တို့ရဲ့ RTX 5000 Ada bench မှာ Ollama က Jan ထက် ၁၃ ရာခိုင်နှုန်းကနေ ၁၈ ရာခိုင်နှုန်းအထိ ပိုမြန်တဲ့ model file တွေကို decode လုပ်ခဲ့တာကြောင့် ကွာခြားချက်က interface နဲ့ တစ်ခုချင်းစီရဲ့ build ပါပဲ။
NVIDIA ChatRTX၊ GPT4All နှင့် Continue.dev ဘာဖြစ်သွားတာလဲ။
သူတို့ဟာ အံ့သြစရာကောင်းလောက်အောင် သူတို့ရဲ့ရွယ်တူတွေ အများအပြားနဲ့အတူ ပျောက်ကွယ်သွားခဲ့ပြီး ဒါက အရင်အကြံပြုချက်တစ်ခုကို မလိုက်နာခင် သိထားသင့်တဲ့ အသုံးဝင်ဆုံးအချက်ပါပဲ။ NVIDIA ChatRTX ကို ၂၀၂၆ ခုနှစ်၊ ဇန်နဝါရီလ ၂၁ ရက်နေ့မှာ ရပ်ဆိုင်းလိုက်ပြီး သူ့ရဲ့ repository ကို archive လုပ်ကာ support forum ကို lock ချလိုက်ပါတယ်။ အစားထိုးမယ့်သူ မရှိပါဘူး။
GPT4All က အခက်ခဲဆုံးကိစ္စပါ- ၁၂ လအတွင်း commit မရှိခဲ့ပါဘူး၊ နောက်ဆုံးထွက်ရှိမှုက ၂၀၂၅ ခုနှစ် ဖေဖော်ဝါရီလပါ၊ ဒါပေမယ့် repository ကို archive မလုပ်ထားဘဲ star count အများကြီးကို ပြသထားဆဲမို့ အသက်ဝင်နေပုံရပါတယ်။ quantization formats တွေကိုပဲ support လုပ်ခဲ့ပြီး လက်ရှိ model release အများစုကို load မလုပ်နိုင်ပါဘူး။
Continue.dev သည် local-model coding အတွက် စံပြုအကြံပြုချက်အဖြစ် နှစ်နှစ်ကြာ အသုံးပြုခဲ့ပြီး Cursor မှ ရယူခဲ့ပြီး ၂၀၂၆ ခုနှစ် ဇွန်လတွင် ရပ်ဆိုင်းခဲ့သည်။ Roo Code သည် ၂၀၂၆ ခုနှစ် မေလတွင် ပိတ်သိမ်းခဲ့ပြီး Void ကို ၂၀၂၆ ခုနှစ် ဇွန်လတွင် archive လုပ်ခဲ့ပြီး Twinny ကို ၂၀၂၅ ခုနှစ် နိုဝင်ဘာလတွင် archive လုပ်ခဲ့ပြီး Reor ကို ၂၀၂၆ ခုနှစ် မတ်လတွင် archive လုပ်ခဲ့သည်။ Khoj သည် ၎င်း၏ hosted service ကို ၂၀၂၆ ခုနှစ် ဧပြီလတွင် ရပ်ဆိုင်းခဲ့သော်လည်း self-hosted version သည် ကျန်ရှိနေခဲ့သည်။ vendor ဘက်တွင် Intel IPEX-LLM ကို ၂၀၂၆ ခုနှစ် ဇန်နဝါရီလတွင် archive လုပ်ခဲ့ပြီး migration path ကို ထုတ်ဝေခြင်းမရှိသော လုံခြုံရေးပြဿနာများအတွက် flag လုပ်ခဲ့ပြီး NVIDIA RTX AI Toolkit ကို ၂၀၂၅ ခုနှစ် နိုဝင်ဘာလတွင် ရပ်ဆိုင်းခဲ့သည်။
local LLM ကို run ဖို့ VRAM ဘယ်လောက်လိုအပ်လဲ။
ချက်တင်အတွက်၊ system RAM 8GB သည် 3B မော်ဒယ်ကို လည်ပတ်ပြီး 16GB သည် CPU တစ်ခုတည်းဖြင့် လက်ခံနိုင်သော 7 မှ 8B မော်ဒယ်ကို လည်ပတ်သည်။ အသုံးဝင်သော အမြန်နှုန်းအတွက်၊ သင်သည် VRAM သို့မဟုတ် unified memory တွင် မော်ဒယ်ကို လိုချင်သည်- 16GB သည် 7 မှ 14B အတန်းအစားကို ကိုင်တွယ်ပြီး 24GB သည် Q4 တွင် 30B အတန်းအစားသို့ ရောက်ရှိပြီး 32GB သို့မဟုတ် ထို့ထက်ပိုသော မော်ဒယ်များသည် agent coding လုပ်ငန်းကို စိတ်ပျက်စရာ ရပ်တန့်စေသည့်နေရာဖြစ်သည်။ ယင်းထက်ပို၍ bandwidth ထက် capacity က ပိုအရေးကြီးသည်၊ ထို့ကြောင့် 96 မှ 128GB unified-memory စက်များသည် မည်သည့် consumer graphics card မှ မကိုင်ဆောင်နိုင်သော မော်ဒယ်များကို လည်ပတ်ကြသည်။
ဒေသခံ LLM ကိရိယာများက ကျွန်ုပ်၏ NPU ကို အသုံးပြုပါသလား။
llama.cpp မှာ NPU backend မရှိတာကြောင့် ပုံမှန်အားဖြင့်တော့ မဟုတ်ပါဘူး။ ဒါကြောင့် Ollama နဲ့ LM Studio တို့ဟာ Snapdragon ဒါမှမဟုတ် Ryzen AI စက်မှာ neural engine ကို သုညရာခိုင်နှုန်းမှာ ထားခဲ့ပြီး CPU ဒါမှမဟုတ် GPU မှာ လည်ပတ်ကြပါလိမ့်မယ်။ NPU ကိုရောက်ဖို့ လက်ရှိမှာ vendor path တစ်ခု လိုအပ်ပါတယ်- Qualcomm GenieX၊ NPU runtime ပါတဲ့ AMD Lemonade၊ Intel OpenVINO ဒါမှမဟုတ် OS frameworks တွေကနေတစ်ဆင့် Apple ရဲ့ Neural Engine တို့ပဲ ဖြစ်ပါတယ်။ အားသာချက်ကတော့ ဘက်ထရီသက်တမ်းနဲ့ low-power always-on operation ပါပဲ၊ ဘာလို့လဲဆိုတော့ NPU တွေဟာ ဒီနေ့ခေတ် မော်ဒယ် ၇ ဘီလီယံလောက်မှာ ထိပ်ဆုံးက ရှိနေပြီး discrete GPU တစ်ခုဟာ throughput မှာ အမြဲတမ်း သာလွန်နေမှာမို့လို့ပါ။
Windows ဒါမှမဟုတ် Linux မှာ local AI ကို run ရမှာလား။
ဒီစာမျက်နှာမှာရှိတဲ့ desktop app တွေအတွက် Windows နဲ့ macOS တွေက ပိုချောမွေ့ပါတယ်။ LM Studio၊ Jan၊ AnythingLLM နဲ့ Ollama တွေအားလုံးကို natively install လုပ်ထားပြီး GPU drivers တွေက ပုံမှန်နေရာတွေကနေ လာတာပါ။ ဘာမှ terminal မလိုအပ်ပါဘူး။ Linux ကတော့ အဆင့်တစ်ခုအထိ နိမ့်ကျနေပါတယ်- production serving engines တွေဖြစ်တဲ့ vLLM နဲ့ SGLang တွေက Linux-first ဖြစ်ပြီး multi-GPU serving က ထိရောက်စွာ ယူဆထားပြီး AMD ရဲ့ Ryzen AI NPU support အပါအဝင် အသစ်ဆုံး acceleration path တွေဟာ တခြားနေရာတွေထက် အရင်ရောက်ပါတယ်။ Linux မှာ ရောက်ရှိလာပြီး အလွန်အသစ်ဆုံး kernel ကို လိုချင်ပါတယ်။
ကွာဟချက်က အရင်ကထက် ပိုကျဉ်းမြောင်းလာပါတယ်။ AMD ဟာ ၂၀၂၆ ခုနှစ်မှာ Windows နဲ့ Linux တွေမှာ သူ့ရဲ့ ROCm ဖြန့်ချိမှုတွေကို ပေါင်းစည်းခဲ့ပြီး WSL2 က ကျန်တာအများစုကို လွှမ်းခြုံထားပါတယ်။ Open WebUI လိုမျိုး Docker-based tools တွေက Windows စက်မှာ အဆင်ပြေပြေ လည်ပတ်နိုင်ပါတယ်။ လက်တွေ့ကျတဲ့ စည်းမျဉ်းကတော့ desktop apps table ကနေ install လုပ်မယ်ဆိုရင် ရှိပြီးသား OS မှာပဲ ဆက်လုပ်သွားပါ။ dedicated serving box တစ်ခု တည်ဆောက်နေတာ ဒါမှမဟုတ် acceleration path တိုင်းကို လိုက်လံရှာဖွေနေတယ်ဆိုရင် Linux မှာပဲ တည်ဆောက်ပါ။
coding အတွက် cloud model ကို အစားထိုးဖို့ local model တွေ လုံလောက်ပါသလား။
၎င်းသည် task ပေါ်တွင် အပြည့်အဝမူတည်ပြီး split သည် coverage အများစုဝန်ခံထားသည်ထက် ပိုမိုပြတ်သားသည်။ bounded work၊ single-file generation၊ unit tests၊ boilerplate နှင့် explaining code တို့တွင် ကောင်းမွန်သော workstation ရှိ လက်ရှိ open-weight model များသည် frontier cloud model များနှင့် rough parity တွင်ရှိသည်။ long-horizon agentic work၊ large repository တစ်လျှောက် multi-file refactors များတွင် ၎င်းတို့သည် သိသိသာသာ ရှုံးနိမ့်ပြီး failure mode များသည် မနှစ်မြို့ဖွယ်အမျိုးအစားဖြစ်သည်- silent no-ops နှင့် ဘယ်သောအခါမှ မဖြစ်ခဲ့သော ယုံကြည်မှုရှိရှိ report လုပ်ထားသော work ဖြစ်သည်။ local သို့သွားရခြင်း၏ အကြောင်းရင်းမှာ privacy၊ air-gap လိုအပ်ချက်များ သို့မဟုတ် cost ဖြစ်ပါက ယနေ့တွင် ၎င်းသည် လက်တွေ့ကျပါသည်။ သင်၏အကြောင်းရင်းမှာ capability ဖြစ်ပါက ၎င်းသည် လက်တွေ့မကျသေးပါ။
cloud service သုံးတာထက် မော်ဒယ်တစ်ခုကို ဒေသတွင်းမှာ လည်ပတ်တာက ပိုလုံခြုံပါသလား။
data residency အတွက်ကတော့ ဟုတ်ပါတယ်၊ အဲဒါကြောင့် လူအများစုက local မှာ အသုံးပြုကြတာပါ။ software security အတွက်ကတော့ default အနေနဲ့ no ပါပဲ- ၂၀၂၆ ခုနှစ် မတ်လမှာ CVSS 9.6 အဆင့်သတ်မှတ်ထားတဲ့ local AI app တစ်ခုကို model ရဲ့ stream output ကနေ host မှာ code ကို execute လုပ်ဖို့ drive လုပ်နိုင်ပါတယ်၊ ဘာလို့လဲဆိုတော့ desktop app ကို unsafe default တွေနဲ့ package လုပ်ထားလို့ပါ။ Local ဆိုတာက သင့်ရဲ့ data က နေရာမှာရှိနေမှာဖြစ်ပြီး software က harden ဖြစ်နေမယ်လို့ မဆိုလိုပါဘူး၊ ဘာလို့လဲဆိုတော့ ဒီ category က မြန်ဆန်တဲ့ code တွေ အများကြီး ပို့ပေးလို့ပါ။
AI agent sandbox ဆိုတာဘာလဲ၊ ဒေသတွင်း AI အတွက် တစ်ခုလိုအပ်ပါသလား။
sandbox ဆိုတာ သီးခြားပတ်ဝန်းကျင်တစ်ခုဖြစ်ပြီး ပုံမှန်အားဖြင့် container ဒါမှမဟုတ် lightweight virtual machine တစ်ခုဖြစ်ပြီး AI agent တစ်ခုက ၎င်းထုတ်လုပ်တဲ့ command တွေနဲ့ code တွေကို execute လုပ်ပါတယ်။ ဒါကြောင့် အမှား ဒါမှမဟုတ် malicious instruction တစ်ခုဟာ host system ကို မထိခိုက်နိုင်ပါဘူး။ agent တွေက မေးခွန်းတွေကို ဖြေပေးရုံသာမက shell command တွေကို run တာ၊ file တွေကို edit လုပ်တာ နဲ့ browse လုပ်တာတွေကြောင့် sandbox ဖြစ်ပေါ်လာတာပါ။ အဲဒီလုပ်ဆောင်ချက်တိုင်းဟာ model output ကို manipulate လုပ်လို့ရတဲ့အတွက်ကြောင့်ပါ။ model ကို local မှာ run လုပ်ရုံနဲ့ အဲဒီတွက်ချက်မှုကို လုံးဝပြောင်းလဲစေမှာ မဟုတ်ပါဘူး။
Sandboxing ဆိုတာ မော်ဒယ်ဘယ်မှာရှိတယ်ဆိုတာမဟုတ်ဘဲ agent ဘာလုပ်လဲဆိုတာကို သီးခြားခွဲထုတ်ခြင်းဖြစ်ပြီး အထက်မှာဖော်ပြထားတဲ့ code-execution အားနည်းချက်က local-first app မှာ အဲဒီအချက်ကို အတိအကျဖော်ပြခဲ့ပါတယ်။ ဒီစာမျက်နှာမှာရှိတဲ့ tool အချို့ဟာ sandboxing built-in ပါရှိပြီး ကန့်သတ်မထားတဲ့ host access နဲ့ လည်ပတ်တဲ့ agent တွေဟာ သင်ဂရုစိုက်တဲ့စက်ကို မထိခင်မှာ သေချာစွာကြည့်ရှုသင့်ပါတယ်။ agent adoption ဟာ စီးပွားရေး setting တွေထဲကို ဝင်လာတာနဲ့အမျှ sandboxing ဟာ ခေါင်းစဉ်တစ်ခုဖြစ်လာမယ်လို့ မျှော်လင့်ပြီး ဒီ tool တွေကို ကျွန်ုပ်တို့ ဘယ်လိုအကဲဖြတ်မလဲဆိုတာမှာ ချိန်ဆလာမယ်လို့ မျှော်လင့်ပါတယ်။
ဒေသတွင်း hardware များသည် sub-agent များစွာဖြင့် agent workloads များကို လုပ်ဆောင်နိုင်ပါသလား။
ဒါက နယ်နိမိတ်ပါ၊ အတိုချုပ်အဖြေကတော့ တစ်ခုတည်းသော workstation သည် နေရာလွတ်မြန်မြန်ကုန်သွားခြင်းပါပဲ။ Multi-agent workloads များသည် တစ်ခုချင်းစီတွင် ၎င်းတို့၏ကိုယ်ပိုင် context သယ်ဆောင်ထားသော sub-agent များကို ဖြစ်ပေါ်စေပြီး ကောက်ချက်ချသည့်ဘက်တွင် active context တစ်ခုစီသည် memory တွင် ၎င်း၏ကိုယ်ပိုင် KV cache ကို ဆိုလိုသောကြောင့် footprint သည် concurrency နှင့် model size အလိုက် ချိန်ညှိပါသည်။ ထို cache များသည် memory ထက် ကြီးလာသောအခါ မည်သည့်နေရာသို့ ရောက်ရှိသွားသည်ဆိုသည်မှာ ၎င်း၏ကိုယ်ပိုင် engineering ပြဿနာဖြစ်သည်။ Dell နှင့် Solidigm hardware ပေါ်တွင်တည်ဆောက်ထားသော KV cache offload ကို flash သို့ အသုံးပြုခြင်း အပေါ် ကျွန်ုပ်တို့၏ နက်နက်ရှိုင်းရှိုင်းလေ့လာခြင်း သည် ကျွန်ုပ်တို့ထုတ်ဝေခဲ့သော ထိုဘာသာရပ်အတွက် အကောင်းဆုံးကိုင်တွယ်ဖြေရှင်းမှုဖြစ်သည်။
30B-class agent session တစ်ခုကို အဆင်ပြေစွာ ဝန်ဆောင်မှုပေးနိုင်သော စက်တစ်ခုသည် latency ကျဆင်းသွားခြင်းမပြုမီ batching server မှတစ်ဆင့် parallel session အနည်းငယ်ကို ကိုင်တွယ်နိုင်သည်။ တစ်ပြိုင်နက်တည်း sub-agent အများအပြားသည် server နယ်မြေဖြစ်ပြီး live context များစွာကို သိမ်းဆည်းရန် မှတ်ဉာဏ်လုံလောက်ပြီး vLLM ကဲ့သို့သော serving engine တစ်ခုကို စဉ်ဆက်မပြတ် batching အတွက် တည်ဆောက်ထားသည်။ tool အရေအတွက် တိုးလာသည်နှင့်အမျှ local model များသည် ယုံကြည်စိတ်ချရမှု ဆုံးရှုံးသွားပြီး orchestration သည် tool များနှင့် handoff များကို များပြားစေသောကြောင့် အရည်အသွေး အမြင့်ဆုံး ကန့်သတ်ချက်လည်း ရှိပါသည်။
ကျွန်ုပ်တို့အမြင်ကတော့ အေးဂျင့်တစ်ဦးတည်းနဲ့ အေးဂျင့်အနည်းငယ်နဲ့ လုပ်ဆောင်တဲ့အလုပ်ဟာ ယနေ့ခေတ်မှာ တရားဝင် workstation အလုပ်တစ်ခုဖြစ်ပြီး လက်အောက်ခံအေးဂျင့်ကြီးတွေရဲ့ လုပ်ငန်းစုတွေဟာ အခြေခံအဆောက်အအုံအလုပ်တစ်ခုဖြစ်တယ်လို့ ဆိုပါတယ်။ အဲဒီနယ်နိမိတ်နဲ့ အဲဒါကိုဖြတ်ကျော်ဖို့ လိုအပ်တဲ့ hardware ဟာ ကျွန်ုပ်တို့ ပိုပြီးနက်နက်ရှိုင်းရှိုင်း လေ့လာဖို့ စီစဉ်ထားတဲ့အရာပါ။
အမေဇုံ