၂၀၂၆ ခုနှစ်၊ အောက်တိုဘာလ ၂၄ ရက်နေ့တွင် အပ်ဒိတ်လုပ်ခဲ့သည်- RTX PRO 6000 tower note သည် ယခုအခါ multi-GPU tower များကို Local AI အတွက် အကောင်းဆုံး Desktops များအဖြစ် ညွှန်ပြပြီး single-card tower များကို Best Desktop Workstations အဖြစ် ညွှန်ပြနေပြီး အောက်တိုဘာ ၂၀ ရက်နေ့ board များအကြား ခွဲဝေမှုနှင့် ကိုက်ညီစေပြီး စမ်းသပ်ထားသော ceiling သည် ယခုအခါ ရှစ်ကတ်ပါ 768GB Comino Grando ကို ထင်ဟပ်စေပါသည်။ မူလက ၂၀၂၆ ခုနှစ်၊ ဩဂုတ်လ ၁၆ ရက်နေ့တွင် ထုတ်ဝေခဲ့ပြီး မော်ဒယ်အရွယ်အစားများကို ထုတ်ဝေချိန်တွင် တရားဝင်ထုတ်ပြန်ချက်များနှင့် အတည်ပြုပြီး သုံးလတစ်ကြိမ် ပြန်လည်ဆန်းသစ်ခဲ့သည်။
ဒေသတွင်း AI အတွက် ဟာ့ဒ်ဝဲလမ်းညွှန်တိုင်းသည် နောက်ဆုံးတွင် မေးခွန်းတစ်ခုဆီသို့ ရောက်ရှိသွားသည်- မော်ဒယ်သည် ကိုက်ညီပါမည်လား။ ဤစာမျက်နှာသည် ဂဏန်းများဖြင့် ဖြေကြားပြီးနောက် spec-sheet သင်္ချာထက် တစ်ဆင့်ပိုသွားသည်။ အောက်ပါဇယားများတွင် မော်ဒယ်အတန်းအစားတစ်ခု ပေါ်လာသည့်နေရာတွင် StorageReview lab တွင် ကျွန်ုပ်တို့ လုပ်ဆောင်ပြီးဖြစ်ပြီး ဟာ့ဒ်ဝဲအကြံပြုချက်များသည် ကျွန်ုပ်တို့၏ desktop နှင့် laptop ဒေသတွင်း AI leaderboard များတွင် စမ်းသပ်ထားသော စနစ်များနှင့် ချိတ်ဆက်ထားသည်။
အတိုချုပ်ပြောရရင် parameter အရေအတွက်တစ်ခုတည်းက hardware လိုအပ်ချက်တွေကို မခန့်မှန်းနိုင်တော့ပါဘူး။ Quantization က အလေးချိန်ကို ၄ ဆ လောက် လျှော့ချပေးပြီး mixture-of-experts မော်ဒယ်တွေက သူတို့ရဲ့ total parameter count တွေက အကြံပြုထားတာထက် အများကြီး ပေါ့ပါးစွာ လည်ပတ်ပြီး agentic workloads တွေက sizing guide အများစုမှာ လုံးဝကျော်သွားတဲ့ memory tax ကို ထပ်ပေါင်းပေးကာ အောက်က အပိုင်းတွေက သုံးခုစလုံးကို budget လုပ်ပါတယ်။
မော်ဒယ် မှတ်ဉာဏ် လိုအပ်ချက်များ
အောက်ဖော်ပြပါ ဖိုင်အရွယ်အစားများသည် ၂၀၂၆ ခုနှစ် ဩဂုတ်လတွင် Ollama နှင့် Hugging Face တွင် ထုတ်ဝေခဲ့သည့်အတိုင်း အဖြစ်များသော Q4_K_M ပမာဏသတ်မှတ်ထားသော ထုတ်လွှတ်မှုများ (သို့မဟုတ် ဖော်ပြထားသည့် မူရင်းဖော်မတ်) ဖြစ်သည်။ “Memory to Run” ကော်လံသည် အလုပ်လုပ်သည့် overhead နှင့် အလယ်အလတ် context window ကို ထည့်သွင်းပေးသည်။ ကြယ်ပွင့်ဖြင့်မှတ်သားထားသော ကိန်းဂဏန်းများသည် တွက်ချက်ထားသော ခန့်မှန်းချက်များဖြစ်ပြီး GPT-OSS နှင့် DeepSeek 671B ကိန်းဂဏန်းများသည် ရောင်းချသူများ၏ ကိုယ်ပိုင်ဖော်ပြချက်များဖြစ်သည်။
| ပုံစံ | parameters | စတုတ္ထသုံးလပတ် / မူရင်းဒေါင်းလုဒ် | လည်ပတ်ရန် မှတ်ဉာဏ်* | ဖွင့်သည်။ |
|---|---|---|---|---|
| Llama 3.1 8B | 8B | 4.9 GB ကို | ~၆၅ မှ ၈၀ GB | 8GB VRAM လက်တော့ပ်များ တက်သည် |
| ဖီ-၄ ၁၄ဘီ | 14.7B | 9.1 GB ကို | ~၆၅ မှ ၈၀ GB | 16GB VRAM သို့မဟုတ် 64GB မျှဝေမှတ်ဉာဏ် လက်ပ်တော့များ |
| GPT-OSS 20B (MXFP4) | ၆၇၁ဘီ (၃၇ဘီ တက်ကြွနေသည်) | 12 မှ 14 GB | ~၆၅ မှ ၈၀ GB | 16GB VRAM၊ မျှဝေထားသော မှတ်ဉာဏ်လက်ပ်တော့များ |
| မစ်စထရယ် အသေးစား ၃.၁ ၂၄ဘီ | 24B | 15 GB ကို | ~၆၅ မှ ၈၀ GB | 24GB RTX PRO လက်ပ်တော့များ |
| Gemma 3 27B | 27B | 17 GB ကို | ~၆၅ မှ ၈၀ GB | 24GB RTX PRO လက်ပ်တော့များ, ပေါင်းစည်းထားသော မှတ်ဉာဏ် ဒက်စ်တော့များ |
| Qwen3 30B-A3B | ၆၇၁ဘီ (၃၇ဘီ တက်ကြွနေသည်) | 19 GB ကို | ~၆၅ မှ ၈၀ GB | 24GB VRAM (တင်းကျပ်စွာ) သို့မဟုတ် တစ်စုတစ်စည်းတည်းမှတ်ဉာဏ် |
| QwQ 32B / DeepSeek-R1 32B | 32B | 20 GB ကို | ~၆၅ မှ ၈၀ GB | 24GB VRAM (တင်းကျပ်စွာ) သို့မဟုတ် တစ်စုတစ်စည်းတည်းမှတ်ဉာဏ် |
| လာမာ ၃.၃ ၇၀ဘီ / R၁ ပေါင်းခံစက် ၇၀ဘီ | 70B | 43 GB ကို | ~၆၅ မှ ၈၀ GB | 96GB+ ပေါင်းစည်းထားသော မှတ်ဉာဏ်, RTX PRO 6000 တာဝါများ |
| GPT-OSS 120B (MXFP4) | ၆၇၁ဘီ (၃၇ဘီ တက်ကြွနေသည်) | 65 GB ကို | ~၆၅ မှ ၈၀ GB | 96GB မှ 128GB ပေါင်းစည်းမှတ်ဉာဏ်, 96GB GPU များ |
| DeepSeek-R1 671B (အပြည့်အစုံ) | ၆၇၁ဘီ (၃၇ဘီ တက်ကြွနေသည်) | 404 GB ကို | ၂+ GB | စားပွဲတင်ကွန်ပျူတာများအတွက် လက်လှမ်းမမီသောနေရာ၊ rack အရွယ်အစားရှိသော ဧရိယာ |
*ခန့်မှန်းခြေများအရ active context 8K ခန့်နှင့် weight file ၏ထိပ်တွင် runtime overhead 15 ရာခိုင်နှုန်းခန့် ကုန်ကျမည်ဟု ယူဆပါသည်။ context ကြီးများသည် သိသိသာသာ ပိုမိုကုန်ကျပါသည်။ အောက်ဖော်ပြပါ အေးဂျင့်အခွန်ကို ကြည့်ပါ။
အဲဒီဇယားထဲက ပုံစံနှစ်ခုကို အာရုံစိုက်သင့်ပြီး ပထမအချက်ကတော့ ကျွမ်းကျင်သူတွေရဲ့ ရောနှောမှုက သင်္ချာကို ပြောင်းလဲစေတယ်ဆိုတာပါပဲ။ GPT-OSS 120B မှာ parameter ၁၁၇ ဘီလီယံ ပါပေမယ့် token တစ်ခုကို ၅.၁ ဘီလီယံပဲ activate လုပ်တာကြောင့် 96GB မှ 128GB memory pool တစ်ခုတည်းမှာ လည်ပတ်ပြီး OpenAI က ပစ်မှတ်ကို 80GB GPU တစ်ခုတည်းအဖြစ် ဖော်ပြထားပါတယ်။ ကျွန်တော်တို့ ဒါကို discrete GPU လုံးဝမပါတဲ့ ၁ လီတာ စက်ဖြစ်တဲ့ HP Z2 Mini G1a မှာ လည်ပတ်ခဲ့ပါတယ် ။ ဒုတိယအချက်အနေနဲ့ 671B parameters မှာရှိတဲ့ DeepSeek-R1 အပြည့်အစုံက တခြားကမ္ဘာတစ်ခုမှာ ရှိနေပါတယ်။ စတုတ္ထသုံးလပတ်မှာ download လုပ်ဖို့အတွက် 404GB၊ လက်ခံနိုင်လောက်တဲ့ လည်ပတ်မှုအတွက် ပေါင်းစပ် memory 450GB လောက် ရှိပါတယ်။ ကျွန်တော်တို့ရဲ့ leaderboard တွေမှာ ဘာမှ လည်ပတ်နိုင်မှာ မဟုတ်ပါဘူး၊ desktop မှာလည်း စမ်းကြည့်သင့်ပါတယ်။
ဘာတွေ ဘယ်ကိုပြေးနေတာလဲ
8GB VRAM လက်တော့ပ်များ (RTX PRO 500 မှ 2000 အတန်းအစား)။ Q4 မှာ 7B မှ 8B မော်ဒယ်တွေနဲ့ ပိုသေးငယ်တဲ့ Phi နဲ့ Gemma ဗားရှင်းတွေနဲ့ အဆင်ပြေပါတယ်။ အမြင့်ဆုံးအဆင့်က အမှန်တကယ်ပါပဲ- ကျွန်ုပ်တို့ရဲ့ စမ်းသပ်မှုမှာ ဂရပ်ဖစ်မှတ်ဉာဏ် 12GB လောက် လိုချင်တဲ့ 13B မော်ဒယ်ဟာ 8GB ကတ်တွေနဲ့ မပြီးမြောက်ခဲ့ပါဘူး။ ကျွန်ုပ်တို့ရဲ့ ဒေသတွင်း AI အတွက် အကောင်းဆုံး လက်တော့ပ်များ စာမျက်နှာမှာ ဒီနယ်ပယ်ကို လွှမ်းခြုံထားပါတယ်။
24GB VRAM စနစ်များ (RTX PRO 5000 လက်ပ်တော့များ၊ ဒက်စ်တော့ RTX ကတ်များ)။ 14B မှ 27B မော်ဒယ်များအတွက် အပိုအခြေအနေများနှင့် ၎င်းတို့ကို လည်ပတ်ရန် အမြန်ဆုံးနည်းလမ်း၊ ကျွန်ုပ်တို့၏ Dell Pro Max 18 Plus သည် Phi တွင် တစ်စက္ကန့်လျှင် 185 တိုကင်ဖြင့် ဦးဆောင်နေသည်။ 32B အတန်းသည် Q4 တွင် ကိုက်ညီသော်လည်း အခြေအနေအတွက် နေရာအနည်းငယ်သာချန်ထားပြီး အေးဂျင့်များပါဝင်လာသည်နှင့် ၎င်းသည် သင်ထင်သည်ထက် ပိုအရေးကြီးပါသည်။
ပေါင်းစည်းထားသော နှင့် မျှဝေထားသော မှတ်ဉာဏ်စနစ်များ (96GB မှ 128GB)။ AMD Strix Halo စက်များသည် GPU သို့ စနစ် RAM 96GB အထိ သတ်မှတ်ပေးနိုင်ပြီး NVIDIA DGX Spark ကဲ့သို့သော GB10 စနစ်များတွင် ပေါင်းစပ်ထားသော မှတ်ဉာဏ် 128GB ပါရှိသည်။ ဤအတန်းအစားသည် Q4 တွင် 70B မော်ဒယ်များနှင့် GPT-OSS 120B တို့ကို မြန်နှုန်းနှင့် စွမ်းရည်ကို လဲလှယ်အသုံးပြုသည်။ ဒေသတွင်း AI ဦးဆောင်သူဘုတ်တွင် ၎င်းတို့ကို အဆင့် သတ်မှတ်ပြီး HP ZBook Ultra G1a 14 ရှိ လက်ပ်တော့များတွင် အလားတူဗိသုကာလက်ရာများ ရှိနေပြီး ကျွန်ုပ်တို့၏ စမ်းသပ်မှုတွင် DeepSeek-R1 70B ကို တင်ထားသည်။
RTX PRO 6000 workstation towers များ (ကတ်တစ်ခုလျှင် 96GB၊ စမ်းသပ်ပြီး 768GB အထိ)။ တစ်ပြိုင်နက်တည်း မြန်နှုန်းနှင့် စွမ်းရည်- အပြည့်အဝ quantization ဖြင့် မြင့်မားသော မော်ဒယ် 70B၊ headroom ပါသော GPT-OSS 120B သို့မဟုတ် multi-agent pipelines များအတွက် တစ်ပြိုင်နက်တည်း တည်ရှိသော မော်ဒယ်များစွာ။ Multi-GPU towers များသည် ကျွန်ုပ်တို့၏ ဒေသတွင်း AI ဦးဆောင်သူစာရင်းအတွက် အကောင်းဆုံး Desktop များတွင် အဆင့်သတ်မှတ်ခံရပြီး GPU လေးခုပါ HP Z8 Fury G6i မှ ကျွန်ုပ်တို့၏ စမ်းသပ်မှုတွင် ကတ်ရှစ်ခုနှင့် VRAM 768GB ပါရှိသော liquid-cooled Comino Grando အထိ အဆင့်သတ်မှတ်ခံရသည်။ Single-card towers များသည် Dell Pro Precision 9 T2 ဦးဆောင်သော အကောင်းဆုံး Desktop Workstations များတွင် အဆင့်သတ်မှတ်ခံရသည် ။
အေးဂျင့်အခွန်- အခြေအနေသည် ဒုတိယမှတ်ဉာဏ်ဘတ်ဂျက်ဖြစ်သည်။
weight file ကနေ sizing လုပ်ရုံနဲ့ chat session တိုတိုလေးတွေအတွက် အလုပ်လုပ်ပြီး agent တွေက အဲဒီယူဆချက်ကို ချိုးဖျက်ပါတယ်- agent တစ်ခုက tool output၊ file တွေနဲ့ အရင်အဆင့်တွေကို context window ထဲ ပြန်ဖတ်ပြီး context မှာသိမ်းထားတဲ့ token တိုင်းက weight တွေရဲ့အပေါ်မှာ KV cache ထဲက memory ကို ကုန်ကျစေပြီး အောက်ကဇယားမှာ အဲဒီကုန်ကျစရိတ်တွေ ဘယ်လောက်များလာလဲဆိုတာ ပြထားပါတယ်။
| မော်ဒယ်အတန်း | 32K နောက်ခံအခြေအနေတွင် KV ကက်ရှ် | 128K နောက်ခံအခြေအနေတွင် KV ကက်ရှ် | တိုကင် ၁၀၀၀ လျှင် ခန့်မှန်းကုန်ကျစရိတ် |
|---|---|---|---|
| ၇၀ဘီ (လာမာ ၃.၃ ၇၀ဘီ၊ FP၁၆ ကေဗွီ) | 4.19 GB ကို | 16.78 GB ကို | ~0.13GB |
| ၇၀ဘီ (လာမာ ၃.၃ ၇၀ဘီ၊ FP၁၆ ကေဗွီ) | 10.49 GB ကို | 41.94 GB ကို | ~0.33GB |
အထက်ပါ အရွယ်အစားဇယားနှင့် နှိုင်းယှဉ်၍ ဖတ်ရှုပါက ပြဿနာမှာ ထင်ရှားပါသည်။ Q4 ရှိ 70B မော်ဒယ်တွင် အလေးချိန် 43GB ရှိသည်၊ သို့သော် 128K context အပြည့်တွင် စုစုပေါင်း 85GB ခန့် လိုအပ်ပြီး ၎င်းသည် အလေးချိန်၏ နှစ်ဆဖြစ်သည်။ 128K ရှိ 8B မော်ဒယ်တွင် ၎င်း၏ကိုယ်ပိုင် Q4 အလေးချိန်များ (4.9GB) ထက် context တွင် မှတ်ဉာဏ် (16.78GB) ပိုမိုအသုံးပြုသည်။ KV cache quantization သည် FP8 သည် ထိုကိန်းဂဏန်းများကို ထက်ဝက်လျှော့ချပြီး INT4 သည် အရည်အသွေးကုန်ကျစရိတ်အချို့ဖြင့် လေးပုံတစ်ပုံလျှော့ချခြင်းဖြင့် အထောက်အကူဖြစ်စေသော်လည်း စီမံကိန်းရေးဆွဲခြင်းစည်းမျဉ်းမှာ အကျုံးဝင်ပါသည်- အေးဂျင့်အလုပ်အတွက် ဒုတိယမော်ဒယ်ကဲ့သို့ context ကို ဘတ်ဂျက်ချပါ။
စနစ်တစ်ခုသည် အေးဂျင့်များ သို့မဟုတ် အသုံးပြုသူများစွာကို တစ်ပြိုင်နက်တည်း host လုပ်ပါက request တစ်ခုစီတွင် ၎င်း၏ကိုယ်ပိုင် KV cache ပါရှိသောကြောင့် serving သည် အခွန်ကို ထပ်မံမြှောက်ပေးပါသည်။ ကျွန်ုပ်တို့၏ Local AI leaderboards များတွင် ကျွန်ုပ်တို့ benchmark လုပ်သည့် serving stack ဖြစ်သော vLLM သည် throughput-killing preemption မပါဘဲ တစ်ပြိုင်နက်တည်း request မည်မျှရှင်သန်မည်ကို ဆုံးဖြတ်ပေးသောကြောင့် GPU memory ၏ 90 ရာခိုင်နှုန်းကို default အနေဖြင့် ကြိုတင်ခွဲဝေပေးပါသည်။ KV space သည် throughput-killing preemption မရှိဘဲ တစ်ပြိုင်နက်တည်း request မည်မျှရှင်သန်မည်ကို ဆုံးဖြတ်ပေးသောကြောင့်ဖြစ်သည်။ chat တစ်ခုကို အဆင်ပြေစွာ run နိုင်သော စက်တစ်လုံးကို အေးဂျင့်သုံးခုအတွက် အရွယ်အစားလျှော့ချနိုင်သည်။
System RAM: မေ့လျော့ခံထားရသော တတိယမြောက် ခြေထောက်
GPU သီးသန့် ကောက်ချက်ချရန်အတွက် system RAM ကို ရှောင်ရှားရန် လိုအပ်ပြီး ကျွန်ုပ်တို့စမ်းသပ်သော စက်များတွင် 32GB မှ 64GB အထိသည် အဆင်ပြေသော ကြမ်းခင်းဖြစ်ပြီး ၎င်းသည် ကိစ္စနှစ်ခုတွင် အဆုံးအဖြတ်ပေးသည့်အရာ ဖြစ်လာသည်။ VRAM တွင် မကိုက်ညီသော အလွှာများသည် CPU သို့ ယိုဖိတ်သွားသည့် offloading သည် memory-mapped model files များမှတစ်ဆင့် လုပ်ဆောင်သောကြောင့် system RAM သည် အနည်းဆုံး model file size နှင့် OS headroom နှင့် ကိုက်ညီသင့်သည်။
ပေါင်းစည်းထားသော မှတ်ဉာဏ်စက်များတွင် system RAM သည် GPU မှတ်ဉာဏ်ဖြစ်ပြီး၊ ထို့ကြောင့် 64GB နှင့် 128GB ဖွဲ့စည်းပုံများသည် ကျွန်ုပ်တို့၏ ဒေသတွင်း AI ဦးဆောင်မှုဘုတ်များတွင် လွှမ်းမိုးထားသည်။ Ollama ၏ ကိုယ်ပိုင်ကြမ်းခင်းလမ်းညွှန်ချက်တွင် 7B မော်ဒယ်များအတွက် 8GB RAM၊ 13B အတွက် 16GB နှင့် 33B အတန်းအစားအတွက် 32GB ရှိသည်။ ၎င်းတို့ကို ပစ်မှတ်များအဖြစ်မဟုတ်ဘဲ အနည်းဆုံးအဖြစ် သဘောထားသည်။
သိုလှောင်မှု- လူတိုင်းကျော်သွားသော ခြေထောက်
ကျွန်ုပ်တို့၏ sizing table ရှိ မော်ဒယ်ဆယ်ခုသည် ၎င်းတို့၏ဘုံ quantizations များတွင် စုစုပေါင်း 240GB ခန့်ရှိပြီး၊ variants အနည်းငယ်ပါသော အလုပ်လုပ်သည့် library တစ်ခု၊ retrieval အတွက် embedding models များနှင့် agent memory အတွက် vector stores များသည် မည်သည့် project data မှ မရောက်မီ 500GB ကျော်သွားနိုင်သောကြောင့် Model libraries များသည် အလျင်အမြန်ကြီးမားလာပါသည်။ ထို့အပြင်၊ agentic workflows များသည် မော်ဒယ်များနှင့်အတူရှိနေသော logs၊ checkpoints နှင့် retrieval indexes များကို အမှန်တကယ်ထုတ်ပေးပါသည်။
Loading time က drive class ပေါ်လာတဲ့နေရာပါ။ ဂဏန်းသင်္ချာက ရိုးရှင်းပါတယ်- 65GB GPT-OSS 120B ဖိုင်တစ်ခုဟာ SATA speeds မှာ ၁၀၉ စက္ကန့်လောက်၊ Gen3 NVMe drive မှာ ၁၇ စက္ကန့်လောက်နဲ့ Gen4 rates မှာ ၉ စက္ကန့်အောက်နဲ့ ပထမဆုံး load မှာသာ ဖတ်ပါတယ်၊ OS page cache က reload တွေကို ချက်ချင်းနီးပါးလုပ်တာကြောင့်ပါ။ တကယ့် loader တွေက drive speed အပြည့်ကို အမြဲတမ်းထိန်းထားနိုင်မှာမဟုတ်တဲ့အတွက် drive classes တွေမှာ ကျွန်တော်တို့ရဲ့ကိုယ်ပိုင်တိုင်းတာထားတဲ့ model-load နံပါတ်တွေကို ထုတ်ပြန်ဖို့ စီစဉ်ထားပါတယ်။ changelog ကိုကြည့်ပါ။ ကျွန်တော်တို့ရဲ့ Storage Leaderboard မှာ drive တွေကိုယ်တိုင်ပါဝင်ပါတယ်။
လက်တွေ့ကျသော လမ်းညွှန်ချက်- 2TB NVMe သည် သီးသန့် AI workstation အတွက် လက်တွေ့ကျသော အထပ်ဖြစ်ပြီး၊ စက်တွင် state စုဆောင်းသော agent များကို လက်ခံထားရှိပါက 4TB နှင့် မော်ဒယ်ကြီးများကို ပုံမှန်လဲလှယ်ပါက Gen4 သို့မဟုတ် ပိုကောင်းပါသည်။
Agentic AI Hardware အမေးများသောမေးခွန်းများ
70B မော်ဒယ်ကို ဒေသတွင်းမှာ run ဖို့ VRAM ဘယ်လောက်လိုအပ်လဲ။
Q4 မှာ အသင့်အတင့် context နဲ့ဆိုရင် ၄၈ မှ ၅၀GB လောက်ရှိတာကြောင့် ဒီ class က consumer card တွေထက် 96GB unified memory machine တွေနဲ့ 96GB workstation GPU တွေနဲ့ သက်ဆိုင်ပါတယ်။ context ကို 128K ဆီ တွန်းလိုက်ရင် စုစုပေါင်း 85GB နီးပါးရှိပါပြီ။ Q8 မှာ run လိုက်ရင် weight က 75GB ပဲရှိပါတယ်။
DeepSeek-R1 အပြည့်အစုံကို ဒေသတွင်းမှာ run လို့ရပါသလား။
ဒီဆိုက်က အဆင့်သတ်မှတ်ချက်မှာ ဘာမှမပါဘူး၊ ဘာလို့လဲဆိုတော့ full 671B မော်ဒယ်က Q4 မှာ 404GB download ဖြစ်ပြီး လက်ခံနိုင်လောက်တဲ့ လည်ပတ်မှုအတွက် ပေါင်းစပ်မှတ်ဉာဏ် 450GB လောက် လိုချင်လို့ပါ။ လက်တွေ့ကျတဲ့ ဒေသတွင်းလမ်းကြောင်းကတော့ တရားဝင် distill တွေဖြစ်ပြီး ကျွန်တော်တို့ရဲ့ sizing table မှာရှိတဲ့ 32B နဲ့ 70B distill တွေက desktop-class လိုအပ်ချက်တွေမှာ စွမ်းဆောင်ရည်အများစုကို ဖမ်းယူထားပါတယ်။
ကျွမ်းကျင်သူများ ရောနှောပါဝင်သော မော်ဒယ်များသည် ဟာ့ဒ်ဝဲ သင်္ချာကို ပြောင်းလဲစေပါသလား။
MoE မော်ဒယ်များသည် တိုကင်တစ်ခုလျှင် ၎င်းတို့၏ ကန့်သတ်ချက်များ၏ အစိတ်အပိုင်းအနည်းငယ်ကိုသာ အသက်ဝင်စေသောကြောင့် မှတ်ဉာဏ်သည် စုစုပေါင်း ကန့်သတ်ချက်များနှင့် ချိန်ညှိသော်လည်း မြန်နှုန်းသည် တက်ကြွသော ကန့်သတ်ချက်များနှင့် ပိုမိုနီးကပ်စွာ ချိန်ညှိသည်။ GPT-OSS 120B (5.1B တက်ကြွသည်) နှင့် Qwen3 30B-A3B (3.3B တက်ကြွသည်) နှစ်ခုစလုံးသည် ၎င်းတို့နှင့် ကိုက်ညီသော မှတ်ဉာဏ်ရေကန်များတွင် အကြံပြုထားသည်ထက် ပိုမိုမြန်ဆန်စွာ လည်ပတ်သည်။ အလေးချိန်အားလုံးအတွက် မှတ်ဉာဏ် လိုအပ်နေဆဲဖြစ်သည်။ သင်သည် gigabyte တစ်ခုလျှင် မြန်နှုန်းပိုမိုရရှိမည်ဖြစ်သည်။
AI workstation တစ်ခုအတွက် storage ဘယ်လောက်လိုအပ်လဲ။
အနည်းဆုံး 2TB NVMe၊ agent host တွေအတွက် 4TB စီစဉ်ပါ။ မော်ဒယ်စာကြည့်တိုက်တစ်ခုတည်းနဲ့တင် gigabyte ရာပေါင်းများစွာကို လည်ပတ်စေပြီး agent တွေက log တွေနဲ့ vector store တွေကို စုဆောင်းပေးပြီး အကြီးဆုံးဖိုင်တွေ (65GB နဲ့အထက်) က မော်ဒယ်တစ်ခုကို load လုပ်တိုင်း ဒါမှမဟုတ် လဲလှယ်တိုင်း နှေးကွေးတဲ့ drive တွေကို ဒုက္ခပေးပါတယ်။
ဒေသခံအေးဂျင့်တွေအတွက် ဘယ်လိုဟာ့ဒ်ဝဲတွေ ဝယ်သင့်လဲ။
အေးဂျင့်များသည် ရှည်လျားသော context များကို သိမ်းဆည်းထားပြီး တစ်ခါတစ်ရံတွင် တစ်ပြိုင်နက်တည်း လုပ်ဆောင်သောကြောင့် raw speed ထက် memory ကို ဦးစားပေးပါ။ ထို့ကြောင့် KV cache budget သည် weight budget ကဲ့သို့ပင် အရေးပါပါသည်။ ကျွန်ုပ်တို့၏ desktop Local AI leaderboard ရှိ 96GB မှ 128GB အထိ unified memory system သည် အသက်သာဆုံး entry ဖြစ်ပြီး speed နှင့် concurrency နှစ်ခုစလုံး အရေးကြီးသည့်အခါ workstation leaderboard ရှိ RTX PRO 6000 towers များသည် အဖြေဖြစ်သည်။
ပြန်လည်သုံးသပ်ထားသည်- GB300 နံပါတ်များ ရောက်ရှိလာပါပြီ
အထက်ဖော်ပြပါအရာအားလုံးသည် ကျွန်ုပ်တို့စမ်းသပ်ခဲ့သော hardware နှင့် ယခုသင်္ချာကိုပြောင်းလဲစေမည်ဟု ကျွန်ုပ်တို့ပြောခဲ့သည့်စနစ်သည် ထင်ဟပ်နေပါသည်။ ကျွန်ုပ်တို့လက်လှမ်းမီသော ပထမဆုံး GB300 DGX Station ဖြစ်သည့် MSI XpertStation WS300 အပေါ် ကျွန်ုပ်တို့၏သုံးသပ်ချက်ကို တိုက်ရိုက်ထုတ်လွှင့်နေပါပြီ- 252GB HBM3e နှင့် 496GB LPDDR5X၊ 20 petaFLOPS ပါဝင်သော 748GB coherent memory pool တစ်ခုဖြစ်ပြီး ကျွန်ုပ်တို့၏စမ်းသပ်မှုတွင် ၎င်းသည် workstation တွင် မည်သည့်လုပ်ငန်းမှလည်ပတ်ခြင်းမရှိသော 433GB GLM-5.2 checkpoint တစ်ခုကို ဆောင်ရွက်ပေးခဲ့ပြီး expert weights 216GB သည် Grace memory တွင်တည်ရှိသည်။
ဒီလမ်းညွှန်အတွက် အရေးကြီးရတဲ့ အကြောင်းရင်းက မှတ်ဉာဏ်ပါ။ ဒီစာမျက်နှာမှာရှိတဲ့ အကြံပြုချက်တိုင်းဟာ GPU တွေအလိုက် မော်ဒယ်တွေကို ပိုင်းခြားတာ၊ quantization ကို အားကိုးတာ၊ ဒါမှမဟုတ် weight တွေနဲ့ KV cache မကိုက်ညီတဲ့အခါ CPU offload ကို လက်ခံတာ စတဲ့ ခက်ခဲတဲ့ ကန့်သတ်ချက်တွေနဲ့ အလုပ်လုပ်ပါတယ်။ NVIDIA က GB300 deskside စနစ်တွေကို accelerator မှ address လုပ်နိုင်တဲ့ coherent memory gigabyte ရာပေါင်းများစွာနဲ့ သတ်မှတ်ထားပြီး အထက်ဖော်ပြပါ ဇယားတွေကို ထောက်ပြထားတဲ့ 96GB-class ကတ်တွေနဲ့ အရွယ်အစားကွာခြားပါတယ်။ လက်ရှိမှာ multi-GPU tower လိုအပ်နေတဲ့ ဒါမှမဟုတ် local မှာ run ဖို့ မဖြစ်နိုင်ဘူးလို့ ကျွန်ုပ်တို့ စာရင်းပြုစုထားတဲ့ မော်ဒယ် class တွေဟာ single-box range ထဲကို ရွှေ့သွားပါတယ်။
အထက်ပါဇယားများရှိ ကိန်းဂဏန်းများသည် GB300 ကို အခြေခံထားခြင်း မရှိသေးပါ။ WS300 ရလဒ်များနှင့် နှိုင်းယှဉ်ပါက အရွယ်အစား တိုင်းတာခြင်းသည် နောက်တစ်ခုဖြစ်ပြီး ပြောင်းလဲမှုအား အောက်ပါမှတ်တမ်းတွင် မှတ်သားထားပါမည်။
ဤလမ်းညွှန်ကို ကျွန်ုပ်တို့ မည်သို့ထိန်းသိမ်းစောင့်ရှောက်သည်
မော်ဒယ်အရွယ်အစားများနှင့် လူကြိုက်များသော မော်ဒယ်စာရင်းသည် မည်သည့်ဟာ့ဒ်ဝဲစက်ဝန်းထက်မဆို ပိုမိုမြန်ဆန်စွာ သုံးလတစ်ကြိမ်ပြောင်းလဲပါသည်။ ကျွန်ုပ်တို့သည် တရားဝင်ထုတ်ပြန်မှုများနှင့် နှိုင်းယှဉ်၍ အရွယ်အစားဇယားကို သုံးလတစ်ကြိမ် ဖြတ်သန်းမှုတွင် ပြန်လည်အတည်ပြုပြီး စနစ်အသစ်များသည် ကျွန်ုပ်တို့၏ ဒေသတွင်း AI စမ်းသပ်မှုကို အောင်မြင်သည်နှင့်အမျှ ဓာတ်ခွဲခန်းပြေစာများကို ထည့်သွင်းပါသည်။ ပြောင်းလဲမှုများကို စာမျက်နှာ၏ထိပ်ရှိ ရက်စွဲမှတ်စုတွင် တွေ့ရှိနိုင်ပါသည်။ ခန့်မှန်းခြေအဖြစ် မှတ်သားထားသော အရွယ်အစားကိန်းဂဏန်းများသည် ထုတ်ဝေထားသော အလေးချိန်ဖိုင်အပြင် တိုင်းတာထားသော KV cache ကုန်ကျစရိတ်များနှင့် စံ runtime overhead ကို အသုံးပြုသည်။ ရောင်းချသူဖော်ပြထားသော ကိန်းဂဏန်းများကို ထိုသို့ပင် သတ်မှတ်ထားသည်။
အမေဇုံ