Sandisk ဟာ ပထမဆုံး High Bandwidth Flash memory die ကို ထုတ်လုပ်လိုက်ပါပြီ။ ကုမ္ပဏီဟာ သြဂုတ်လ ၁၃ ရက်နေ့မှာ ကျင်းပတဲ့ ၂၀၂၆ ခုနှစ် ရင်းနှီးမြှုပ်နှံသူနေ့မှာ ဆလိုက်တစ်ခုမှာ တကယ့် die ပုံရဲ့ဘေးမှာ HBF Roadmap ခေါင်းစဉ်အောက်မှာ တင်ခဲ့ပါတယ်။ အဲဒီဆလိုက်ရဲ့ ဒုတိယပိုင်းမှာ ပထမဆုံး HBF inference product sample တွေကို လွှမ်းခြုံထားပါတယ်- မကြာမီ ၂၀၂၇ ခုနှစ်မှာ ထွက်ရှိတော့မှာပါ။
tapeout ဆိုတာ silicon အသစ်တိုင်းမှာ သိသာထင်ရှားတဲ့ မှတ်တိုင်တစ်ခုပါ။ ဒီဇိုင်းပြီးစီးပြီး mask set တစ်ခုနဲ့ ကတိကဝတ်ပြုထားတာဖြစ်ပြီး၊ ဗိသုကာလက်ရာတစ်ခုဟာ slide မဖြစ်တော့ဘဲ silicon ဖြစ်လာတဲ့အချက်ပါ။ ထုတ်ကုန်တစ်ခုအတွက် အဆင့်အနည်းငယ်သာ လိုတော့တာပါ။ wafers တွေဟာ fab ကနေ ပြန်ထွက်လာရမယ်၊ die ဟာ သူ့ရဲ့ target specs တွေကို ပြည့်မီရမယ်၊ yield က စီးပွားရေးအရ တစ်ခုခုအထိ မြင့်တက်ရမယ်၊ ပြီးတော့ die ဟာ အလုပ်လုပ်တဲ့ logic die နဲ့ controller အောက်မှာ 8-high နဲ့ 16-high configuration တွေအဖြစ် stacking လုပ်နိုင်ရမယ်။ ပြီးရင် thermal နဲ့ endurance qualification၊ accelerator software က memory ကို တကယ်ဖြေရှင်းဖို့ အလုပ်လုပ်ပြီး quarter အလိုက် လုပ်ဆောင်တဲ့ customer qualification cycle တွေ ရှိလာမယ်။ Sandisk က ရင်းနှီးမြှုပ်နှံသူတွေကို အဲဒီအဆင့်တွေထဲက ပထမအဆင့် ပြီးပြီလို့ ပြောပြနေပါတယ်။
Sandisk က HBF ပေးစွမ်းနိုင်သည်ဟု ဆိုသည်
HBF သည် DRAM အစား NAND ကို stack လုပ်ကာ accelerator ဘေးတွင် HBM ပုံစံ package တစ်ခုတွင် ထားရှိသည်။ Sandisk ၏ HBF အချက်အလက်စာရွက် အရ ပထမမျိုးဆက်သည် stack တစ်ခုလျှင် 512GB ကို ပစ်မှတ်ထားပြီး 256Gb die ၁၆ ခုမှ read bandwidth 1.6TB/s ဖြင့် တည်ဆောက်ထားသည်။ Sandisk က HBM4 ၏ footprint၊ stack height နှင့် power profile နှင့် အနီးစပ်ဆုံးတူညီသော package တွင် HBM ၏ capacity ထက် ၈ ဆ မှ ၁၆ ဆအထိ ရရှိနိုင်သည်ဟု ဆိုထားသည်။ ၎င်းသည် NAND ဖြစ်သောကြောင့် non-volatile ဖြစ်ပြီး refresh လုပ်ရာတွင် power မသုံးစွဲပါ။
အချက်အလက်စာရွက်ပေါ်ရှိ လမ်းပြမြေပုံသည် ပိုမိုကျယ်ပြန့်သည်။ ဒုတိယမျိုးဆက်သည် ပထမမျိုးဆက်၏ ပါဝါထက် ၀.၈ ဆ ပိုများသော 2TB/s ထက်ပို၍ stack တစ်ခုလျှင် 1TB အထိ ပစ်မှတ်ထားပြီး တတိယမျိုးဆက်သည် ပါဝါထက် ၀.၆၄ ဆ ပိုများသော 3.2TB/s ထက်ကျော်လွန်၍ stack တစ်ခုလျှင် 1.5TB အထိ တွန်းပို့သည်။ Investor Day deck သည် ပစ်မှတ် workloads များကို ရှင်းရှင်းလင်းလင်း ဘောင်ခတ်ထားသည်- ကျွမ်းကျင်သူများ ရောနှောထားသော LLM များ၊ ရှည်လျားသော context length များနှင့် ကြီးမားသော KV cache များကို အဓိက cloud နှင့် AI ဖောက်သည်များထံမှ input ကို အသုံးပြု၍ တီထွင်ထားသော ဗိသုကာလက်ရာဖြင့်။
ဒီ deck မှာ deployment သုံးခုကိုလည်း ဖော်ပြထားပါတယ်။ HBF ဟာ HBM ကို မြှင့်တင်ပေးနိုင်ပြီး xPU ပတ်လည်က stack position အချို့ကို ဖြည့်ပေးပြီး HBM ကတော့ ကျန်တာတွေကို သိမ်းထားပေးပါတယ်။ HBM stack တွေကို အလားတူ footprint နဲ့ အစားထိုးနိုင်ပါတယ်။ ဒါမှမဟုတ် decode weight တွေနဲ့ KV cache ကို ထိန်းထားပေးပြီး HBM tier ပိုသေးတဲ့ tier က cache အဖြစ် လုပ်ဆောင်ပေးပါတယ်။ အဲဒီ flexibility က ထင်ထားတာထက် ပိုအရေးကြီးပါတယ်၊ ဘာလို့လဲဆိုတော့ accelerator vendor က HBM ကို စွန့်လွှတ်ဖို့ မလိုအပ်ဘဲ HBF ကို socket ထဲ ထည့်ပေးလို့ပါ။
မျက်နှာပြင်ပေါ်တွင် Sandisk ထည့်သွင်းထားသော အတွင်းပိုင်းနံပါတ်များ
Sandisk သည် HBF GPU တစ်ခု၊ HBF GPU လေးခုနှင့် HBM GPU ရှစ်ခုကို လွှမ်းခြုံထားသော inference token output နှိုင်းယှဉ်ချက်ကို ပြသခဲ့သည်။ ၎င်းမှ ကုမ္ပဏီသည် အတွင်းပိုင်းစမ်းသပ်မှုအပေါ် အခြေခံ၍ တံဆိပ်ကပ်ထားသော အချက်နှစ်ချက်ကို ကောက်နုတ်ထားသည်။ ပထမအချက်မှာ မော်ဒယ်ကို လည်ပတ်ရန် လိုအပ်သော အနည်းဆုံးဖွဲ့စည်းမှုအဖြစ် သတ်မှတ်ထားသော 8x capex စွမ်းဆောင်ရည်ကိန်းဂဏန်းဖြစ်သည်- HBM GPU ရှစ်ခုနှင့် HBF GPU တစ်ခု။ ဒုတိယအချက်မှာ 2x GPU စွမ်းဆောင်ရည်ကိန်းဂဏန်းဖြစ်သည်- HBF GPU လေးခုသည် HBM GPU ရှစ်ခုနှင့် တူညီသော token output ကို ပေးဆောင်သည်။ အချက်အလက်စာရွက်တွင် ဆက်စပ် simulation ရလဒ်တစ်ခုကို ထည့်သွင်းထားသည်- Llama 3.1 405B အတွက် ကြိုတင်လေ့ကျင့်ထားသော အလေးချိန်များကို ဖတ်ရှုသောအခါ HBF သည် အကန့်အသတ်မရှိသော စွမ်းရည် HBM ၏ 2.2% အတွင်း ကျဆင်းသွားသည်။
၎င်းတို့သည် မထုတ်ပြန်ရသေးသော ဆီလီကွန်ပေါ်ရှိ ရောင်းချသူနံပါတ်များဖြစ်ပြီး အဆိုပါဇယားတွင် တစ်စက္ကန့်လျှင် တိုကင်များအတွက် ဝင်ရိုးတန်ဖိုးများ မပါရှိပါ။ သို့သော် ၎င်းတို့သည် သဘောတရားကို ဖော်ပြသည်- မော်ဒယ်တစ်ခုသည် bandwidth တူညီပြီး ပါဝါတူညီပါက ရှစ်ဆမှ ဆယ့်ခြောက်ဆအထိ ပိုကြီးသော မှတ်ဉာဏ်တွင် တပ်ဆင်နိုင်ပါက ၎င်းကို ထိန်းထားရန် accelerator နည်းပါးပြီး သင်ရရှိထားသော accelerator များသည် စောင့်ဆိုင်းချိန် နည်းပါးရန် လိုအပ်ပါသည်။
အချိန်ဇယားရဲ့ ရပ်တည်ရာနေရာ
စီမံကိန်းရေးဆွဲရန်အတွက်၊ Sandisk ထုတ်ပြန်ချက်နှစ်ခုသည် အချိန်ဇယားကို ကွင်းကွင်းကွက်ကွက်ဖော်ပြထားသည်။ ၂၀၂၅ ခုနှစ် ဩဂုတ်လ တွင် ကုမ္ပဏီက ပထမဆုံး HBF နမူနာများကို ၂၀၂၆ ခုနှစ် ပြက္ခဒိန်၏ ဒုတိယနှစ်ဝက်အတွက် ပစ်မှတ်ထားခဲ့ပြီး HBF ကိုအသုံးပြုသည့် AI inference devices များသည် ၂၀၂၇ ခုနှစ် အစောပိုင်းတွင် ထွက်ပေါ်လာမည်ဟု မျှော်လင့်ရကြောင်း ပြောကြားခဲ့သည်။ ၂၀၂၆ ခုနှစ် ဩဂုတ်လ ရင်းနှီးမြှုပ်နှံသူနေ့အထိ၊ ပထမဆုံး HBF inference ထုတ်ကုန်နမူနာများကို ၂၀၂၇ ခုနှစ်တွင် မကြာမီ ရောက်ရှိလာမည်ဟု စာရင်းပြုစုထားသည်။ ဒီဇိုင်းများသည် ဆီလီကွန်ဖြစ်လာသည်နှင့်အမျှ မှတ်ဉာဏ်အမျိုးအစားအသစ်များအတွက် အချိန်ဇယားများ ခိုင်မာလာပြီး အရည်အချင်းပြည့်မီမှုအဖြစ်မှန်များ စတင်လာသည်နှင့်အမျှ ဤစက်ဝန်းတစ်လျှောက်ရှိ ပထမမျိုးဆက်ပလက်ဖောင်းများသည် ညာဘက်သို့ ရွေ့လျားသွားခဲ့သည်။ သို့သော် tapeout သည် HBF တိုးတက်မှုရှိနေကြောင်း သက်သေပြနေသည်။
ဂေဟစနစ်အပိုင်းအစသည် ဆီလီကွန်ထက် ဝေးကွာလှသည်
စံနှုန်းသတ်မှတ်ချက်များသည် ထုတ်ကုန်ထက် ပိုမိုမြန်ဆန်စွာ တိုးတက်နေပါသည်။ သြဂုတ်လ ၃ ရက်နေ့တွင် Sandisk နှင့် SK hynix တို့သည် ကွန်ဆောတီယမ်ဖွဲ့စည်းပြီး ခြောက်လအကြာတွင် Open Compute Project မှတစ်ဆင့် ပထမဆုံး HBF နည်းပညာဆိုင်ရာ သတ်မှတ်ချက်ကို ထုတ်ပြန်ခဲ့ပြီး Google နှင့် Tenstorrent တို့သည် ပံ့ပိုးကူညီသူများထဲတွင် ပါဝင်ခဲ့သည်။ ထိုသတ်မှတ်ချက်နှင့် ၎င်းရောက်ရှိလာသောအခါတွင် ၎င်းသတ်မှတ်သည့်အရာကို ကျွန်ုပ်တို့ ဆွေးနွေးခဲ့ပါသည် ။ Tensorent မှ Jim Keller ကို အခမ်းအနားတွင် နည်းပညာအကြံပေးဘုတ်အဖွဲ့ဝင်အဖြစ် ခန့်အပ်ခဲ့သည်။
FMS 2026 မှာ သူ့ရဲ့ကိုယ်ပိုင် tiered memory pitch ကိုပြသ ခဲ့တဲ့ SK hynix ကတော့ ဒါဟာ standard product ဖြစ်လာမလား၊ single-vendor product ဖြစ်လာမလားဆိုတာကို ဆုံးဖြတ်ရာမှာ တခြားတာဝန်ယူထားပါတယ်။ လောလောဆယ်မှာတော့ Sandisk မှာ taped-out die တစ်ခု၊ open မှာ spec တစ်ခုနဲ့ sample တွေမှာ ၂၀၂၇ ခုနှစ်ထွက်ရှိမယ့်ရက်စွဲတစ်ခုရှိပါတယ်။ နောက်ထပ် တကယ့် checkpoint ကတော့ ဆီလီကွန်ဖြစ်ပြီး အဲဒါက ကောင်းမွန်တဲ့ report တစ်ခုကနေ ထွက်ပေါ်လာမှာဖြစ်ပြီး Sandisk က မကြာခင်မှာ ဒီအကြောင်း ပိုပြောလာမယ်လို့ မျှော်လင့်ပါတယ်။
အမေဇုံ