美光科技已开始向客户发售其全新 192GB SOCAMM2 内存模块样品，这标志着面向人工智能数据中心的低功耗 DRAM 取得了重大进展。该模块采用美光科技最先进的 1-gamma 工艺节点和 LPDDR5X 技术，旨在以极其紧凑的外形提供高带宽和更高的能效。
随着 AI 模型变得越来越大、越来越复杂，内存已成为系统设计中最大的瓶颈之一。美光科技的 SOCAMM2 模块旨在通过提供大容量、低功耗且比传统服务器 DIMM 更灵活扩展的内存来解决这一问题。
微米 192GB SOCAMM2 亮点
美光科技 SOCAMM（小型压缩连接内存模块）设计的最新版本，在不扩大物理占用空间的情况下，容量较上一代提升了 50%。这款 192GB 的新模块预计将显著提升实时 AI 推理性能。美光科技表示，与传统服务器内存相比，使用 SOCAMM2 的系统可将推理工作负载中的首次令牌时间 (TTFT) 缩短 80% 以上。
SOCAMM2 模块专为需要高吞吐量和节能基础设施的下一代 AI 工作负载而设计，将 LPDDR5X 的固有优势（低功耗和高数据传输率）与服务器级的可靠性和可维护性相结合。这使得它们特别适合高密度液冷系统以及需要高内存容量且功耗预算有限的环境。
SOCAMM2 的能效比上一代提升了 20% 以上，与同等 RDIMM 相比，效率提升了三分之二以上。这可带来显著的规模化节省，尤其是在全机架 AI 服务器部署中，这类服务器可能使用超过 40 TB 的低功耗 DRAM。该模块的物理尺寸仅为同类 RDIMM 的三分之一，使数据中心能够提高内存密度，同时最大限度地减少系统占用空间。
美光科技与 NVIDIA 合作
美光科技与 NVIDIA 在过去五年的合作，在开发用于数据中心的 SOCAMM 规格方面发挥了关键作用。SOCAMM 最初基于移动内存架构，之后不断发展，以满足服务器环境的耐用性、带宽和散热需求。SOCAMM2 通过堆叠创新和模块化结构扩展了这一愿景，从而支持更便捷的可维护性和未来的可扩展性。
该公司还为 JEDEC 的 SOCAMM2 标准的制定做出了贡献，并与行业合作伙伴合作推动整个 AI 数据中心生态系统的采用。
可用性
SOCAMM2 模块目前已开始提供高达 192GB 的配置和高达 9.6 Gbps 的数据速率样品，并计划根据客户部署时间表进行批量生产。
Amazon