存储评论网

Lightbits Inferra KV 缓存引擎声称会话密度提升 16 倍,并支持 10 万个令牌上下文

AI  ◇  企业版

发明了基于 TCP 的 NVMe 技术的 Lightbits Labs 公司,正携其 KV 缓存编排引擎 Inferra 进军推理软件领域。该引擎将于明日(9 月 15 日)在圣克拉拉举行的 AI 基础设施峰会上首次公开亮相。Inferra 能够将 GPU 内存虚拟化到 DRAM 和 NVMe 存储层,并将 KV 缓存转化为持久数据层,从而避免长上下文和多会话工作负载的注意力状态需要加载到 HBM 中,或在缓存溢出时重新计算。Lightbits 声称,在现有 GPU 上,Inferra 可实现高达 16 倍的并发推理会话数,通过预取注意力状态而非重新计算,延迟降低超过 100 倍,上下文窗口容量高达 1000 万个 token。该公司还表示,该引擎已在包括 OVH 在内的客户测试项目中运行。

Lightbits Inferra架构图,其中KV缓存引擎位于GPU HBM、DRAM和存储层之间,图中展示了预取、压缩、量化、调度、加密传输和租户隔离功能。

预取而非重新计算

Inferra 旨在解决的瓶颈问题,正是我们在将KV 缓存卸载到闪存部分讨论过的:随着上下文长度的增长和会话数量的增加,KV 缓存会超出 GPU 内存容量,此时服务堆栈要么会将其驱逐并稍后重新计算预填充,要么会限制 GPU 可以容纳的会话数量。这两种方法都会消耗 GPU 周期来处理已经完成的工作。Inferra 则在内存和存储层级上保持缓存的有效性,并通过预测性预取器在模型需要之前将注意力状态拉回 GPU。Lightbits 表示,这种方法可以显著降低首次令牌获取时间 (TTFT) 和每次输出令牌获取时间 (TPOT),其引用的 100 倍改进指的是与从头开始重新计算这些状态相比的延迟提升。

Lightbits Inferra 框图展示了其智能预取器、分层管理器、日志结构键值存储以及 LLM 服务框架(vLLM、TensorRT、SGLang)与标准 NVMe SSD 池之间的安全和隔离引擎。

Lightbits 的框图清晰地展示了其架构的四个组成部分:智能预取器、分层管理器、日志结构化的键值存储以及位于上方服务框架和下方标准 NVMe SSD 池之间的安全和隔离引擎。该公司列出了 vLLM、TensorRT 和 SGLang 作为支持的服务框架,并表示该引擎与 GPU 和 SSD 无关。日志结构化的存储使得闪存层能够胜任不断变化的缓存任务,因为它按顺序追加更新,并避免对驱动器进行小的随机写入。我们在Solidigm D7-PS1030 的评测中考察了 3 DWPD 的闪存驱动器在这种场景下的表现。在多租户方面,Lightbits 描述了其在共享推理基础架构中实现的安全租户隔离和智能缓存管理,以及层之间的加密传输,这使得新云能够将一个键值池以一致的 SLA 提供给多个客户。

Lightbits Labs 联合创始人兼董事长 Avigdor Willenz 将此次发布定义为对传统训练流水线存储方式的突破。他表示,推理“完全是另一种范式”,“改造传统的训练和存储系统来解决键值缓存瓶颈根本行不通。它原本是为另一个时代设计的。我们从零开始专门设计了 Inferra,旨在解决 GPU 效率问题,并且已经在客户的测试项目中证明了其成功。”

OVH、Solidigm 和 219 号展位演示

OVH是此次测试的指定客户。OVH首席产品和技术官Yaniv Fdida表示:“借助Inferra的智能KV缓存分层技术,我们实现了GPU利用率的显著提升,从而为客户的AI代理和RAG工作负载提供了更具可扩展性和成本效益的基础架构。” Solidigm在其AI中央实验室的D7-PS1010硬盘上运行了该引擎。该公司负责生态系统、解决方案和市场赋能的副总裁Avi Shetty表示,测试结果“展示了网络附加存储(NAS)如何通过智能软件层虚拟化突破大型上下文智能AI的内存瓶颈”。将网络附加NVMe池与软件层相结合正是Lightbits的强项;其LightOS块存储自2019年以来就基于NVMe/TCP构建。

Lightbits人工智能产品与业务高级副总裁Ramesh Chettuvetty称Inferra是“全球首款KV缓存加速引擎,可在通用硬件上消除GPU闲置,并节省高达10万个令牌的上下文窗口”,并表示它“可立即收回成本,从第一天起就能实现净收益”。这些都是厂商在未经任何独立测试的情况下做出的声明,此次发布并未公布定价、包装或正式上市日期;该引擎目前处于客户测试阶段。Lightbits在峰会期间于219号展位现场演示了会话密度和延迟结果,并发布了一个Pod效率分析器,供希望在预订集群之前模拟GPU节省情况的团队使用。

Lightbits 的 Inferra

参与 StorageReview

电子报| YouTube | 播客iTunes / Spotify | Instagram | Twitter | TikTok | RSS订阅

哈罗德弗里茨

自 IBM 创建 Selectric 以来,我一直在科技行业工作。 不过,我的背景是写作。 因此,我决定退出售前业务,回归本源,从事一些写作工作,但仍从事技术工作。