存储评论网

专用的 Smartbird AI 集群集成了 WEKA NeuralMesh,用于托管企业级 AI

企业版  ◇  企业存储

Smartbird 和 WEKA 宣布建立合作伙伴关系,将WEKA NeuralMesh集成到 Smartbird 的专用 AI 集群中,并以托管服务的形式面向企业级 AI 工作负载提供服务。Smartbird 为单个客户的工作负载设计、构建和运营每个集群,集群可部署在客户本地或专用托管机房。两家公司表示,这种设计理念是“自主控制”,客户数据始终处于客户可控的环境中,并且从一开始就可直接投入生产使用。该协议是 Smartbird 计划建立的基础设施合作伙伴关系网络中的首个项目。

Smartbird 与 WEKA 合作的图形,两个品牌的标志位于蓝色数据波之上。

Smartbird的前身是Allbirds公司。Allbirds出售了其鞋履品牌和资产,并于6月更名为Smartbird, Inc.,继续在纳斯达克上市,股票代码仍为BIRD。公司任命曾任GPU计算提供商DCAI首席执行官的Nadia Carlsten博士为总裁兼首席执行官。更名时,Smartbird的首批集群仍在设计中,其位于美国和欧洲的数据中心也在建设中。因此,此次与WEKA的合作让我们得以一窥Smartbird未来将采用的技术栈。

数据吞吐量和推断声明

NeuralMesh 提供数据和内存层。两家公司表示,GPU 可以持续不断地接收数据,吞吐量可达每秒数百 GB,但并未透露该数据背后的硬件配置、软件版本或测试条件。对于推理和持续运行的智能体应用,两家公司表示,该组合平台可以扩展 GPU 内存容量、缩短首次令牌生成时间并减少重复计算,从而降低令牌成本。

WEKA Observe 集群概览仪表板显示了四个 NeuralMesh 集群的容量、吞吐量、IOPS 和延迟面板。

WEKA针对NeuralMesh中这三个问题的解决方案是增强内存网格(Augmented Memory Grid),这是一个KV缓存层,它将GPU内存扩展到NeuralMesh存储中。WEKA声称,增强内存网格可以将GPU内存容量提升高达1000倍,首令牌生成速度提升高达20倍,并且在相同的GPU上可以支持10倍以上的并发用户,这些数据均来自生产环境基准测试。以上是WEKA针对NeuralMesh的总体数据;Smartbird的公告并未说明集群使用了哪些NeuralMesh组件,也没有提供任何关于GPU利用率、功耗或单令牌成本的实测结果。

Smartbird总裁兼首席执行官Nadia Carlsten博士表示:“企业不希望从零开始搭建人工智能基础设施。他们需要的是一套完整、高效且由经验丰富的团队运营的解决方案。Smartbird的每个人工智能集群都根据客户的具体需求量身定制,无论客户是银行、医院、制造商还是政府机构。通过集成WEKA NeuralMesh,Smartbird为客户提供了一个经过验证、可大规模运行的数据和内存层。”

“智能体人工智能容错率极低:闲置的GPU和停滞的流水线会直接影响损益表。企业一直被告知,解决方案是在性能和​​自主性之间做出权衡,但这始终是基础设施的缺陷,而非物理定律所致,”WEKA联合创始人兼首席执行官Liran Zvibel表示。“WEKA NeuralMesh打破了这种权衡。Smartbird则以专用集群的形式交付,客户无需自行构建或运营。我们携手为受监管行业提供全速运行的生产级人工智能,这些人工智能运行在客户专属的基础设施上,并且每个GPU、每瓦特和每美元的产出都更高。”

专用基础设施和托管运营

Smartbird 提供全栈式服务,涵盖设施、计算、网络、数据基础设施和数据编排,因此客户只需对接一个合作伙伴,无需整合多个供应商或跟踪多个硬件发布周期。每个集群都与客户一对一对应,两家公司表示,这种完全专用的部署方式能够提供政府、医疗保健和金融服务等行业所需的隔离性、加密性和可审计性。两家公司尚未透露部署地点、加密实施方案或合规性认证信息。

尽管两家公司都声称该平台从一开始就可用于生产环境,但目前尚无正式发布日期,也没有公布客户名单,而且截至6月份更名时,Smartbird的网站仍在开发中。NeuralMesh本身才是这对产品组合中已正式发布的产品:WEKA于3月份将其正式发布,并在7月份将其升级到多租户的NeuralMesh 6,同时还达成了一项协议,将其纳入Andromeda旗下50多家GPU供应商的平台。

WEKA 神经网格

Smartbird

参与 StorageReview

电子报| YouTube | 播客iTunes / Spotify | Instagram | Twitter | TikTok | RSS订阅

哈罗德弗里茨

自 IBM 创建 Selectric 以来,我一直在科技行业工作。 不过,我的背景是写作。 因此,我决定退出售前业务,回归本源,从事一些写作工作,但仍从事技术工作。