DeepInfra在多伦多开设了一个新的AI数据中心，这是该公司首次在美国以外地区部署数据中心，也是其第九个数据中心。该数据中心于7月8日宣布成立，旨在扩展DeepInfra的全球推理基础设施，以满足从AI模型训练向生产推理工作负载转变的需求。
位于多伦多的这座数据中心提供 1.7 兆瓦的容量，并将搭载超过 1,000 个 NVIDIA Blackwell B300 GPU。一旦投入运营，该集群将提升 DeepInfra 的全球推理能力，同时降低加拿大及其他国际市场客户的延迟。
此次扩张反映了更广泛的行业趋势。随着企业将生成式人工智能应用投入生产，基础设施需求日益集中于推理而非训练。大型语言模型推理需要持续的GPU可用性、低延迟网络以及地理分布式基础设施，以支持交互式应用、人工智能代理和高容量API服务。公告中引用的麦肯锡公司研究预测，到2030年，推理将占数据中心总需求的40%以上，预计年复合增长率将达到35%。
DeepInfra表示，多伦多部署旨在通过将GPU资源更靠近用户和数据，同时提升平台整体容量，来满足这些需求。该公司拥有并运营其GPU基础设施，支持200多个开源模型，并表示其托管推理平台每周处理近5万亿个令牌，该平台同时服务于开源和专有AI模型。
此次部署也凸显了NVIDIA Blackwell架构在推理基础设施领域日益普及。与之前的基于Hopper的系统相比，Blackwell GPU旨在提升大型语言模型和多模态AI工作负载的推理吞吐量和能效。虽然DeepInfra并未透露更多基础设施细节，例如网络或存储架构，但如此大规模的部署通常依赖于高带宽互连和分布式存储，以确保GPU的充分利用。
据首席执行官兼联合创始人尼古拉·鲍里索夫 (Nikola Borisov) 称，企业人工智能已从实验阶段转向生产部署，这增加了对能够提供更低延迟和可扩展推理能力的全球分布式基础设施的需求。他表示，多伦多集群标志着该公司首次在美国以外地区扩张，并将计算资源更靠近客户及其数据。
此次在多伦多的部署是DeepInfra近期完成B轮融资后的又一举措，也是该公司更广泛的基础设施扩张战略的一部分。该公司表示，随着对基于GPU的推理服务的需求持续增长，他们正在考虑部署更多国际数据中心。
Amazon