DeepInfraはトロントに新たなAIデータセンターを開設した。これは同社にとって米国以外での初の展開であり、全体では9番目の施設となる。7月8日に発表されたこの施設は、AIモデルのトレーニングから本番環境における推論ワークロードへの需要のシフトに対応するため、DeepInfraのグローバルな推論インフラストラクチャを拡張するものである。
トロントの施設は1.7MWの容量を備え、1,000基以上のNVIDIA Blackwell B300 GPUを搭載する予定です。稼働開始後、このクラスターはDeepInfraのグローバルな推論能力を向上させると同時に、カナダをはじめとする海外市場の顧客に対するレイテンシを低減します。
この拡大は、より広範な業界動向を反映している。企業が生成型AIアプリケーションを実運用に移行するにつれ、インフラストラクチャの需要はトレーニングよりも推論にますます集中するようになっている。大規模な言語モデルの推論には、インタラクティブなアプリケーション、AIエージェント、および大量のAPIサービスをサポートするために、持続的なGPU可用性、低遅延ネットワーク、および地理的に分散されたインフラストラクチャが必要となる。発表で引用されたマッキンゼー・アンド・カンパニーの調査によると、推論は2030年までにデータセンター需要全体の40%以上を占め、年平均35%の成長率で拡大すると予測されている。
DeepInfraは、トロントへの展開は、GPUリソースをユーザーとデータに近づけ、プラットフォーム全体の容量を増やすことで、これらの要件に対応するように設計されていると述べた。同社はGPUインフラストラクチャを所有・運用し、200以上のオープンソースモデルをサポートしており、オープンソースおよび独自開発のAIモデルの両方に対応するマネージド推論プラットフォーム全体で、週に約5兆トークンを処理していると述べている。
今回の導入は、推論インフラストラクチャにおけるNVIDIAのBlackwellアーキテクチャの採用拡大を浮き彫りにしている。Blackwell GPUは、従来のHopperベースのシステムと比較して、大規模な言語モデルやマルチモーダルAIワークロードにおける推論スループットとエネルギー効率を向上させるように設計されている。DeepInfraはネットワークやストレージアーキテクチャなどのインフラストラクチャの詳細を明らかにしていないが、この規模の導入では通常、GPUを最大限に活用するために、高帯域幅の相互接続と分散ストレージが用いられる。
CEO兼共同創設者のニコラ・ボリソフ氏によると、企業向けAIは実験段階から実運用段階へと移行しており、低遅延でスケーラブルな推論能力を提供するグローバル分散型インフラストラクチャの必要性が高まっているという。同氏は、トロントのクラスターは同社にとって米国以外への初の事業拡大であり、コンピューティングリソースを顧客とそのデータにより近い場所に配置するものだと述べた。
トロントへのデータセンター開設は、DeepInfraが最近実施したシリーズB資金調達に続くものであり、同社の広範なインフラ拡張戦略の一環です。同社は、GPUベースの推論サービスに対する需要が引き続き増加していることから、海外へのデータセンター開設も検討中であると述べています。
Amazon