Dell Technologies는 CoreWeave와 긴밀히 협력하여 업계 최초의 NVIDIA GB300 NVL72 시스템 출하를 발표했습니다. 이번 성과는 Dell이 이전에 NVIDIA GB200을 공급한 최초의 공급업체라는 업적에 이은 것으로, AI 인프라 분야에서 Dell의 리더십을 더욱 공고히 하게 되었습니다. 선도적인 AI 클라우드 서비스 제공업체(CSP)인 CoreWeave는 가장 까다로운 엔터프라이즈 워크로드를 위해 설계된 수랭식 랙 스케일 AI 시스템인 NVIDIA GB300 NVL72를 도입한 최초의 하이퍼스케일러가 되었습니다.
이번 성과는 Dell, CoreWeave, NVIDIA 간의 강력한 파트너십의 결과이며, NVIDIA와 함께하는 Dell AI Factory 의 성공적인 운영을 기반으로 합니다 . Dell AI Factory는 현대 기업의 변화하는 요구에 맞춰 포괄적이고 안전한 AI 솔루션을 제공하여 기업이 AI 이니셔티브를 자신 있게 가속화할 수 있도록 지원합니다.
CoreWeave를 통한 기업 잠재력 극대화
CoreWeave가 NVIDIA GB300 NVL72를 탑재한 Dell 통합 랙을 구축함으로써 클라우드 기반 AI 서비스의 확장성과 성능이 크게 향상되었습니다. 이 솔루션은 PowerEdge XE9712 서버 기반의 액체 냉각 방식 Dell 통합 랙 확장형 시스템을 활용합니다. 각 랙에는 72개의 NVIDIA Blackwell Ultra GPU와 36개의 Arm 기반 NVIDIA Grace CPU가 탑재되어 차세대 AI 워크로드를 위한 강력한 기반을 제공합니다.
이 시스템의 핵심인 NVIDIA Blackwell Ultra GPU는 이전 세대보다 1.5배 더 높은 AI 컴퓨팅 FLOPS를 제공하여 복잡한 모델을 더욱 빠르고 효율적으로 처리할 수 있도록 합니다. 또한, 이 시스템은 확장된 HBM3e 메모리를 탑재하여 랙당 최대 21TB의 고대역폭 GPU 메모리를 제공하며, 이는 이전 세대 GB1.5 NVL200보다 72배 더 많은 용량입니다. 이처럼 메모리 용량이 크게 증가함에 따라 더 큰 배치 크기와 더 복잡한 모델 처리가 가능해져 AI 추론 및 추론 작업의 처리량 극대화에 필수적입니다.
130세대 NVIDIA NVLink 기술은 XNUMXTB/s의 놀라운 총 대역폭을 제공하여 시스템의 모든 GPU 간에 끊김 없는 고속 통신을 보장합니다. 이러한 수준의 상호 연결성은 AI 모델, 특히 대규모로 운영되는 AI 모델에서 최고의 성능을 달성하는 데 필수적입니다.
차세대 InfiniBand 기술을 통해 네트워킹 성능이 더욱 향상되었습니다. NVIDIA Quantum-X800 InfiniBand 스위치 와 NVIDIA ConnectX-8 SuperNIC는 각 GPU에 초당 800기가비트(Gb/s)의 전용 연결을 제공합니다. 이러한 아키텍처는 최고 수준의 원격 직접 메모리 액세스(RDMA)를 보장하여 대규모 AI 워크로드의 효율성을 극대화합니다.
보안 및 멀티 테넌시는 NVIDIA BlueField-3 DPU에서 실행되는 NVIDIA DOCA 소프트웨어 프레임워크를 통해 해결됩니다. 이러한 조합은 최대 200Gb/s의 라인 속도 테넌트 네트워킹과 고성능 GPU 데이터 액세스를 제공하여 AI 워크로드를 가속화하고 안전한 멀티 테넌트 클라우드 환경을 지원합니다.
프론티어 규모 AI를 위해 설계됨
Dell 통합 랙 솔루션은 신속한 구축과 운영 환경의 원활한 통합을 위해 설계되었습니다. Dell에 따르면, 이 시스템은 이전 세대 NVIDIA Hopper 대비 사용자 응답 시간을 최대 10배 향상시키고 와트당 처리량을 5배 증가시킬 수 있습니다.
CoreWeave는 이 시스템이 프런티어 스케일 AI를 위해 특별히 설계되었으며, 사용자가 수조 개의 매개변수를 가진 모델을 학습, 최적화 및 배포할 수 있도록 지원한다고 강조합니다. 이 시스템은 테스트 시간 동안 확장 추론에 필요한 높은 연산 부하를 처리할 수 있도록 특별히 설계되었으며, 이는 프로덕션 환경에서 고급 AI 모델을 배포하는 데 필수적인 요건입니다.
이번 구축은 CoreWeave의 AI 클라우드 플랫폼을 크게 향상시켜 대규모 언어 모델의 학습, 추론 및 실시간 추론을 간소화합니다. 이 시스템의 아키텍처는 NVIDIA NVLink 스위치 트레이를 통한 빠른 GPU 간 통신을 지원하고, 40엑사플롭 이상의 고밀도 AI 성능을 제공하며, 단일 랙에 최대 XNUMXTB의 고속 메모리를 제공합니다.
성능 및 확장성에 대한 약속
CoreWeave는 효율성, 확장성, 그리고 업계 최고의 성능에 대한 자사의 헌신을 강조하며 NVIDIA GB300 가속 Dell 서버를 연중 출시할 계획입니다. 이 이니셔티브는 데이터 센터 설계 및 통합에 대한 심층적인 전문 지식을 제공하는 Dell의 AI 전문 서비스의 전폭적인 지원을 통해 고객이 최적의 성능을 달성하고 차세대 AI 인프라로 원활하게 전환할 수 있도록 보장합니다.
아마존