델 테크놀로지스는 엔비디아의 AI 생태계와 연동되는 데이터 및 스토리지 기술 세트인 델 AI 데이터 플랫폼을 출시했습니다. 이 플랫폼은 기업이 AI 파일럿 단계에서 대규모 에이전트 시스템으로 전환하는 데 도움을 주기 위해 설계되었습니다. 델 AI 데이터 플랫폼은 기업 AI에서 흔히 발생하는 제약, 즉 고부가가치 AI 워크로드를 지원하기에는 데이터 속도가 너무 느리거나, 데이터 사일로화되어 있거나, 데이터 관리가 제대로 되어 있지 않은 문제를 해결하도록 설계되었습니다.
조직들이 AI 에이전트와 장기적인 컨텍스트 워크플로우를 실제로 구현하려고 할 때, 제한 요소는 모델 선택이 아니라 파편화된 시스템 전반에 걸쳐 데이터에 접근하고, 구조화하고, 관리하는 능력이라는 것을 종종 발견합니다. 델은 NVIDIA와 협력하여 델 AI 팩토리 의 일부로 AI 데이터 플랫폼을 제공하며, 데이터 엔진, GPU 가속 처리, 그리고 대용량 스토리지를 결합한 스택을 제공합니다.
델은 자체 벤치마크 결과를 인용하여 NVIDIA GPU와 데이터 계층에 통합된 CUDA-X 라이브러리를 통해 가속된 성능을 바탕으로 "기존 컴퓨팅 방식" 대비 벡터 인덱싱은 최대 12배, 데이터 처리는 최대 3배, 첫 번째 토큰 생성 시간은 최대 19배 빠르다고 밝혔습니다.
델 데이터 엔진으로 AI 데이터 라이프사이클 자동화
델 AI 데이터 플랫폼의 핵심은 NVIDIA AI 인프라로 가속화되는 델 데이터 엔진 세트로, 기업 제어 기능을 유지하면서 AI 데이터 수명 주기를 자동화하고 데이터 준비 시간을 단축합니다.
델 데이터 오케스트레이션 엔진은 델이 데이터루프를 인수하면서 확보한 기술을 기반으로 데이터 수집부터 AI 학습에 적합한 데이터셋 생성까지 전 과정을 관리하도록 설계되었습니다. 이 엔진은 정형, 비정형 및 멀티모달 데이터 소스를 자동으로 검색하고, 레이블을 지정하고, 데이터를 보강하고, 학습 및 추론에 적합한 관리형 데이터셋으로 변환합니다. 델 데이터 오케스트레이션 엔진은 자동화된 파이프라인과 능동적 학습, 그리고 사람의 검토 과정을 결합하여 데이터 거버넌스를 유지하면서 데이터셋 품질과 모델 정확도를 지속적으로 향상시킵니다.
배포 속도를 높이기 위해 데이터 오케스트레이션 엔진에는 NVIDIA NIM 마이크로서비스, NVIDIA AI 블루프린트, 그리고 200개 이상의 추가 모델, 애플리케이션 및 템플릿을 통합한 사전 구축된 데이터 워크플로우를 제공하는 마켓플레이스가 포함되어 있습니다. 이러한 마켓플레이스 방식의 접근법은 일반적인 엔터프라이즈 AI 패턴에 재사용 가능한 구성 요소를 제공하여 가치 실현 시간을 단축하도록 설계되었습니다.
NVIDIA AI Blueprints, NIM 및 Nemotron과의 통합
델 AI 데이터 플랫폼은 기업 데이터 전반에 걸쳐 실행 가능한 인사이트를 제공하는 AI 에이전트 구축을 위한 NVIDIA의 AI-Q 청사진에 맞춰 설계되었습니다. 델은 NVIDIA 가속 데이터 엔진을 통합하여 정형 및 비정형 소스 전반에 걸쳐 효율적인 데이터 준비, 검색 및 추론을 지원하며, 특히 검색 강화 생성 및 에이전트 기반 워크플로에 중점을 둡니다.
기업은 다음을 포함한 NVIDIA 콘텐츠 라이브러리에 액세스할 수 있습니다.
- 일반적인 에이전트 및 애플리케이션 패턴을 위한 사전 구축된 NVIDIA AI 블루프린트
- NVIDIA NIM 마이크로서비스를 이용한 모델 배포 및 추론
- Hugging Face의 Dell Enterprise Hub를 통해 제공되는 NVIDIA Nemotron 3 Super 모델
이 통합을 통해 고객은 지원되는 구성으로 Dell의 데이터 계층 및 스토리지 스택을 NVIDIA의 모델, 추론 및 마이크로서비스 에코시스템과 결합할 수 있습니다.
NVIDIA STX, Vera Rubin NVL72 및 Spectrum-X 지원
델은 또한 NVIDIA의 STX 모듈형 레퍼런스 디자인에 맞춰 인프라 포트폴리오를 구축하고 있습니다. 델은 NVIDIA Vera Rubin NVL72, NVIDIA BlueField-4 DPU, 그리고 NVIDIA Spectrum-X 이더넷 네트워킹을 기반으로 하는 NVIDIA STX를 지원할 계획입니다. 이는 GPU, DPU, 고성능 네트워킹을 델의 스토리지 및 데이터 소프트웨어와 긴밀하게 결합하여 AI 데이터 관리 및 처리를 위한 모듈식의 확장 가능한 플랫폼을 제공하기 위한 것입니다.
이 STX 기반 접근 방식은 성능 격리 및 예측 가능한 처리량을 유지하면서 학습, 미세 조정 및 실시간 추론을 위해 대용량 데이터를 관리, 처리 및 검색해야 하는 환경을 대상으로 합니다.
SQL 분석을 위한 AI 도우미
델은 델 데이터 분석 엔진 내에 SQL 분석에 대한 대화형 인터페이스를 제공하는 AI 어시스턴트를 도입했습니다. 이 어시스턴트를 통해 비즈니스 및 기술 사용자는 다음과 같은 작업을 수행할 수 있습니다.
- 자연어를 사용하여 구조화된 데이터를 쿼리하고, 원시 SQL 대신 자연어를 활용합니다.
- 분석 및 협업을 위해 쿼리 결과를 시각화합니다.
- 기존 거버넌스 경계를 준수하면서 SQL 전문가가 아닌 사용자에게도 데이터 접근 권한을 확대합니다.
고품질의 정형화된 데이터가 필요한 AI 에이전트를 배포하는 조직을 위해, 이 SQL 중심의 지원 도구는 전문적인 데이터 엔지니어링 기술에 대한 의존도를 줄이고 의사 결정 주기를 단축하도록 설계되었습니다.
NVIDIA RTX PRO Blackwell 및 데이터 계층의 CUDA-X
델 AI 데이터 플랫폼의 핵심 설계 특징은 NVIDIA GPU를 데이터 계층에 직접 통합하는 것입니다. 델은 NVIDIA RTX PRO Blackwell 서버 에디션 GPU를 통합하여 데이터가 있는 곳과 가까운 곳에서 데이터 처리를 가속화하고 있습니다.
구조화된 데이터에 대한 컬럼형 연산을 위한 cuDF와 벡터 인덱싱을 위한 cuVS와 같은 NVIDIA CUDA-X 라이브러리는 Dell의 데이터 엔진과 함께 실행되어 데이터 워크로드를 오프로드하고 병렬화합니다. Dell은 기존의 CPU 중심 방식과 비교하여 SQL 쿼리에서 최대 3배, 벡터 인덱싱에서 최대 12배의 성능 향상을 보고했습니다.
델은 데이터 경로에 GPU 가속을 통합함으로써, 생산 규모 AI 환경에서 흔히 발생하는 병목 현상인 GPU 사용량에 맞춰 준비되고 인덱싱된 데이터를 하위 AI 학습 및 추론 파이프라인에 지속적으로 공급하는 것을 목표로 합니다.
스토리지: GPU 활용률을 대규모로 유지하기
AI 워크로드가 실험 단계를 넘어 발전함에 따라 스토리지 대역폭과 지연 시간이 주요 제약 요소가 되어 고가의 GPU가 유휴 상태로 남게 되는 경우가 많습니다. 델은 이러한 문제에 대응하여 용량 및 노드 수가 증가하더라도 고성능을 유지하도록 설계된 AI 최적화 스토리지 엔진을 출시했습니다.
델 라이트닝 파일 시스템
델 라이트닝 파일 시스템(Dell Lightning File System)은 AI 학습 및 추론 워크로드에 최적화된 고성능 병렬 파일 시스템입니다. 델은 랙 유닛당 최대 150GB/s의 속도를 제공하며, 기존 플래시 전용 파일 시스템 및 병렬 파일 시스템 대비 성능 우위를 자랑합니다.
Lightning은 컴퓨팅 노드에서 스토리지로 직접 고대역폭 액세스를 가능하게 하는 패브릭 기반 아키텍처를 사용하여 대규모 환경에서도 GPU 활용률을 유지하는 것을 목표로 합니다. 이 시스템은 NVIDIA 기반 AI 인프라와 통합되며, 지속적인 처리량이 중요한 GPU 밀집형 학습 클러스터에 적합합니다.
델 엑사스케일 스토리지
Dell Exascale Storage는 AI 및 고성능 컴퓨팅을 위한 3-in-1 스토리지 시스템으로, Dell PowerEdge 서버에서 동시 파일, 객체 및 병렬 파일 스토리지를 지원합니다. 단일 하드웨어 플랫폼에서 기업은 다음을 배포할 수 있습니다.
- 확장형 파일 시스템을 위한 Dell PowerScale
- Dell ObjectScale은 S3 호환 객체 스토리지를 지원합니다.
- 고성능 병렬 파일 시스템을 위한 Dell Lightning 파일 시스템
이 통합 솔루션은 고빈도 거래 및 "네오클라우드"와 같이 다양한 프로토콜과 극한의 처리량 요구 사항이 공존하는 까다로운 AI 및 HPC 워크로드를 대상으로 합니다. 엑사스케일 스토리지는 NVIDIA CX-8 및 CX-9 SuperNIC와 최대 800GbE 네트워크 링크를 지원하며, Dell은 매우 큰 데이터 세트를 신속하게 처리해야 하는 AI 워크로드에 대해 랙당 최대 6TB/s의 성능을 제공한다고 밝혔습니다.
NVIDIA CMX 및 Dell 스토리지를 사용한 KV 캐시 오프로드
델과 엔비디아는 장기 컨텍스트 및 에이전트 기반 AI 워크로드를 지원하기 위해 KV 캐시의 GPU 메모리 오프로드를 공유 스토리지로 구현하고 있습니다. 엔비디아 CMX 메모리-스토리지 기술과 추론 가속 기능을 활용하는 KV 캐시는 PowerScale, ObjectScale 및 Lightning 파일 시스템을 포함한 델 CMX 스토리지 및 고속 네트워크에 배포할 수 있습니다.
KV 캐시를 제한된 GPU 메모리에서 고성능 공유 스토리지로 이전함으로써 기업은 다음과 같은 이점을 얻을 수 있습니다.
- 대규모 언어 모델에서 유효 컨텍스트 길이를 늘리세요
- 장기간 지속되는 에이전트 상호작용의 연속성을 유지합니다.
- VRAM을 캐시가 아닌 연산에 활용하여 GPU 사용률을 향상시키세요.
이는 특히 방대한 과거 데이터를 참조해야 하거나 GPU 메모리를 고갈시키지 않고 장시간 상태 유지 대화를 지속해야 하는 AI 에이전트에게 중요합니다.
대용량 파일 성능을 위한 PowerScale pNFS
Dell PowerScale 의 소프트웨어 기반 병렬 네트워크 파일 시스템(pNFS) 아키텍처는 AI 환경에서 대용량 파일 처리량에 최적화되어 있습니다. Dell은 NESv3.12 대비 대용량 파일 처리 속도가 최대 6배 빠르다고 밝혔습니다.
pNFS는 파일 접근을 노드 전체에 분산시켜 높은 대역폭을 유지하고 핫스팟을 줄여 GPU 워크로드로의 데이터 흐름을 원활하게 합니다. 목표는 특히 대용량 체크포인트 파일과 데이터셋을 사용하는 학습 시나리오에서 I/O 병목 현상을 최소화하고 GPU 유휴 시간을 줄이는 것입니다.
NVIDIA와 함께하는 델 AI 팩토리: 규모 확장 및 투자 수익률
델은 NVIDIA와 함께 델 AI 팩토리를 출시한 지 2주년을 기념하여 AI 데이터 플랫폼 및 스토리지 기능을 강화했습니다. 델에 따르면 4,000개 이상의 고객사가 AI 팩토리 스택을 도입했으며, 초기 도입 고객들은 첫 해에 최대 2.6배의 투자 수익률(ROI)을 달성했다고 보고했습니다.
델 AI 팩토리 포트폴리오는 AI를 소규모 파일럿 단계에서 대규모 프로덕션 단계로 전환하는 데 필요한 인프라, 소프트웨어, 솔루션 및 서비스를 포괄합니다. 여기에 소개된 AI 데이터 플랫폼, 데이터 엔진 및 스토리지 스택은 이러한 여정에서 데이터 액세스 및 성능 측면을 해결하기 위해 설계되었으며, 이는 많은 환경에서 GPU 클러스터나 모델을 구축하는 것보다 더 어려운 과제로 여겨져 왔습니다.
NVIDIA와 함께하는 Dell AI 데이터 플랫폼은 수명 주기 자동화, GPU 가속 데이터 처리 및 고처리량 스토리지를 결합한 통합 데이터 중심 아키텍처를 제공하여 AI 에이전트와 모델을 최대한 활용할 수 있도록 설계되었습니다.
아마존