PEAK:AIO 토큰 메모리 플랫폼은 KVCache 재사용과 CXL을 사용하여 더 빠른 추론, 더 큰 컨텍스트 창, AI 지원 메모리 확장을 제공합니다.
PEAK:AIO는 KVCache 가속과 GPU 메모리 확장을 통합하도록 설계된 혁신적인 솔루션을 출시하여 대규모 AI 워크로드의 요구를 충족합니다. 이 새로운 플랫폼은 AI 애플리케이션이 정적 프롬프트를 넘어 동적 컨텍스트 스트림과 장기 실행 에이전트로 전환됨에 따라 추론, 에이전트 시스템 및 모델 생성의 요구를 충족합니다. AI 워크로드 복잡성의 변화는 인프라의 발전을 요구하며, 피크:AIO의 최신 제품은 이런 과제를 정면으로 해결하도록 설계되었습니다.
PEAK:AIO의 공동 창립자이자 최고 AI 전략가인 에얄 렘버거(Eyal Lemberger)는 토큰 이력을 기존 스토리지가 아닌 메모리로 처리해야 할 중요한 필요성을 강조합니다. 그는 최신 AI 모델이 인스턴스당 500GB 이상의 메모리를 필요로 할 수 있으며, 메모리 확장은 컴퓨팅 기술의 발전에 발맞춰야 한다고 강조합니다. 렘버거는 트랜스포머 모델이 성장하고 더욱 복잡해짐에 따라 스토리지 스택을 개량하거나 NVMe를 과도하게 확장하는 것과 같은 기존 접근 방식으로는 더 이상 충분하지 않다고 지적합니다. PEAK:AIO의 새로운 1U 토큰 메모리 플랫폼은 파일 스토리지가 아닌 메모리 중심 운영을 위해 특별히 설계되었으며, 기존 아키텍처와는 크게 차별화됩니다.
확장 가능한 AI를 위한 토큰 중심 아키텍처
PEAK:AIO 플랫폼은 CXL 메모리, Gen5 NVMe, GPUDirect RDMA를 활용하여 토큰 중심 아키텍처를 구현한 최초의 플랫폼으로, 150마이크로초 미만의 지연 시간으로 최대 5GB/초의 지속적 처리량을 제공합니다.
이 플랫폼은 세션, 모델 및 노드 전반에 걸쳐 KVCache 재사용을 지원하여 메모리 활용 효율을 높이고 컨텍스트 전환 속도를 높입니다. 또한, 더 긴 LLM 히스토리를 유지하고 더욱 복잡한 AI 상호작용을 지원하는 데 필수적인 컨텍스트 윈도우 확장을 지원합니다. 진정한 CXL 계층화를 통해 GPU 메모리 부하를 분산함으로써 대규모 AI 배포에서 흔히 발생하는 병목 현상인 GPU 메모리 포화를 완화합니다. NVMe-oF 기반 RDMA를 사용하여 초저지연 액세스가 가능하므로 토큰 메모리를 메모리급 속도로 사용할 수 있습니다.
기존 NVMe 기반 스토리지 솔루션과 달리 PEAK:AIO의 아키텍처는 진정한 메모리 인프라로 작동하도록 설계되었습니다. 이를 통해 팀은 토큰 기록, 어텐션 맵, 스트리밍 데이터를 파일로 처리하는 대신 RAM 수준의 속도와 효율성으로 캐싱할 수 있습니다. 이 플랫폼은 NVIDIA의 KVCache 재사용 및 메모리 회수 모델과 완벽하게 호환되어 TensorRT-LLM 또는 Triton을 사용하는 팀에 원활한 통합을 제공합니다. 이러한 플러그인 호환성은 추론 속도를 높이고 통합 오버헤드를 줄여 상당한 성능 향상을 제공합니다.
렘버거는 다른 공급업체들이 파일 시스템을 메모리처럼 동작하도록 조정하려는 반면, PEAK:AIO는 본질적으로 메모리처럼 작동하는 인프라를 개발했다고 강조합니다. 이러한 특징은 파일 스토리지뿐만 아니라 모든 토큰에 대한 메모리 수준의 빠른 접근을 최우선으로 하는 현대 AI에 매우 중요합니다.
PEAK:AIO의 공동 창립자이자 최고 전략 책임자인 마크 클라진스키는 CXL 기술을 핵심 차별화 요소로 강조합니다. 그는 이 플랫폼을 NVMe 장치를 적층하는 경쟁사와 달리 AI를 위한 진정한 메모리 패브릭이라고 설명합니다. 클라진스키는 이러한 혁신이 진정한 메모리 성능을 대규모로 제공하고 차세대 AI 워크로드를 지원하는 데 필수적이라고 강조합니다.
이 솔루션은 완전히 소프트웨어 정의되어 있으며 기성 서버에서 실행되므로 다양한 엔터프라이즈 및 클라우드 환경에서 접근 및 확장이 가능합니다. PEAK:AIO는 이 플랫폼이 3분기에 정식 출시될 것으로 예상하며, AI 인프라의 미래를 보장하고자 하는 기술 영업, 엔지니어링 팀, 그리고 임원진에게 혁신적인 기술로 자리매김할 것이라고 밝혔습니다.
StorageReview에 참여
뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 틱톡 서비스 | RSS 피드
