KIOXIA는 AiSAQ(All-in-Storage ANNS with Product Quantization) 소프트웨어에 대한 주요 업데이트를 발표했습니다. 이 업데이트는 검색 증강 생성(RAG) 시스템 내 AI 벡터 데이터베이스 검색의 유용성과 유연성을 더욱 향상시킵니다. 이 최신 오픈소스 릴리스는 시스템 설계자가 검색 성능과 벡터 용량 간의 균형을 정밀하게 조정할 수 있도록 하는 새로운 구성 옵션을 제공합니다. 이 두 가지 요소는 현대 AI 인프라에서 SSD의 고정된 저장 용량으로 인해 본질적으로 상충되는 요소입니다.
RAG 시스템을 위한 유연한 성능 튜닝
이 AiSAQ 업데이트의 핵심은 관리자가 저장된 벡터 수와 달성 가능한 검색 성능(초당 쿼리 수) 간의 최적의 균형을 정의할 수 있도록 하는 것입니다. 실제로 SSD 용량이 고정되어 있을 때 검색 성능을 높이려면 벡터당 더 많은 스토리지를 할당해야 하므로 인덱싱할 수 있는 총 벡터 수가 감소합니다. 반대로, 벡터 수를 최대화하면 각 벡터가 사용하는 SSD 용량이 줄어들어 검색 속도에 영향을 미칠 수 있습니다. AiSAQ의 새로운 제어 기능을 통해 설계자는 하드웨어 변경이나 업그레이드 없이도 특정 워크로드 요구 사항에 맞게 이러한 균형을 세밀하게 조정할 수 있습니다.
이러한 유연성은 특히 RAG 시스템에서 특히 중요한데, 이는 워크로드의 특성이 높은 처리량, 낮은 지연 시간 검색과 대규모 벡터 스토리지 사이에서 빠르게 변화할 수 있기 때문입니다. 또한 이번 업데이트는 AiSAQ의 적용 범위를 확대하여, 오프라인 시맨틱 검색과 같이 성능과 용량 간의 균형이 중요한 다른 벡터 집약적 애플리케이션에도 매력적인 솔루션이 될 것입니다.
DRAM 병목 현상 제거
1월에 처음 출시된 KIOXIA AiSAQ는 SSD에 특별히 최적화된 새로운 근사 최근접 이웃 검색(ANNS) 알고리즘을 활용합니다. 인덱스 데이터 저장을 위해 DRAM에 크게 의존하는 기존 벡터 검색 솔루션과 달리, AiSAQ는 SSD에서 직접 벡터 검색 작업을 수행하여 호스트 메모리 요구 사항을 크게 줄입니다. 이러한 아키텍처 전환을 통해 벡터 데이터베이스는 DRAM 용량의 한계를 훨씬 뛰어넘어 확장 가능해져 대규모 생성형 AI 및 RAG 구축을 더욱 실용적이고 비용 효율적으로 수행할 수 있습니다.
확장 가능한 AI 서비스에 대한 수요가 지속적으로 증가함에 따라, SSD는 최신 AI 시스템에 필요한 높은 처리량과 낮은 지연 시간을 제공하는 DRAM의 실용적인 대안으로 부상하고 있습니다. KIOXIA의 AiSAQ 소프트웨어는 이러한 추세를 활용하여 기존 시스템 설계자들의 제약이었던 메모리 제약 없이 효율적인 대규모 벡터 검색을 구현하도록 설계되었습니다.
더 폭넓은 채택을 위한 오픈 소스
KIOXIA는 AiSAQ를 오픈소스로 공개함으로써 SSD 중심 아키텍처를 적극적으로 홍보하고 확장 가능한 AI 시스템의 광범위한 도입을 장려하고 있습니다. KIOXIA의 오픈소스 기술에 대한 헌신은 개발자와 시스템 설계자의 접근성을 높일 뿐만 아니라 AI 생태계 전반의 혁신을 촉진합니다.
KIOXIA SSD 사업부 수석 부사장 겸 총괄 매니저인 네빌 이차포리아는 최신 AiSAQ 릴리스가 확장 가능한 RAG 시스템의 성능과 용량을 모두 향상시키는 고급 도구를 제공한다고 강조했습니다. 그는 KIOXIA가 오픈 소스 개발을 지원함으로써 AI 인프라의 접근성과 혁신을 촉진하고 있다고 언급했습니다.
KIOXIA의 최신 AiSAQ 업데이트는 확장 가능한 SSD 기반 AI 인프라를 구축하는 기업들에게 한 걸음 더 나아간 진전을 보여줍니다. 유연한 구성 옵션, DRAM 없는 아키텍처, 그리고 오픈 소스 가용성을 갖춘 AiSAQ는 RAG 시스템 및 기타 벡터 기반 AI 애플리케이션의 끊임없이 변화하는 요구를 충족할 수 있는 최적의 위치에 있습니다.
다운로드 및 가용성
업데이트된 KIOXIA AiSAQ 오픈소스 소프트웨어가 지금 출시되었으며 GitHub에서 직접 다운로드할 수 있습니다.
https://github.com/kioxia-jp/aisaq-diskann




아마존