Společnost KIOXIA oznámila významnou aktualizaci svého softwaru AiSAQ (All-in-Storage ANNS with Product Quantization), která dále zvyšuje použitelnost a flexibilitu vyhledávání ve vektorových databázích s využitím umělé inteligence v systémech Retrieval-Augmented Generation (RAG). Tato nejnovější verze s otevřeným zdrojovým kódem představuje nové možnosti konfigurace, které umožňují systémovým architektům přesně vyladit rovnováhu mezi výkonem vyhledávání a vektorovou kapacitou. Jedná se o dva faktory, které jsou ze své podstaty v rozporu kvůli fixní úložné kapacitě SSD disků v moderní infrastruktuře umělé inteligence.
Flexibilní ladění výkonu pro systémy RAG
Jádrem této aktualizace AiSAQ je možnost pro administrátory definovat optimální kompromis mezi počtem uložených vektorů a dosažitelným výkonem vyhledávání (dotazy za sekundu). V praxi to znamená, že při pevné kapacitě SSD vyžaduje zvýšení výkonu vyhledávání alokaci většího úložiště na vektor, což snižuje celkový počet vektorů, které lze indexovat. Naopak maximalizace počtu vektorů znamená, že každý vektor využívá menší kapacitu SSD, což může ovlivnit rychlost vyhledávání. Nové ovládací prvky v AiSAQ umožňují architektům doladit tuto rovnováhu podle specifických požadavků na pracovní zátěž, a to vše bez nutnosti změn nebo upgradu hardwaru.
Tato flexibilita je obzvláště cenná pro systémy RAG, kde se povaha pracovní zátěže může rychle měnit mezi vysokou propustností, vyhledáváním s nízkou latencí a rozsáhlým vektorovým ukládáním. Aktualizace také rozšiřuje použitelnost AiSAQ, což z něj činí přesvědčivé řešení pro další aplikace náročné na vektory, jako je offline sémantické vyhledávání, kde jsou podobné kompromisy mezi výkonem a kapacitou kritické.
Odstranění úzkých míst DRAM
Řešení KIOXIA AiSAQ, které bylo poprvé představeno v lednu, využívá nový algoritmus přibližného vyhledávání nejbližších sousedů (ANNS), který je speciálně optimalizován pro SSD disky. Na rozdíl od tradičních řešení vektorového vyhledávání, která se pro ukládání indexových dat silně spoléhají na DRAM, umožňuje AiSAQ přímé operace vektorového vyhledávání na SSD discích, čímž dramaticky snižuje požadavky na paměť hostitele. Tato architektonická změna umožňuje škálování vektorových databází daleko za omezení daná kapacitou DRAM, což činí rozsáhlé nasazení generativní umělé inteligence a RAG praktičtějším a nákladově efektivnějším.
Vzhledem k rostoucí poptávce po škálovatelných službách umělé inteligence se SSD disky stávají praktickou alternativou k DRAM, která zajišťuje vysokou propustnost a nízkou latenci vyžadovanou moderními systémy umělé inteligence. Software AiSAQ od společnosti KIOXIA je navržen tak, aby tento trend využil a umožnil efektivní vektorové vyhledávání ve velkém měřítku bez paměťových omezení, která tradičně omezovala systémové architekty.
Otevřený zdrojový kód pro širší přijetí
Díky otevřenému přístupu k AiSAQ společnost KIOXIA aktivně propaguje architektury zaměřené na SSD a podporuje širší přijetí škálovatelných systémů umělé inteligence. Závazek společnosti k technologiím s otevřeným zdrojovým kódem nejen zvyšuje jejich dostupnost pro vývojáře a systémové architekty, ale také podporuje inovace v celém ekosystému umělé inteligence.
Neville Ichhaporia, senior viceprezident a generální ředitel obchodní jednotky SSD společnosti KIOXIA, zdůraznil, že nejnovější verze AiSAQ poskytuje pokročilé nástroje pro zlepšení výkonu i kapacity v škálovatelných systémech RAG. Poznamenal, že podporou vývoje s otevřeným zdrojovým kódem pomáhá KIOXIA zvyšovat dostupnost a inovace v infrastruktuře umělé inteligence.
Nejnovější aktualizace AiSAQ od společnosti KIOXIA představuje krok vpřed pro organizace, které budují škálovatelnou infrastrukturu umělé inteligence založenou na SSD. Díky flexibilním možnostem konfigurace, architektuře bez DRAM a dostupnosti open source je AiSAQ dobře připraven k podpoře vyvíjejících se potřeb systémů RAG a dalších vektorově řízených aplikací umělé inteligence.
Stažení a dostupnost
Aktualizovaný open-source software KIOXIA AiSAQ je nyní k dispozici a lze si jej stáhnout přímo z GitHubu:
https://github.com/kioxia-jp/aisaq-diskann
Amazon