Podczas konferencji GTC 2026 firma VDURA zaprezentowała aktualizacje swojej platformy danych, które poprawiają wykorzystanie procesorów graficznych i wydajność pamięci masowej w środowiskach AI. Ogłoszenie obejmuje ogólną dostępność technologii Remote Direct Memory Access (RDMA), prezentację technologii Context-Aware Tiering oraz zweryfikowane konfiguracje infrastruktury oparte na procesorach AMD EPYC Turin i technologii sieciowej NVIDIA ConnectX-7.
Aktualizacje mają na celu wyeliminowanie wąskich gardeł w przesunięciu danych między klastrami GPU a pamięcią masową oraz optymalizację rozmieszczenia danych na różnych poziomach pamięci masowej w celu umożliwienia realizacji zadań związanych z trenowaniem sztucznej inteligencji i wnioskowaniem na dużą skalę. RDMA umożliwia bezpośrednie ścieżki danych GPU
VDURA dodała obsługę protokołu RDMA na swojej platformie, umożliwiając serwerom GPU dostęp do pamięci masowej bezpośrednio przez sieć, bez udziału procesora. Umożliwia to transfer danych z GPU do pamięci masowej z pominięciem tradycyjnych ścieżek pośredniczonych przez jądro i procesor, zmniejszając opóźnienia i zwiększając przepustowość.
Implementacja integruje się z VDURA DirectFlow, warstwą przesyłu danych firmy, aby zapewnić, że cały ruch serwerów GPU korzysta z protokołu RDMA. Eliminując obciążenie procesora w ścieżce danych, zasoby obliczeniowe pozostają dedykowane do trenowania modeli i wnioskowania. To podejście ma na celu utrzymanie wyższego poziomu wykorzystania GPU przy jednoczesnej minimalizacji opóźnień w potokach przetwarzania w rozproszonych klastrach AI.
Warstwowanie uwzględniające kontekst ma na celu zwiększenie efektywności rozmieszczania danych
VDURA szczegółowo opisała również pierwszą fazę funkcji Context-Aware Tiering, której premiera planowana jest na koniec tego roku. Funkcja ta wprowadza automatyczne rozmieszczanie danych na różnych poziomach pamięci masowej w oparciu o zachowanie obciążenia i wzorce dostępu.
W fazie początkowej bufor DirectFlow jest rozszerzany na lokalne dyski SSD NVMe, co pozwala na przechowywanie często używanych danych bliżej zasobów obliczeniowych. Zmniejsza to zależność od współdzielonej lub podłączonej do sieci pamięci masowej dla danych o wysokiej częstotliwości i skraca czas reakcji dla aktywnych obciążeń.
Platforma wprowadza również mechanizmy kontroli zapisu zwrotnego KVCache, które selektywnie przechowują tylko krytyczne dane wnioskowania w trwałej pamięci masowej. Zmniejsza to zbędną aktywność zapisu, jednocześnie zachowując gwarancje trwałości wymagane przez produkcyjne potoki wnioskowania.
Ponadto VDURA wdraża ujednoliconą platformę Context Cache Tiering, obejmującą pamięć DRAM i lokalne dyski SSD. Umożliwia to szybki dostęp do odczytu i zapisu, zgodny z wydajnością klasy LMCache, obsługując takie przypadki użycia, jak wnioskowanie LLM w długim kontekście i generowanie rozszerzone o wyszukiwanie.
VDURA wskazało, że przyszłe fazy wdrażania warstw uwzględniających kontekst zostaną rozszerzone o rozmieszczanie danych uwzględniające aplikacje, poprawioną spójność pamięci podręcznej w węzłach oraz obsługę nowych komponentów infrastruktury, takich jak jednostki przetwarzania danych NVIDIA BlueField-4.
Firma wprowadziła również zoptymalizowane konfiguracje platformy łączące procesory AMD EPYC Turin z kartami sieciowymi NVIDIA ConnectX-7. Konfiguracje te zostały zaprojektowane tak, aby uzupełniać ścieżki danych obsługujące RDMA i obsługiwać komunikację o wysokiej przepustowości i niskich opóźnieniach między klastrami GPU a systemami pamięci masowej.
Skupienie się na pełnym stosie danych AI
Ken Claffey, prezes VDURA, zwrócił uwagę na platformę pamięci masowej AI firmy, obejmującą całą hierarchię danych, od pamięci masowej po magazyn długoterminowy, i podkreślił jej wydajność. Dodał, że platforma wykorzystuje protokół RDMA do bezpośredniego, bezobsługowego dostępu do danych oraz oferuje funkcję warstwowania uwzględniającego kontekst (Context-Aware Tiering) do pozycjonowania danych na różnych poziomach pamięci masowej. Claffey zauważył, że te innowacje pomagają organizacjom obsługiwać większe modele, obsługiwać więcej żądań wnioskowania i skalować infrastrukturę AI, jednocześnie spełniając wymagania dotyczące niezawodności AI w środowisku produkcyjnym.
Połączone podejście ma na celu obsługę większych rozmiarów modeli, zwiększenie przepustowości wnioskowania i poprawę efektywności infrastruktury przy jednoczesnym zachowaniu wymagań dotyczących niezawodności wdrożeń sztucznej inteligencji w produkcji.
Dostępność:
Technologia RDMA jest już dostępna na platformach VDURA V5000 i V7000. Oczekuje się, że pierwsza faza warstwowania z uwzględnieniem kontekstu (Context-Aware Tiering Phase 1) będzie powszechnie dostępna pod koniec 2026 roku, a programy wczesnego dostępu są już w toku.
Amazon