Oracle ogłosiło drugą rundę możliwości pakietu Oracle Acceleron podczas konferencji Oracle AI World w Las Vegas, rok po tym, jak pakiet sieciowy po raz pierwszy połączył dedykowane struktury, sieć wielopłaszczyznową, karty SmartNIC i bezpośrednie ścieżki danych dla Oracle Cloud Infrastructure. Nowe elementy to RDMA we współdzielonej sieci front-end OCI, blokowe złącza pamięci masowej NVMe dla fizycznych i wirtualnych konfiguracji Acceleron, które Oracle ocenia nawet trzykrotnie jako wydajność blokową, wtyczka do komunikacji zbiorczej, która przenosi funkcje failover i równoważenia obciążenia do warstw NCCL i RCCL, oraz sieć wielopłaszczyznowa rozszerzona o ruch front-end.
„Infrastruktura AI bywa bezlitosna, jeśli chodzi o tarcia sieciowe” – powiedział Pradeep Vincent, wiceprezes wykonawczy ds. infrastruktury obliczeniowej i AI w Oracle Cloud Infrastructure. „Gdy tysiące akceleratorów współpracuje ze sobą, jedna przeciążona lub uszkodzona ścieżka może mieć konsekwencje wykraczające poza pojedyncze połączenie. Dzięki Oracle Acceleron budujemy sieć, która może reagować, przekierowując ruch, odzyskiwać dane po awariach i pomagać klientom w bezpiecznym skalowaniu”.
Front-End RDMA i roszczenie dotyczące pamięci blokowej 3x NVMe
Sieć front-end OCI obsługuje bazę danych Oracle, zasoby obliczeniowe klientów, pamięć masową blokową i obiektową, usługi SaaS i OCI, łącza szkieletowe, dostęp do internetu oraz łączność lokalną w ramach tej samej struktury. Dlatego też RDMA historycznie opierało się na dedykowanych sieciach klastrów zaplecza. Oracle Acceleron High-Performance Fabric umieszcza RDMA na tym wspólnym front-endzie do wnioskowania, przechowywania danych i ruchu HPC. Oracle twierdzi, że obsługuje każdy typ pary kolejek i czasownik, dzięki czemu istniejące aplikacje RDMA działają bez zmian. Firma wykorzystuje również łącza front-end do łączenia oddzielnych klastrów GPU, podczas gdy struktury zaplecza obsługują szkolenie w każdym klastrze.
Połowa pamięci masowej to rozszerzone opcje podłączania blokowej pamięci masowej NVMe w nowych konfiguracjach Acceleron Bare Metal i VM. Według Oracle, zwiększają one wydajność blokowej pamięci masowej NVMe nawet trzykrotnie w przypadku obciążeń AI, baz danych i innych obciążeń intensywnie przetwarzających dane. Oracle nie opublikował konfiguracji bazowej, obciążenia ani informacji, czy dane dotyczą przepustowości, operacji wejścia/wyjścia na sekundę (IOPS) czy opóźnień, i nie przeprowadzaliśmy ich audytu. Wydanie zawiera standardowe zastrzeżenie Oracle dotyczące przyszłych produktów i nie podaje dat dostępności żadnej z nowych funkcji.
Współdzielenie front-endu między RDMA i TCP stanowi problem kontroli przeciążenia, ponieważ transporty RDMA zazwyczaj korzystają ze sterowania opartego na przepływności, a TCP z kontroli opartej na oknie, a jedna pętla może zagłodzić drugą. Rozwiązaniem Oracle jest karta Acceleron SmartNIC. Hierarchiczne kontenery tokenów śledzą przepustowość dla klas RDMA i nie-RDMA w ramach współdzielonego kontenera nadrzędnego, a gdy tokeny się wyczerpują, karta sieciowa prawdopodobnie oznacza pakiety obsługujące ECN lub odrzuca pozostałe, co generuje stopniowy sygnał przeciążenia i zapobiega również incastingowi na łączu top-of-rack. Każda z klas może pożyczać niewykorzystaną przepustowość od drugiej.
W przypadku przeciążenia w obrębie struktury, SmartNIC uruchamia funkcję One-Way-Delay Congestion Control, mierząc opóźnienie ścieżki dosyłowej, aby przeciążona ścieżka zwrotna nie wygenerowała fałszywego sygnału. Gdy wykryje zwiększone opóźnienie w przepływie, analizuje trzy alternatywne ścieżki i przesuwa przepływ, jeśli jedna z nich jest lepsza; jeśli żadna nie jest lepsza, wraca do oznaczania ECN lub przerywa transmisję. Oracle opisuje projekt jako wymagający minimalnego wsparcia QoS ze strony przełączników, przy jednoczesnym zachowaniu standardowego obejścia jądra i procesora na hostach.
| Zdolność | Co Oracle twierdzi, że robi |
|---|---|
| Oracle Acceleron High-Performance Fabric | RDMA na front-endowym komputerze OCI do obliczeń wnioskowania, przechowywania i obciążeń HPC, z obsługą wszystkich typów par kolejek i czasowników |
| Rozszerzone bloki pamięci masowej NVMe | Blokowa pamięć masowa NVMe w konfiguracjach Acceleron Bare Metal i VM, do 3 razy większa wydajność pamięci blokowej (dane dostawcy) |
| Wtyczka Oracle Collective Communications Library | Wtyczka sieciowa NCCL i RCCL, która rozprowadza zbiorczy ruch w obrębie wielopłaszczyznowej sieci zaplecza, równoważy obciążenie w przypadku przeciążenia i wykonuje przełączanie awaryjne w przypadku niedziałających portów i kart sieciowych |
| Transparentna sieć wielopłaszczyznowa front-end | Wybór ścieżki, przełączanie awaryjne i kontrola przeciążenia dla ruchu RDMA front-end obsługiwanego przez SmartNIC |
OCCL przenosi funkcję failover do warstwy zbiorczej
Zaplecze sieciowe OCI Multiplanar Network łączy wieloportowe karty sieciowe z kilkoma rozłącznymi strukturami, dzięki czemu zadanie szkoleniowe zapewnia redundancję n-kierunkową. Korzystanie z tych płaszczyzn wymaga jednak funkcjonalności na poziomie karty sieciowej, która nie zawsze jest dostępna. Wtyczka Oracle Collective Communications Library eliminuje tę zależność. Jest to wtyczka sieciowa CCL, która natywnie obsługuje interfejsy wtyczek NVIDIA NCCL i AMD RCCL, struktury warstwowe używane do przekształcania operacji zbiorczych w transfery kart sieciowych, a także zapewnia funkcje przełączania awaryjnego, odzyskiwania i równoważenia obciążenia z uwzględnieniem przeciążenia, niezależnie od oprogramowania układowego i topologii karty sieciowej.
W działaniu OCCL dystrybuuje ruch zbiorczy pomiędzy wiele standardowych par kolejek Reliable Connection, przesyła więcej danych parami o wyższej przepustowości i kieruje ruch z dala od przeciążonych ścieżek na poziomie komunikatów i fragmentów. W przypadku awarii portu lub całej karty sieciowej, OCCL kieruje ruch zbiorczy na inny port lub kartę sieciową, aby zadanie było kontynuowane bez ponownego uruchamiania. Oracle uważa, że jest to prostsze niż kontrolery routingu, które wybierają ścieżki sieciowe i monitorują zmiany, i działa zarówno w sieciach jednopłaszczyznowych, jak i wielopłaszczyznowych. Ten sam wielopłaszczyznowy wybór ścieżki i przełączanie awaryjne dociera teraz do ruchu RDMA front-end poprzez to, co Oracle nazywa Transparent Front-End Multiplanar Networking.
Ta sama aktualizacja sieciowa objęła dwa elementy spoza Acceleron. OCI Global CDN Connect zapewnia bezpośrednie połączenia między OCI Object Storage a Cloudflare, Fastly, Netskrt i Mainstreaming, z zerowymi opłatami za wyjście OCI w przypadku kwalifikujących się pobrań z pamięci podręcznej w obsługiwanych regionach. Oracle podpisało niewiążące memorandum o porozumieniu z F5 w sprawie planowanej usługi ochrony aplikacji internetowych i interfejsów API OCI App Defense.
Amazon