WEKA heeft aangekondigd dat Andromeda, het platform dat AI-teams verbindt met krachtige computerbronnen via een open markt van aanbieders, WEKA NeuralMesh integreert als een kernlaag voor dataopslag in zijn beheerde GPU-clusters. Andromeda-klanten kunnen kiezen tussen een dedicated NeuralMesh-implementatie en een GPU-native NeuralMesh Axon-configuratie, waardoor ze consistente opslagprestaties krijgen op elk cluster dat draait bij elke hyperscaler of AI-cloud.
Andromeda opereert via meer dan 50 computerproviders wereldwijd en verdeelt trainings- en inferentieworkloads over een groeiend aantal beheerde clusters. Het bedrijf zegt meer dan 100 AI-klanten te bedienen en miljarden GPU-uren te ondersteunen. Elk cluster op het platform moet aan dezelfde kwaliteitsnormen voldoen, ongeacht wie de infrastructuur beheert. Andromeda certificeert elk cluster op het gebied van GPU, opslag, netwerkinfrastructuur en beveiliging voordat het bij een klant terechtkomt. Deze standaard bracht echter een probleem aan het licht: elke provider bracht zijn eigen opslagomgeving mee en de prestaties varieerden van cluster tot cluster.
NeuralMesh streeft ernaar die datalaag te standaardiseren. Voor Andromeda biedt het platform een implementeerbare opslagarchitectuur die consistent geconfigureerd kan worden bij verschillende hardwareleveranciers, in plaats van afhankelijk te zijn van de eigen gedeelde opslagimplementatie van elke cloud of elk datacenter.
"Ons doel is om de wereldwijde stroom van rekenkracht mogelijk te maken, en dat betekent dat elk cluster dat we leveren moet presteren, ongeacht waar de capaciteit vandaan komt", aldus Wil Moushey, CEO van Andromeda. "Door te standaardiseren op WEKA NeuralMesh hebben we onze klanten consistentie van hyperscaler-niveau geboden, gecombineerd met flexibiliteit op de open markt voor opslag en geheugen, waar prestaties worden gewonnen of verloren. Inactieve GPU's remmen het tempo van AI-innovatie af. WEKA helpt ons ervoor te zorgen dat elke GPU die we beheren zijn nut bewijst."
GPU-native opslag met NeuralMesh Axon
NeuralMesh Axon is de GPU-native implementatie van het NeuralMesh-softwareplatform. Het integreert opslag rechtstreeks in de GPU-servers van Andromeda, waardoor de bestaande NVMe-opslag van elk cluster wordt omgezet in een uniforme datalaag die de training en inferentie voedt. Het economische argument vloeit hieruit voort: de hardware is al geïnstalleerd, van stroom voorzien en betaald, dus de prestaties worden geleverd zonder extra ruimte, stroomverbruik of kosten. WEKA noemt een voorbeeld waarbij een onderzoekslaboratorium merkte dat de opslagcapaciteit van hun cluster een knelpunt vormde voor hun workloads. Andromeda implementeerde Axon op dezelfde hardware in plaats van extra infrastructuur toe te voegen.
Andromeda gebruikt de NeuralMesh Kubernetes Operator om de implementatie en het beheer van de levenscyclus van clusters te automatiseren. Het bedrijf meldt dat nieuwe NeuralMesh Axon-clusters in ongeveer 10 minuten vanaf bare metal kunnen worden geïmplementeerd. Ongeveer de helft van de NeuralMesh-implementaties maakt gebruik van de Axon-configuratie, terwijl de rest bestaat uit specifieke implementaties voor klanten die exclusieve GPU-rekenkracht en geheugenbronnen nodig hebben.
“De eerste implementatie van WEKA NeuralMesh Axon bij Andromeda was binnen 10 minuten operationeel, vanaf de basisinstallatie. Dat werd ons voorbeeld”, aldus Vishvajit Kher, hoofdarchitect bij Andromeda. “Als een cloudprovider geen gedeelde opslag aanbiedt, zijn we geen probleem meer. We implementeren WEKA NeuralMesh en weten dat het zal presteren. Het is een compleet systeem, tot 90% goedkoper dan alternatieven op de markt, wat besparingen oplevert die zich opstapelen naarmate we schalen.”
Het implementatiemodel stelt Andromeda in staat om beheerde GPU-clusters op te zetten in omgevingen waar cloudproviders geen gedeelde opslag aanbieden. Dit vergroot het scala aan infrastructuur van providers dat aan de operationele eisen voldoet.
Gerapporteerde productieresultaten
Andromeda meldt dat NeuralMesh Axon-clusters een totale doorvoer van meer dan 400 GB/s per cluster halen en in productieomgevingen meer dan 6 miljoen IOPS bereiken. In een biotechnologische workload met datasets die veel metadata bevatten, met ongeveer een miljard bestanden per map, wist het platform de gegevensoverdrachtstijd te verkorten van uren naar minuten.
Het bedrijf meldt ook dat AI-teams die gebruikmaken van de door hen beheerde clusters de opstarttijd van de omgeving hebben verkort van ongeveer drie minuten naar 30 seconden. Snellere initialisatie van de omgeving kan het aantal trainings-, test- en inferentie-iteraties dat teams tijdens een ontwikkelingscyclus kunnen uitvoeren, verhogen.
NeuralMesh beschikt over foutisolatiemogelijkheden om te voorkomen dat lokale storingen zich over een cluster verspreiden. Voor providers die multi-tenant GPU-omgevingen beheren, helpt dit de beschikbaarheid van workloads te waarborgen en de operationele impact van infrastructuurstoringen te verminderen.
Uitbreiding over een wereldwijd AI-computernetwerk
De WEKA-implementatie wordt uitgebreid over de wereldwijde infrastructuur van Andromeda, inclusief dedicated storage-configuraties en GPU-native Axon-systemen. De bedrijven zijn ook van plan de integratie uit te breiden naar nieuwere generaties AI-infrastructuur naarmate Andromeda de capaciteit en de dekking van providers vergroot.
Voor aanbieders van beheerde GPU's benadrukt deze implementatie de groeiende behoefte aan een draagbaar AI-dataplatform . GPU-capaciteit alleen garandeert geen voorspelbare AI-prestaties wanneer het gedrag van opslag en metadata verschilt per aanbieder. Standaardisatie van de opslaglaag helpt de doorvoer, IOPS en operationele workflows te handhaven binnen een gedistribueerd netwerk van heterogene GPU-clusters.
Amazon