Backblaze och WEKA har validerat sina två plattformar tillsammans för AI-pipelines, och parat ihop WEKA NeuralMesh som prestandanivån som matar GPU:er med Backblaze B2 Cloud Storage som kapacitetsnivån som innehåller allt annat. Integrationen, storleksanpassningen, finjusteringen och testningen är redan klar, så ett AI-infrastrukturteam kan driftsätta en beprövad tvånivålayout utan att bygga och kvalificera sin egen. Certifiering av B2 för NeuralMesh pågår, och båda företagen säger att kunder kan kontakta endera av dem för att komma igång nu.
Två nivåer, en datalivscykel
Rå, ostrukturerad data, det vill säga träningsuppsättningar, mediebibliotek och källfiler, finns i B2. När en datamängd blir en del av ett prestandakänsligt jobb görs den tillgänglig för NeuralMesh och levereras därifrån till acceleratorerna. När en kontrollpunkt, en utdata eller någon annan tillgång inte längre behöver högpresterande åtkomst går den tillbaka till B2, där den kan återanvändas i en senare körning eller hämtas tillbaka om ett jobb måste återställas till ett tidigare steg. Företagen beskriver det som hastighet där GPU:erna finns och kapacitet överallt annars, där data flyttas mellan de två allt eftersom dess åtkomstmönster ändras.
”AI-team behöver sina GPU:er matade och en infrastruktur med prestanda och kapacitet för att stödja hela AI-dataarbetsflödet. WEKA har bemästrat prestandanivån. Vi har ägnat nästan två decennier åt att göra samma sak för kapacitetslagring”, säger Gleb Budman, VD för Backblaze. Nilesh Patel, Chief Strategy Officer på WEKA, beskrev samma press från andra hållet: ”AI-arbetsbelastningar töjer lagring i två riktningar samtidigt. GPU:er behöver mikrosekundåtkomst till data för att hålla sig matade, medan datamängder och kontrollpunkter växer till exabyte-skala. Vårt samarbete med Backblaze ger kunderna en validerad väg till båda, utan kostnaden för att bygga och testa den integrationen själva.”
Snap-to-Object testad mot B2
En annan intressant del är NeuralMeshs Snap-to-Object, som företagen säger att de har testat med Backblaze. Snap-to-Object skriver en konsekvent ögonblicksbild av ett NeuralMesh-filsystem ut till ett objektarkiv, och med B2 som mål är det arkivet samma kapacitetsnivå som rådata och pensionerade kontrollpunkter redan hamnar i. För en träningskörning innebär det att ett team kan återgå till en kontrollpunkt eller återställa sparad inferensdata från B2 utan att improvisera en fix mitt i jobbet, och utan att upprätthålla en separat destination för ögonblicksbilder. Den ekonomiska effekten är en molnobjektnivå bakom NeuralMesh som prissätts som kapacitet, och som håller ögonblicksbilderna tillsammans med den data de skyddar.
Backblaze har positionerat B2 som kapacitetslagret för AI under hela året, från B2 Neo-erbjudandet för neocloud-plattformar till sitt prestandabenchmarkingprogram, och WEKA ger dem en prestandanivåpartner på GPU-sidan av det.
Amazon