Backblaze en WEKA hebben hun twee platforms samen gevalideerd voor AI-pipelines. WEKA NeuralMesh fungeert als de prestatielaag die GPU's aanstuurt, terwijl Backblaze B2 Cloud Storage de capaciteitslaag vormt voor alle andere gegevens. De integratie, dimensionering, afstemming en tests zijn al voltooid, waardoor een AI-infrastructuurteam een beproefde tweelaagse architectuur kan implementeren zonder zelf een oplossing te hoeven bouwen en kwalificeren. De certificering van B2 voor NeuralMesh is in behandeling en beide bedrijven geven aan dat klanten nu al contact kunnen opnemen met een van beide bedrijven om aan de slag te gaan.
Twee lagen, één datalevenscyclus
Ruwe, ongestructureerde data, zoals trainingssets, mediabibliotheken en bronbestanden, bevindt zich in B2. Wanneer een dataset onderdeel wordt van een prestatiegevoelige taak, wordt deze beschikbaar gesteld aan NeuralMesh en van daaruit naar de accelerators verzonden. Zodra een checkpoint, een output of een ander bestand geen snelle toegang meer nodig heeft, gaat het terug naar B2, waar het in een latere run opnieuw kan worden gebruikt of kan worden teruggehaald als een taak moet worden hersteld naar een eerdere fase. De bedrijven beschrijven dit als snelheid waar de GPU's zich bevinden en capaciteit overal elders, waarbij de data tussen de twee wordt verplaatst naarmate het toegangspatroon verandert.
“AI-teams hebben GPU’s nodig die continu van data worden voorzien en een infrastructuur met de prestaties en capaciteit om de volledige AI-dataworkflow te ondersteunen. WEKA heeft de prestatie-eisen geperfectioneerd. We hebben bijna twintig jaar lang hetzelfde gedaan voor opslagcapaciteit”, aldus Gleb Budman, CEO van Backblaze. Nilesh Patel, Chief Strategy Officer bij WEKA, beschreef dezelfde druk vanuit de andere richting: “AI-workloads belasten de opslagcapaciteit in twee richtingen tegelijk. GPU’s hebben toegang tot data nodig met een snelheid van microseconden om continu van data te worden voorzien, terwijl datasets en checkpoints groeien tot exabytes. Onze samenwerking met Backblaze biedt klanten een gevalideerde oplossing voor beide, zonder de kosten van het zelf bouwen en testen van die integratie.”
Snap-to-Object getest tegen B2
Een ander interessant onderdeel is NeuralMesh's Snap-to-Object, dat de bedrijven naar eigen zeggen hebben getest met Backblaze. Snap-to-Object schrijft een consistente momentopname van een NeuralMesh-bestandssysteem naar een objectopslag. Met B2 als doelopslag bevindt die opslag zich in dezelfde capaciteitslaag als de ruwe data en opgeslagen checkpoints. Voor een trainingssessie betekent dit dat een team kan terugkeren naar een checkpoint of opgeslagen inferentiedata kan herstellen vanuit B2 zonder midden in het proces een oplossing te hoeven improviseren en zonder een aparte bestemming voor momentopnamen te hoeven onderhouden. Het economische effect is een cloudobjectlaag achter NeuralMesh die wordt geprijsd op basis van capaciteit en die de momentopnamen samen met de data die ze beschermen, bewaart.
Backblaze heeft B2 het hele jaar door gepositioneerd als de capaciteitslaag voor AI, van het B2 Neo-aanbod voor neocloud-platforms tot het prestatiebenchmarkprogramma, en WEKA biedt het een partner in de prestatiecategorie aan de GPU-kant daarvan.
Amazon