Společnosti Smartbird a WEKA oznámily partnerství, které začlení WEKA NeuralMesh do specializovaných clusterů umělé inteligence společnosti Smartbird, prodávaných jako spravovaná služba pro podnikové úlohy umělé inteligence. Smartbird navrhuje, vytváří a provozuje každý cluster pro úlohy jednoho zákazníka, ať už lokálně nebo ve vyhrazeném kolokačním zařízení, a společnosti popisují výsledek jako suverénní už od návrhu, kdy zákaznická data zůstávají v prostředí kontrolovaném zákazníkem a připravená k produkci od prvního dne. Tato dohoda je první v plánované síti infrastrukturních partnerství Smartbird.
Smartbird je společnost dříve známá jako Allbirds. Allbirds prodala svou značku obuvi a aktiva, v červnu změnila svůj název na Smartbird, Inc., ponechala si kotaci na burze NASDAQ pod indexem BIRD a jmenovala prezidentkou a generální ředitelkou Dr. Nadii Carlstenovou, dříve generální ředitelku poskytovatele GPU DCAI. První clustery se v době přejmenování stále navrhovaly a datová centra se v USA a Evropě stavěla, takže dohoda s WEKA je prvním pohledem na to, co bude stack obsahovat.
Propustnost dat a inference
NeuralMesh dodává datovou a paměťovou vrstvu. Společnosti uvádějí, že grafické procesory (GPU) jsou nepřetržitě zásobovány daty s propustností dosahující stovek gigabajtů za sekundu, ale neidentifikovaly hardwarové konfigurace, verze softwaru ani testovací podmínky, které toto číslo stojí. V případě inference a nepřetržitě běžících agentních aplikací společnosti uvádějí, že kombinovaná platforma rozšiřuje paměťovou kapacitu GPU, zkracuje dobu do prvního tokenu a snižuje nutnost přepočítávání, což spojují s nižšími náklady na tokeny.
Odpovědí WEKA na tyto tři faktory v NeuralMesh je Augmented Memory Grid , vrstva mezipaměti KV, která rozšiřuje paměť GPU do úložiště NeuralMesh. Údaje WEKA pro ni uvádějí až 1000x větší kapacitu paměti GPU, až 20x rychlejší dobu do prvního tokenu a 10x více souběžných uživatelů na stejných GPU, což připisuje produkčním benchmarkům. To jsou čísla WEKA pro NeuralMesh obecně; oznámení Smartbird neuvádí, které komponenty NeuralMesh clustery používají, a neuvádí žádné naměřené výsledky využití GPU, výkonu ani ceny za token.
„Podniky nechtějí sestavovat infrastrukturu umělé inteligence z jednotlivých částí. Chtějí kompletní řešení, které funguje a které provozují lidé, kteří to již dělali,“ řekla Dr. Nadia Carlsten, prezidentka a generální ředitelka společnosti Smartbird. „Každý cluster umělé inteligence Smartbird je navržen podle specifických požadavků zákazníka, ať už se jedná o banku, nemocnici, výrobce nebo vládní agenturu. Začleněním WEKA NeuralMesh poskytuje Smartbird zákazníkům datovou a paměťovou vrstvu, která prokazatelně funguje ve velkém měřítku.“
„Agentní umělá inteligence je neúprosná: nečinné grafické procesory a zastavené kanály dopadají přímo na výkaz zisků a ztrát. Podnikům bylo řečeno, že řešením je kompromis, výkon nebo suverenita, ale to bylo vždy selhání infrastruktury, nikoli fyzikální zákon,“ řekl Liran Zvibel, spoluzakladatel a generální ředitel společnosti WEKA. „WEKA NeuralMesh tento kompromis ukončuje. Smartbird to dodává v podobě dedikovaných clusterů, které zákazníci nemusí stavět ani provozovat. Společně dáváme regulovaným odvětvím produkční umělou inteligenci, která běží na plnou rychlost, na infrastruktuře, které se dotýkají pouze oni, s vyšším výkonem na grafický procesor, na watt a na dolar.“
Vyhrazená infrastruktura a řízený provoz
Společnost Smartbird provozuje full stack, který zahrnuje zařízení, výpočetní techniku, sítě, datovou infrastrukturu a orchestraci dat, takže zákazník má jednoho odpovědného partnera a neintegruje dodavatele ani nesleduje více cyklů vydávání hardwaru. Každý cluster je namapován individuálně na svého zákazníka a společnosti uvádějí, že plně dedikovaná stopa poskytuje izolaci, šifrování a auditovatelnost, které vyžadují úlohy ve vládě, zdravotnictví a finančních službách. Společnosti neuvedly jurisdikce nasazení, implementaci šifrování ani certifikace shody s předpisy.
Přestože společnosti popisují platformu jako připravenou k produkčnímu provozu od prvního dne, neexistuje žádné datum obecné dostupnosti, žádný jmenovaný zákazník a weby Smartbird byly v době červnového přejmenování stále ve vývoji. Samotný NeuralMesh je v této dvojici dodáván do provozu: WEKA jej v březnu uvedla do všeobecné dostupnosti a v červenci jej přesunula do multi-tenantního NeuralMesh 6 , přičemž paralelní dohoda jej zařazuje pod více než 50 poskytovatelů GPU Andromedy.
Amazon