Dell Technologies har meddelat stöd för standardiserade AI-lösningar optimerade för lamaekosystem. Dessa lösningar syftar till att förenkla utvecklingen av AI-applikationer och höja kapaciteten hos agentbaserade arbetsflöden.
Lyfta AI-applikationer med agentiska arbetsflöden
Dell AI-lösningar med lama-ekosystem är designade för att förenkla utvecklarupplevelsen och förbättra effektiviteten hos AI-applikationer. Llama Stack, ett standardiserat mjukvaruramverk, stöder flera stadier av AI-utveckling, inklusive modellträning, finjustering och produktionsinstallation. Den integreras nu tätt med PyTorch-bibliotek, vilket underlättar sömlös distribution av RAG (Retrieval Augmented Generation) och andra AI-applikationer.
Genom att kombinera Llama Stack med Dell AI Factory kan organisationer utnyttja infrastruktur i företagsklass, med stöd av Dell PowerEdge XE9680 -servrar utrustade med NVIDIA H100 GPU:er. Denna referensarkitektur ger skalbarhet och prestanda, vilket gör det enklare att utveckla agentbaserade AI-applikationer.
Arkitekturen erbjuder standardiserade API:er som förenklar utvecklingen genom att främja återanvändning av kod och möjliggöra plug-and-play-funktioner för nuvarande och framtida Llama-modeller. Säker distribution med inbyggda säkerhetsfunktioner säkerställer att AI-applikationer är kompatibla och skyddade. Dells anpassningsbara infrastruktur stöder olika AI-användningsfall, från slutledning med en nod till distributioner med flera noder.
Dessa funktioner gör det möjligt för företag att implementera arbetsflöden som involverar flera modeller och minnesbanker som arbetar tillsammans för att lösa komplexa affärsutmaningar. Referensarkitekturen, integrerad med Llama Stack, effektiviserar utförandet av uppgifter som inferencing, RAG och syntetisk datagenerering, medan Llama Guard-modeller etablerar säkerhetsåtgärder och skyddsräcken för ökad säkerhet.
Bemyndigande av datavetare och utvecklare
Att utveckla AI-applikationer har utmaningar, inklusive höga kostnader, skalbarhetsproblem och svårigheter att säkra de nödvändiga resurserna. Att välja rätt arkitektur och integrera och underhålla AI-system är avgörande. Dells AI-lösningar med lama syftar till att lindra dessa utmaningar och gynna datavetare, utvecklare och IT-beslutsfattare.
Referensarkitekturen erbjuder detaljerade riktlinjer för distribution av Llama-modeller på PowerEdge XE9680-servrar, med validerade arbetsflöden och exempelkod för att påskynda utvecklingen.
Dell AI Factorys validerade konfigurationer effektiviserar installationen av AI-lösningar i datacenter, vilket ger skalbarhet över flera noder och backas upp av anpassade distributionstjänster.
Dell AI Solutions with Llama låter utvecklare snabbt anta nya AI-modeller, verktyg och ramverk med hjälp av standardiserade byggstenar, vilket säkerställer bärbar kod i olika miljöer. Det förenklar datapipelines genom Dell Data Lakehouse- och PowerScale-plattformarna. Dessutom finns Llama-modeller tillgängliga på Dells Enterprise Hub via Hugging Face-plattformen. Dessa modeller är förpackade, färdiga att distribuera behållare och skript för säker och effektiv distribution.
Dell erbjuder också tjänster för att distribuera Llama-modeller, stödja strategi, dataförberedelse, modellimplementering och generativa AI-resultat.
Vi presenterar Llama 3.2: Unlocking Multimodal Intelligence
Utgivningen av Llama 3.2 representerar ett betydande framsteg inom AI-teknik, som ger utvecklare verktygen för att skapa en ny generation av privata, effektiva och ansvarsfulla AI-upplevelser. Llama 3.2 innehåller flerspråkiga modeller som sträcker sig från 1B till 90B parametrar som kan bearbeta text- och bildindata. Dessa modeller, inklusive de lätta textalternativen (1B och 3B) och vision LLMs (11B och 90B), stöder långa sammanhangslängder och är optimerade för slutledning med hjälp av avancerade frågeuppmärksamhetsmekanismer.
Llama 3.2:s 11B- och 90B-modeller erbjuder bildresonemangsmöjligheter, inklusive förståelse på dokumentnivå, som att tolka diagram och grafer och bildtextning. Modellerna stöder även realtids- och batch-inferens, optimerade för interaktiva och högkapacitetsarbetsbelastningar. När de är integrerade med Dells AI Factory-lösningar gör dessa modeller det möjligt för företag att utnyttja AI i många applikationer, inklusive defektdetektering i tillverkning, förbättrad diagnostisk noggrannhet inom hälso- och sjukvården och förbättra lagerhanteringen i detaljhandeln.
Amazon