Meta AI har utvecklat och presenterat Llama 3 , en stor språkmodell som med sina tidigare utgåvor gör succé inom artificiell intelligens. Detta senaste tillskott till Llama-familjen ståtar med imponerande funktioner, inklusive att generera sammanhängande och flytande text, besvara frågor och delta i konversationer.
Llama 3 – Bara en annan version?
Vad skiljer Llama 3 från sina föregångare? Enligt resultat från mänskliga utvärderingar uppnår modellen en vinstfrekvens på 59.3 % mot Mistral Medium och 63.7 % mot GPT-3.5. Dessa imponerande siffror indikerar att Llama 3 kan generera text av jämförbar kvalitet med mänskligt genererad text.
Träningsdatasetet för Llama 3 består av över 15T tokens insamlade från allmänt tillgängliga källor, vilket gör det sju gånger större än träningsdataset som används för Llama 2. Denna omfattande träningsdata gör att modellen kan generera mångsidig och korrekt text.
Denna datauppsättning på 15 biljoner token är betydligt större än sin föregångare, den innehåller sju gånger så mycket data som Llama 2 och inkluderar ett omfattande kodintervall – en fyrdubbling av mängden som tidigare använts. Anmärkningsvärt är att över 5 % av data är högkvalitativt icke-engelsk innehåll som spänner över mer än 30 språk, även om det är erkänt att prestanda på dessa språk kanske inte når de nivåer som ses på engelska.
För att säkerställa kvaliteten på datan utvecklade Meta sofistikerade filtreringspipelines. Dessa inkluderar heuristiska filter, NSFW-innehållsfilter, semantisk deduplicering och klassificerare utformade för att bedöma textkvalitet. Intressant nog användes Llama 2 för att förfina träningsdata för dessa kvalitetsklassificerare, vilket visade sig vara avgörande för att driva den efterföljande generationen.
När det gäller uppskalning av förträning har Meta förnyat sig med detaljerade skalningslagar för att effektivisera modellträning. Dessa lagar vägleder mixen av data och datoranvändning, och optimerar prestanda över olika riktmärken som kodgenerering. Överraskande nog visade 8B- och 70B-parametermodellerna fortsatta prestandaförbättringar utöver traditionella träningsmössor, och visade upp potentialen i massiva dataträningsscenarier.
Lama 3 och du
Framtiden för Lama-ekosystemet ser också lovande ut, med planer på att utöka modellens kapacitet och göra den ännu mer tillgänglig för utvecklare. Detta innebär att vi kan förvänta oss att se ännu fler innovativa tillämpningar av Llama 3 under de kommande månaderna och åren.
För en praktisk utbildningstillämpning utnyttjade Meta en trippel uppsättning parallelliseringsstrategier – data-, modell- och pipeline-parallellisering – för att träna i en aldrig tidigare skådad skala med 16 000 GPU:er . Denna skala möjliggjordes av specialbyggda GPU-kluster och en ny utbildningsstack som säkerställer över 95 % effektiv utbildningstid genom att automatisera underhåll och optimera GPU-användningen.
Meta rapporterar att förfining efter träning genom instruktionsinställning har varit avgörande. Tekniker som övervakad finjustering, provtagning av avslag och policyoptimeringar har förfinat modellens prestanda för specifika uppgifter och hjälpt den att lära sig att välja rätt svar från genererade möjligheter. Denna nyanserade träningsstrategi har avsevärt förbättrat Llama 3:s resonemang och kodningsförmåga, vilket sätter ett nytt riktmärke för AI-modellutbildning och -applikation.
Slutsatser
Llama 3 kommer med många konkurrenter och lovar bättre prestanda och användbarhet. Med sina imponerande möjligheter och omfattande träningsdata kommer det att revolutionera hur vi interagerar med maskiner. Oavsett om du är en utvecklare som vill integrera Llama i ditt nästa projekt eller bara någon som är intresserad av framtiden för AI, är Llama 3 värt att hålla ett öga på.
Meta AI kan användas på Facebook, Instagram, WhatsApp, Messenger och webben. Meta AI tillhandahåller dokumentation för Meta AI här.
Llama 3:s webbplats har nedladdningsinformation för modellerna och tillhandahåller en guide för att komma igång.
Amazon