Meta AI ha sviluppato e annunciato Llama 3 , un modello linguistico di grandi dimensioni che sta riscuotendo grande successo nel campo dell'intelligenza artificiale grazie alle sue precedenti versioni. Quest'ultima aggiunta alla famiglia Llama vanta capacità impressionanti, tra cui la generazione di testi coerenti e fluidi, la capacità di rispondere a domande e di partecipare a conversazioni.
Lama 3 – Solo un'altra revisione?
Cosa distingue Llama 3 dai suoi predecessori? Secondo i risultati delle valutazioni umane , il modello raggiunge un tasso di successo del 59.3% contro Mistral Medium e del 63.7% contro GPT-3.5. Questi risultati impressionanti indicano che Llama 3 è in grado di generare testi di qualità paragonabile a quella dei testi prodotti da esseri umani.
Il set di dati di addestramento per Llama 3 è costituito da oltre 15T token raccolti da fonti disponibili al pubblico, il che lo rende sette volte più grande del set di dati di addestramento utilizzato per Llama 2. Questi dati di addestramento estesi consentono al modello di generare testo diversificato e accurato.
Questo set di dati da 15 trilioni di token è significativamente più grande del suo predecessore, contiene sette volte i dati di Llama 2 e include una vasta gamma di codici, quadruplicando la quantità utilizzata in precedenza. In particolare, oltre il 5% dei dati riguarda contenuti non inglesi di alta qualità che abbracciano più di 30 lingue, anche se è riconosciuto che le prestazioni in queste lingue potrebbero non raggiungere i livelli osservati in inglese.
Garantendo la qualità dei dati, Meta ha sviluppato sofisticate pipeline di filtraggio. Questi includono filtri euristici, filtri dei contenuti NSFW, deduplicazione semantica e classificatori progettati per valutare la qualità del testo. È interessante notare che Llama 2 è stato utilizzato per perfezionare i dati di addestramento per questi classificatori di qualità, rivelandosi determinante nel potenziare la generazione successiva.
Per quanto riguarda l'aumento della pre-formazione, Meta ha innovato con leggi dettagliate sulla scalabilità per migliorare in modo efficace la formazione dei modelli. Queste leggi guidano il mix di dati e utilizzo del calcolo, ottimizzando le prestazioni su vari benchmark come la generazione di codice. Sorprendentemente, i modelli di parametri 8B e 70B hanno mostrato continui miglioramenti delle prestazioni oltre i tradizionali limiti di addestramento, mostrando il potenziale in scenari di addestramento di dati di massa.
Lama 3 e tu
Anche il futuro dell'ecosistema Llama sembra promettente, con piani per espandere le capacità del modello e renderlo ancora più accessibile agli sviluppatori. Ciò significa che possiamo aspettarci di vedere applicazioni ancora più innovative di Llama 3 nei mesi e negli anni a venire.
Per un'applicazione pratica di addestramento, Meta ha sfruttato una combinazione di tre strategie di parallelizzazione (parallelizzazione dei dati, del modello e della pipeline) per addestrare un modello su una scala senza precedenti utilizzando 16 GPU . Questa scalabilità è stata resa possibile da cluster di GPU personalizzati e da un nuovo stack di addestramento che garantisce un tempo di addestramento effettivo superiore al 95% automatizzando la manutenzione e ottimizzando l'utilizzo delle GPU.
Meta riferisce che il perfezionamento post-allenamento attraverso la messa a punto delle istruzioni è stato vitale. Tecniche come la messa a punto supervisionata, il campionamento del rifiuto e l'ottimizzazione delle politiche hanno perfezionato le prestazioni del modello su compiti specifici e lo hanno aiutato a imparare a selezionare le risposte corrette dalle possibilità generate. Questa strategia di formazione articolata ha migliorato significativamente le capacità di ragionamento e di codifica di Llama 3, stabilendo un nuovo punto di riferimento per la formazione e l'applicazione del modello di intelligenza artificiale.
Riflessioni conclusive
Llama 3 arriva con molti concorrenti, promettendo prestazioni e utilità migliori. Con le sue straordinarie capacità e i dati esaustivi sulla formazione, rivoluzionerà il modo in cui interagiamo con le macchine. Che tu sia uno sviluppatore che desidera integrare Llama nel tuo prossimo progetto o semplicemente qualcuno interessato al futuro dell'intelligenza artificiale, vale la pena tenere d'occhio Llama 3.
Meta AI può essere utilizzato su Facebook, Instagram, WhatsApp, Messenger e sul web. La documentazione di Meta AI è disponibile qui.
Il sito web di Llama 3 contiene le informazioni per il download dei modelli e fornisce una guida introduttiva.
Amazon