Meta AI hat Llama 3 entwickelt und angekündigt , ein umfangreiches Sprachmodell, das mit seinen vorherigen Versionen in der KI-Welt für Furore sorgt. Der neueste Zuwachs der Llama-Familie besticht durch beeindruckende Fähigkeiten, darunter die Generierung von kohärentem und flüssigem Text, die Beantwortung von Fragen und die Teilnahme an Konversationen.
Lama 3 – Nur eine weitere Überarbeitung?
Was unterscheidet Llama 3 von seinen Vorgängern? Laut menschlichen Testergebnissen erzielt das Modell eine Trefferquote von 59.3 % gegen Mistral Medium und 63.7 % gegen GPT-3.5. Diese beeindruckenden Zahlen zeigen, dass Llama 3 Texte in vergleichbarer Qualität wie von Menschen verfasste Texte generieren kann.
Der Trainingsdatensatz für Llama 3 besteht aus über 15T-Tokens, die aus öffentlich zugänglichen Quellen gesammelt wurden, und ist damit siebenmal größer als der für Llama 2 verwendete Trainingsdatensatz. Diese umfangreichen Trainingsdaten ermöglichen es dem Modell, vielfältigen und genauen Text zu generieren.
Dieser 15-Billionen-Token-Datensatz ist deutlich größer als sein Vorgänger, enthält siebenmal so viele Daten wie Llama 2 und enthält einen umfangreichen Codebereich – eine Vervierfachung der zuvor verwendeten Menge. Bemerkenswert ist, dass es sich bei über 5 % der Daten um hochwertige nicht-englische Inhalte in mehr als 30 Sprachen handelt, obwohl anerkannt wird, dass die Leistung in diesen Sprachen möglicherweise nicht das Niveau erreicht, das in Englisch erreicht wird.
Um die Qualität der Daten sicherzustellen, entwickelte Meta ausgefeilte Filterpipelines. Dazu gehören heuristische Filter, NSFW-Inhaltsfilter, semantische Deduplizierung und Klassifikatoren zur Bewertung der Textqualität. Interessanterweise wurde Llama 2 verwendet, um die Trainingsdaten für diese Qualitätsklassifikatoren zu verfeinern, was sich als entscheidend für die Entwicklung der nachfolgenden Generation erwies.
Was die Skalierung vor dem Training betrifft, hat Meta detaillierte Skalierungsgesetze eingeführt, um das Modelltraining effektiv zu verbessern. Diese Gesetze steuern die Mischung aus Daten- und Rechennutzung und optimieren die Leistung bei verschiedenen Benchmarks wie der Codegenerierung. Überraschenderweise zeigten die 8B- und 70B-Parametermodelle kontinuierliche Leistungsverbesserungen über die herkömmlichen Trainingsobergrenzen hinaus und zeigten Potenzial in Trainingsszenarien mit umfangreichen Daten.
Lama 3 und Du
Auch die Zukunft des Llama-Ökosystems sieht vielversprechend aus: Es ist geplant, die Fähigkeiten des Modells zu erweitern und es für Entwickler noch zugänglicher zu machen. Das bedeutet, dass wir in den kommenden Monaten und Jahren mit noch mehr innovativen Anwendungen von Llama 3 rechnen können.
Für eine praxisnahe Trainingsanwendung nutzte Meta drei Parallelisierungsstrategien – Daten-, Modell- und Pipeline-Parallelisierung –, um mit 16 GPUs in einem beispiellosen Umfang zu trainieren . Diese Skalierung wurde durch eigens entwickelte GPU-Cluster und einen neuen Trainings-Stack ermöglicht, der durch automatisierte Wartung und optimierte GPU-Nutzung eine effektive Trainingszeit von über 95 % gewährleistet.
Meta berichtet, dass die Verfeinerung nach dem Training durch die Optimierung der Anweisungen von entscheidender Bedeutung war. Techniken wie überwachte Feinabstimmung, Ablehnungsstichproben und Richtlinienoptimierungen haben die Leistung des Modells bei bestimmten Aufgaben verfeinert und ihm dabei geholfen, zu lernen, aus generierten Möglichkeiten die richtigen Antworten auszuwählen. Diese differenzierte Trainingsstrategie hat die Argumentations- und Codierungsfähigkeiten von Llama 3 erheblich verbessert und einen neuen Maßstab für das Training und die Anwendung von KI-Modellen gesetzt.
Abschlussgedanken
Llama 3 kommt mit vielen Konkurrenten auf den Markt und verspricht eine bessere Leistung und Nützlichkeit. Mit seinen beeindruckenden Fähigkeiten und umfangreichen Trainingsdaten wird es die Art und Weise, wie wir mit Maschinen interagieren, revolutionieren. Egal, ob Sie ein Entwickler sind, der Llama in Ihr nächstes Projekt integrieren möchte, oder einfach jemand, der sich für die Zukunft der KI interessiert, es lohnt sich, Llama 3 im Auge zu behalten.
Meta AI kann auf Facebook, Instagram, WhatsApp, Messenger und im Web verwendet werden. Die Dokumentation zu Meta AI finden Sie hier.
Auf der Website von Llama 3 finden Sie die Download-Informationen für die Modelle sowie eine Kurzanleitung.
Amazon