Podcast #148: LinkedIn Live – KI ist ein Datenproblem

StorageReview hat mehrere Testberichte und einen Podcast veröffentlicht, die auf Forschungsergebnissen der Oregon State University basieren. Links zu diesen Artikeln finden Sie am Ende dieses Transkripts. Die Artikel stießen nicht nur in der Forschung, sondern auch in der Anbietergemeinschaft auf großes Interesse. Anschließend wurde erörtert, wie Lehrkräfte KI im Unterricht und bei Prüfungen einsetzen und deren Nutzung dokumentieren, wobei der Fokus auf der Messung von Wissen und Lernqualität lag.

Im Mittelpunkt der Diskussion steht die Frage, wie all diese Technologien zusammenwirken, um reale KI-Ergebnisse zu erzielen, nicht nur im Bereich der wissenschaftlichen Forschung, auf die wir noch eingehen werden, sondern auch im Hinblick auf die Studienergebnisse an der Oregon State University, und wie diese Komponenten alle zusammenwirken, um phänomenale Lösungen zu schaffen.

Aufgrund der überwältigenden Resonanz auf die erste, gemeinsam mit Christopher Sullivan durchgeführte Analyse beschlossen wir, ein Live-Event auf LinkedIn zu veranstalten, um die Fortschritte bei den Ergebnissen von KI-Anwendungen in Forschung und Lehre zu diskutieren. Zu unseren Gästen gehörten:

• Christopher Sullivan – Direktor für Forschung und akademisches Rechnen am College of Earth, Ocean, and Atmospheric Sciences der Oregon State University.
• Alan Bumgardner – Direktor für Partnerplanung und Wegfindung bei der Celadon Corporation.
• Seamus Jones – Direktor für technisches Marketing-Engineering im Bereich Computing, Networking und Nachhaltigkeit bei Dell.

Die Teilnehmer dieser Live-Veranstaltung waren an der Planktonforschung der OSU beteiligt, entweder durch direkte Zusammenarbeit (Chris) oder in herstellerbezogenen Funktionen. Falls Sie die ursprüngliche Berichterstattung noch nicht gelesen oder den anschließenden Podcast noch nicht gehört haben, werden Sie die Forschung sicherlich interessant und relevant für die aktuellen Umweltthemen finden.

Die Veranstaltung dauert zwar eine Stunde, enthält aber keine Marketing- oder Verkaufsbotschaften, sondern ist interaktiv und informativ. Falls Sie keine Zeit haben, den Podcast von Anfang bis Ende anzuhören, haben wir ihn in fünfminütige Abschnitte unterteilt, sodass Sie direkt zu den Abschnitten springen können, die Sie interessieren.

00:00–05:00 — Einführung und Kontextualisierung

• Brian Beeler eröffnet die Diskussion mit einem technischen, nicht verkaufsorientierten Vortrag, der sich auf die praktischen Ergebnisse von KI in Forschung und Lehre an der Oregon State University konzentriert.
• Die Einführungen der Panelteilnehmer stellen domänenübergreifende Expertise in den Bereichen akademisches Rechnen, Speicherinnovationen und Unternehmensinfrastruktur her.
• Die Mission der Oregon State University ist wie folgt: Förderung der wissenschaftlichen Forschung bei gleichzeitiger Verbesserung des studentischen Engagements durch KI.
• Chris Sullivan hebt ein langjähriges Engagement hervor, das Forschung und akademische IT miteinander verbindet und den praktischen Einsatz neuer Technologien betont.
• Durch die frühzeitige Einordnung wird KI als datenzentrierte Herausforderung und nicht als reines Rechenproblem dargestellt, was den Ton für die Sitzung vorgibt.

05:00–10:00 Uhr — Datenumfang und Realitäten der KI-Arbeitslast

• Bei umfangreichen wissenschaftlichen Arbeitsabläufen, wie beispielsweise der Planktonbildgebung, entstehen Hunderte von Terabytes an Daten pro Experiment, die eine schnelle Verarbeitung erfordern.
• Das Training stellt nur einen kleinen Teil der gesamten Arbeitslast dar; die Inferenz dominiert in einem massiven Umfang und umfasst oft Milliarden von Datenpunkten.
• Die zeitliche Relevanz bestimmt die Anforderungen an die Infrastruktur, da verzögerte Erkenntnisse den wissenschaftlichen Wert mindern.
• Kontinuierliche Rückkopplungsschleifen integrieren die Inferenzergebnisse zurück in die Trainingsmodelle und erhöhen so die Genauigkeit im Laufe der Zeit.
• Simulationsworkloads bleiben von entscheidender Bedeutung, da sie Daten in KI-Pipelines einspeisen und den Rechenbedarf weiter erhöhen.

10:00–15:00 Uhr — Edge-KI und Infrastrukturflexibilität

• Umstellung von zentralisierten Trainingsclustern auf verteilte Inferenz am Netzwerkrand, einschließlich Einsätzen auf Schiffen und in abgelegenen Umgebungen.
• Flexible Plattformen, wie beispielsweise GPU-dichte Server mit SSDs hoher Kapazität, ermöglichen den Einsatz in verschiedenen Umgebungen.
• Hochdichte Speicher ermöglichen die lokale Verarbeitung von Datensätzen im Petabyte-Bereich und verringern so die Abhängigkeit von zentralisierten Rechenzentren.
• Die Echtzeitverarbeitung ermöglicht eine adaptive Datenerfassung, wodurch die Effizienz gesteigert und die Betriebskosten gesenkt werden.
• Edge-Inference bringt neue Designüberlegungen hinsichtlich Robustheit, Skalierbarkeit und Modularität mit sich.

15:00–20:00 Uhr — KI-Entwicklung in Unternehmen und GPU-Nutzung

• Branchenwandel von frühen KI-Investitionen mit Fokus auf Training hin zu weitverbreiteten, inferenzbasierten Implementierungen.
• Traditionelle Unternehmensanwendungen werden KI-fähig und nutzen GPUs zur Leistungssteigerung.
• Der Tokenverbrauch und die Komplexität der Arbeitsabläufe nehmen deutlich zu, da agentenbasierte und mehrstufige KI-Prozesse immer häufiger eingesetzt werden.
• Die Infrastruktur muss für sprunghafte, unvorhersehbare Arbeitslasten und nicht für einen konstanten Bedarf ausgelegt sein.
• Die Planung für Skalierbarkeit und zukünftiges Wachstum ist heute unerlässlich, selbst für erste Implementierungen.

20:00–25:00 Uhr — Datenmanagement und Herausforderungen des Ampelsystems

• Die Zugänglichkeit der Daten erweist sich als Hauptengpass, da große Datensätze aufgrund mangelhafter Metadaten und schlechter Auffindbarkeit oft nicht ausreichend genutzt werden.
• Retrieval-Augmented Generation benötigt aussagekräftige Metadaten, nicht nur Attribute auf Dateiebene.
• Wissenschaftliche und unternehmerische Umgebungen stehen vor ähnlichen Herausforderungen beim Verständnis und der Monetarisierung gespeicherter Daten.
• Redundante Datensätze und mangelnde Transparenz verdeutlichen die Ineffizienzen der aktuellen Speicherpraktiken.
• Eine effektive Datenkuratierung gilt als Grundlage für die Erschließung des Potenzials von KI.

25:00–30:00 Uhr – KI in der Bildung und sicherer Umgang mit Daten

• Oregon State setzt KI-gestützte Systeme zur Studierendenbewertung ein, die videobasierte Einreichungen und automatisierte Beurteilungen nutzen.
• Die Einhaltung der FERPA-Bestimmungen und die Anforderungen an den Datenschutz sind ausschlaggebend für Entscheidungen bezüglich der Infrastruktur vor Ort.
• Lokaler Speicher mit hoher Kapazität ermöglicht die sichere Verarbeitung großer Mengen an von Schülern generierten Inhalten.
• Die Systeme müssen die kontinuierliche Erfassung, Verarbeitung und Speicherung über mehrere Kurse und Zeiträume hinweg unterstützen.
• KI ermöglicht skalierbares Feedback von Studierenden, ohne die Arbeitsbelastung der Dozenten zu erhöhen.

30:00–35:00 — Cloud vs. On-Premise und Token-Ökonomie

• Steigende Cloud-Kosten und der Token-Verbrauch treiben Workloads wieder zurück in die lokalen Rechenzentren, insbesondere im Bereich der Inferenz.
• Tokenomics wird zu einem wichtigen operativen Aspekt, insbesondere in akademischen Umgebungen mit begrenzten Budgets.
• Es entstehen Hybridstrategien, bei denen lokale Ressourcen für Experimente und die Cloud für gezielte, hochwertige Aufgaben genutzt werden.
• Techniken zur Abfrageoptimierung und Token-Reduzierung werden für die Kostenkontrolle immer wichtiger.
• Bedenken hinsichtlich Datensouveränität und Compliance bestärken die Akzeptanz von On-Premise-Lösungen zusätzlich.

35:00–40:00 — Modelloptimierung und mehrstufige KI-Architekturen

• Strategien mit gestaffelten Modellen nutzen kleinere, spezialisierte Modelle für Routineaufgaben und größere Modelle für komplexe Abfragen.
• Die Zusammenarbeit von CPU und GPU ermöglicht eine effizientere Ressourcennutzung über verschiedene Arbeitslasten hinweg.
• On-Premise-Systeme ermöglichen iteratives Experimentieren ohne zusätzliche Kosten und verbessern so die Workflow-Effizienz.
• Zwischenspeicherung und Speicheroptimierung reduzieren die Neuberechnung und verbessern die Leistung.
• Zukünftige Architekturen werden die Modellauswahl und -orchestrierung zunehmend automatisieren.

40:00–45:00 — Infrastrukturintelligenz und operative KI

• Künstliche Intelligenz wird in das Infrastrukturmanagement integriert und ermöglicht so vorausschauende Überwachung und automatisierte Fehlerbehebung.
• On-Premise KI-Agenten überwachen die Campus-Systeme und erkennen Ausfälle, bevor diese den Betrieb beeinträchtigen.
• Kleinere, zielgerichtete Modelle erweisen sich für operative Aufklärungsanwendungen als effektiv.
• Fortschritte bei der Hardware, insbesondere bei GPUs, ermöglichen rasante Leistungssteigerungen bei gleichzeitig verbesserter Effizienz.
• Energiebeschränkungen prägen das Systemdesign, wobei Effizienz Vorrang vor reiner Skalierbarkeit hat.

45:00–50:00 — Stromversorgung, Kühlung und Rechenzentrumsdesign

• Leistungsdichte und Kühlung sind heute die wichtigsten Einschränkungen beim Einsatz von KI-Infrastruktur.
• Flüssigkeitskühlung ermöglicht im Vergleich zur Luftkühlung eine höhere Leistung, geringere Geräuschentwicklung und eine verbesserte Energieeffizienz.
• Die Nachrüstung bestehender Rechenzentren mit Flüssigkeitskühlung ist machbar und kostengünstig.
• Verbesserungen der Speichereffizienz ermöglichen es, mehr Energie den Rechenressourcen zuzuweisen.
• Innovationen im Bereich der Kühlung, wie z. B. Kühlplatten und Tauchkühlung, reduzieren den Gesamtenergieaufwand erheblich.

50:00–55:00 — Leistungssteigerungen und praktische Anwendung

• Flüssigkeitskühlung verbessert nicht nur die Effizienz, sondern ermöglicht durch BIOS-Tuning auch eine höhere, dauerhafte Leistung.
• Die reduzierte akustische Belastung ermöglicht den Einsatz von KI-Systemen in unkonventionellen Umgebungen.
• Universitäten und Unternehmen können durch Energieeinsparungen und Leistungssteigerungen einen signifikanten ROI erzielen.
• Bei der Auswahl einer Kühlstrategie müssen Komplexität, Kosten und betriebliche Ziele in Einklang gebracht werden.
• Einsätze in der Praxis bestätigen die Leistungsvorteile fortschrittlicher Kühlverfahren.

55:00–Ende — Adoptionsstrategien und die Demokratisierung von KI

• Die Senkung der Markteintrittsbarrieren ist von entscheidender Bedeutung, wobei On-Premise-Sandbox-Umgebungen risikofreies Experimentieren ermöglichen.
• Partnerschaften mit Anbietern und ISVs sind unerlässlich für die Integration von Hardware, Software und Arbeitsabläufen.
• Programme wie Hardware-Leihsysteme ermöglichen es Organisationen, die KI-Infrastruktur zu testen, bevor sie sich endgültig festlegen.
• Vorvalidierte Software-Stacks vereinfachen die Bereitstellung und beschleunigen die Wertschöpfung.
• Eine breite Akzeptanz hängt davon ab, dass kleinere Institutionen in die Lage versetzt werden, klein anzufangen, schnell zu iterieren und bei Bedarf zu skalieren.

Nachfolgend finden Sie Links zu früheren Artikeln über die Forschung der Oregon State University.

KI auf See: Oregon State sticht in See, um den Ozean in Echtzeit zu erforschen
Podcast #145: Warum Edge-KI wichtig ist (mit der Oregon State University)
Wie Metrum AI und die Oregon State University den neuen Standard für akademische Bewertung setzen