Podcast #148: LinkedIn Live – AI is een dataprobleem

StorageReview heeft verschillende recensies en een podcast gepubliceerd op basis van onderzoek dat is uitgevoerd aan de Oregon State University. Links naar deze artikelen vindt u onderaan dit transcript. De artikelen hebben niet alleen in de onderzoekswereld, maar ook binnen de leveranciersgemeenschap veel belangstelling gewekt. Het gesprek ging vervolgens over hoe docenten AI gebruiken en monitoren in de klas en tijdens toetsen, met een focus op hoe ze kennis en de kwaliteit van het leren meten.

De discussie draait om hoe al deze technologie samenkomt om concrete AI-resultaten te creëren, niet alleen op het gebied van wetenschappelijk onderzoek, waar we later op terugkomen, maar ook voor de leerresultaten van studenten aan de Oregon State University, en hoe al deze componenten samenkomen om fenomenale oplossingen te vormen.

Vanwege de overweldigende respons op de eerste evaluatie met Christopher Sullivan, hebben we besloten een live LinkedIn-evenement te organiseren om de vooruitgang in AI-resultaten op het gebied van onderzoek en onderwijs te bespreken. Onze gasten waren onder andere:

• Christopher Sullivan – Directeur onderzoek en academische computerfaciliteiten voor het College of Earth, Ocean, and Atmospheric Sciences aan de Oregon State University.
• Alan Bumgardner – Directeur Associate Planning and Pathfinding bij Celadon Corporation.
• Seamus Jones – Directeur technische marketing engineering voor computer-, netwerk- en duurzaamheidsoplossingen bij Dell.

Onze deelnemers aan dit live-evenement waren betrokken bij het planktononderzoek van OSU, hetzij via een directe band (Chris) of in een rol als leverancier. Als u de eerste berichtgeving nog niet hebt gelezen of de daaropvolgende podcast nog niet hebt beluisterd, zult u het onderzoek interessant en relevant vinden voor de huidige milieuproblematiek.

Hoewel het evenement een uur duurt, is er geen sprake van marketing of verkooppraatjes, maar is het wel interactief en informatief. Als je geen tijd hebt om de podcast van begin tot eind te beluisteren, hebben we hem opgedeeld in segmenten van vijf minuten, zodat je kunt springen naar de gedeeltes die je interesseren.

00:00–05:00 — Inleiding en contextschets

• Brian Beeler begint met een technische, niet-commerciële discussie over de concrete resultaten van AI in onderzoek en onderwijs aan de Oregon State University.
• De panelleden introduceren expertise op verschillende domeinen, variërend van academisch computergebruik en innovatie op het gebied van opslag tot bedrijfsinfrastructuren.
• De missie van Oregon State is als volgt omschreven: wetenschappelijk onderzoek bevorderen en tegelijkertijd de betrokkenheid van studenten vergroten door middel van AI.
• Chris Sullivan benadrukt zijn jarenlange betrokkenheid bij onderzoek en academische IT, waarbij hij de nadruk legt op de praktische toepassing van opkomende technologieën.
• De eerste inleiding positioneert AI als een datacentrische uitdaging in plaats van een puur computerprobleem, waarmee de toon voor de sessie wordt gezet.

05:00–10:00 — Dataschaal en de realiteit van de AI-werkbelasting

• Grootschalige wetenschappelijke projecten, zoals het in beeld brengen van plankton, genereren honderden terabytes aan data per experiment en vereisen snelle verwerking.
• Training vormt slechts een klein deel van de totale werklast; inferentie domineert op een enorme schaal, vaak met miljarden datapunten.
• Tijdsgebonden relevantie bepaalt de infrastructuurvereisten, aangezien inzichten die pas later beschikbaar komen de wetenschappelijke waarde verminderen.
• Continue feedbackloops integreren de inferentieresultaten terug in de trainingsmodellen, waardoor de nauwkeurigheid in de loop van de tijd toeneemt.
• Simulatieworkloads blijven cruciaal, omdat ze data leveren aan AI-pipelines en de rekenkracht verder vergroten.

10:00–15:00 — Edge AI en infrastructuurflexibiliteit

• Overstap van gecentraliseerde trainingsclusters naar gedistribueerde inferentie aan de rand van het netwerk, inclusief implementaties op schepen en in afgelegen omgevingen.
• Flexibele platforms, zoals servers met veel GPU's en SSD's met hoge capaciteit, maken implementatie in meerdere omgevingen mogelijk.
• Opslag met hoge dichtheid maakt het mogelijk om datasets van petabyte-formaat lokaal te verwerken, waardoor de afhankelijkheid van gecentraliseerde datacenters afneemt.
• Realtime verwerking maakt adaptieve gegevensverzameling mogelijk, wat de efficiëntie verbetert en de operationele kosten verlaagt.
• Edge-inferentie introduceert nieuwe ontwerpoverwegingen met betrekking tot robuustheid, schaalbaarheid en modulariteit.

15:00–20:00 — Evolutie van AI in het bedrijfsleven en GPU-gebruik

• De industrie verschuift van vroege AI-investeringen die zich richtten op training naar grootschalige, op inferentie gebaseerde implementaties.
• Traditionele bedrijfsapplicaties worden steeds meer AI-bewust en maken gebruik van GPU's voor prestatieverbeteringen.
• Het gebruik van tokens en de complexiteit van workflows nemen aanzienlijk toe naarmate agentgebaseerde en meerstaps AI-processen vaker voorkomen.
• De infrastructuur moet ontworpen worden voor onregelmatige, onvoorspelbare werkbelastingen in plaats van voor een constante vraag.
• Plannen maken voor schaalbaarheid en toekomstige groei is nu essentieel, zelfs bij de eerste implementaties.

20:00–25:00 — Uitdagingen op het gebied van gegevensbeheer en RAG

• De toegankelijkheid van data blijkt een belangrijk knelpunt te zijn, waarbij grote datasets vaak onderbenut worden vanwege gebrekkige metadata en vindbaarheid.
• Retrieval-Augmented Generation vereist zinvolle metadata, niet alleen attributen op bestandsniveau.
• Zowel wetenschappelijke als zakelijke omgevingen staan ​​voor vergelijkbare uitdagingen als het gaat om het begrijpen en te gelde maken van opgeslagen data.
• Overbodige datasets en een gebrek aan inzicht wijzen op de inefficiënties van de huidige opslagpraktijken.
• Effectief databeheer wordt gezien als essentieel voor het ontsluiten van de waarde van AI.

25:00–30:00 — AI in het onderwijs en veilige gegevensverwerking

• Oregon State zet AI-gestuurde studentenevaluatiesystemen in met behulp van video-inzendingen en geautomatiseerde beoordelingen.
• FERPA-naleving en vereisten op het gebied van gegevensbescherming zijn bepalend voor beslissingen over on-premises infrastructuur.
• Dankzij de lokale opslag met hoge capaciteit kunnen grote hoeveelheden door studenten gegenereerd materiaal veilig worden verwerkt.
• Systemen moeten continue opname, verwerking en opslag van gegevens over meerdere cursussen en tijdsperioden ondersteunen.
• AI maakt schaalbare feedback van studenten mogelijk zonder de werkdruk van docenten te verhogen.

30:00–35:00 — Cloud versus on-premise en token-economie

• Stijgende cloudkosten en toenemend tokenverbruik zorgen ervoor dat workloads, met name voor inferentie, weer terug naar on-premises worden verplaatst.
• Tokenomics wordt een belangrijke operationele overweging, met name in academische omgevingen met budgetbeperkingen.
• Er ontstaan ​​hybride strategieën, waarbij lokale resources worden gebruikt voor experimenten en de cloud voor gerichte taken met hoge toegevoegde waarde.
• Query-optimalisatie en tokenreductietechnieken worden steeds belangrijker voor kostenbeheersing.
• Zorgen over datasoevereiniteit en naleving van regelgeving versterken de voorkeur voor on-premise oplossingen.

35:00–40:00 — Modeloptimalisatie en gelaagde AI-architecturen

• Gelaagde modelstrategieën maken gebruik van kleinere, gespecialiseerde modellen voor routinetaken en grotere modellen voor complexe query's.
• De samenwerking tussen CPU en GPU maakt een efficiënter gebruik van resources mogelijk voor verschillende workloads.
• Systemen die lokaal geïnstalleerd zijn, maken iteratieve experimenten mogelijk zonder extra kosten, waardoor de efficiëntie van de workflow verbetert.
• Caching en geheugenoptimalisatie verminderen herberekeningen en verbeteren de prestaties.
• Toekomstige architecturen zullen de modelselectie en -orkestratie steeds meer automatiseren.

40:00–45:00 — Infrastructuurintelligentie en operationele AI

• AI wordt steeds vaker geïntegreerd in infrastructuurbeheer, waardoor voorspellende monitoring en geautomatiseerde probleemoplossing mogelijk worden.
• Lokale AI-agenten bewaken de systemen op de campus en sporen storingen op voordat deze de bedrijfsvoering beïnvloeden.
• Kleinere, op specifieke doelgroepen gerichte modellen blijken effectief te zijn voor operationele inlichtingentoepassingen.
• Hardware-innovaties, met name op het gebied van GPU's, zorgen voor snelle prestatieverbeteringen met een hogere efficiëntie.
• Beperkingen op het gebied van energievoorziening bepalen het systeemontwerp, waarbij efficiëntie prioriteit krijgt boven pure schaalvergroting.

45:00–50:00 — Stroomvoorziening, koeling en ontwerp van datacenters

• Vermogensdichtheid en koeling zijn tegenwoordig de belangrijkste beperkingen bij de uitrol van AI-infrastructuur.
• Vloeistofkoeling maakt hogere prestaties, minder geluidsoverlast en een verbeterde energie-efficiëntie mogelijk in vergelijking met luchtkoeling.
• Het achteraf uitrusten van bestaande datacenters met vloeistofkoeling is haalbaar en kosteneffectief.
• Dankzij verbeteringen in de opslagefficiëntie kan er meer rekenkracht worden toegewezen aan computerbronnen.
• Innovatieve koeltechnieken, waaronder koelplaten en onderdompeling, verlagen de totale energiekosten aanzienlijk.

50:00–55:00 — Prestatieverbeteringen en praktische implementatie

• Vloeistofkoeling verbetert niet alleen de efficiëntie, maar maakt ook hogere, aanhoudende prestaties mogelijk door middel van BIOS-aanpassingen.
• Door de verminderde geluidsoverlast kunnen AI-systemen in onconventionele omgevingen worden ingezet.
• Universiteiten en bedrijven kunnen een aanzienlijk rendement op hun investering behalen door energiebesparing en prestatieverbetering.
• Bij de keuze van een koelstrategie is het belangrijk om een ​​balans te vinden tussen complexiteit, kosten en operationele doelstellingen.
• Praktische toepassingen bevestigen de prestatievoordelen van geavanceerde koelmethoden.

55:00–Einde — Adoptiestrategieën en de democratisering van AI

• Het verlagen van de drempel voor deelname is cruciaal, waarbij on-premise sandbox-omgevingen risicovrije experimenten mogelijk maken.
• Samenwerking met leveranciers en ISV's is essentieel voor de integratie van hardware, software en workflows.
• Programma's zoals hardwareleensystemen stellen organisaties in staat om AI-infrastructuur te testen voordat ze zich eraan vastleggen.
• Vooraf gevalideerde softwarepakketten vereenvoudigen de implementatie en versnellen de realisatie ervan.
• Brede acceptatie is afhankelijk van het mogelijk maken voor kleinere instellingen om klein te beginnen, snel te experimenteren en naar behoefte op te schalen.

Hieronder vindt u links naar eerdere artikelen die verband houden met het onderzoek dat is uitgevoerd door Oregon State University.

AI op zee: Oregon State zet koers naar realtime onderzoek van de oceaan
Podcast #145: Waarom Edge AI belangrijk is met Oregon State University
Hoe Metrum AI en Oregon State University de nieuwe standaard voor academische beoordeling ontwikkelen.