StorageReview ha pubblicato diverse recensioni e un podcast basati su ricerche condotte presso l'Oregon State University. I link a questi articoli sono disponibili in fondo a questa trascrizione. Gli articoli hanno suscitato notevole interesse non solo nella comunità scientifica, ma anche tra i fornitori. La conversazione si è poi ampliata su come gli insegnanti utilizzano e monitorano l'IA in classe e durante le valutazioni, concentrandosi su come misurano la conoscenza e la qualità dell'apprendimento.
La discussione verte su come tutte queste tecnologie si stiano combinando per creare risultati concreti nell'ambito dell'intelligenza artificiale, non solo nella ricerca scientifica, che approfondiremo in seguito, ma anche per quanto riguarda i risultati degli studenti presso l'Oregon State University, e su come tutti questi elementi si uniscano per dare vita a soluzioni eccezionali.
Visto l'enorme successo riscosso dalla prima analisi condotta con Christopher Sullivan, abbiamo deciso di organizzare un evento live su LinkedIn per discutere dei progressi nell'ambito dell'intelligenza artificiale, sia nella ricerca che nella didattica. Tra i nostri ospiti figuravano:
- Christopher Sullivan – Direttore della ricerca e del calcolo accademico presso il College of Earth, Ocean, and Atmospheric Sciences della Oregon State University.
- Alan Bumgardner – Direttore della pianificazione e dell'individuazione di percorsi strategici presso Celadon Corporation.
- Seamus Jones – Direttore dell'ingegneria del marketing tecnico per i settori elaborazione, reti e sostenibilità presso Dell.
I partecipanti a questo evento dal vivo erano coinvolti nella ricerca sul plancton dell'OSU, sia direttamente (Chris) sia in ruoli legati ai fornitori. Se non avete letto l'articolo iniziale o ascoltato il podcast di approfondimento, troverete la ricerca interessante e pertinente al tema ambientale odierno.
Sebbene l'evento duri un'ora, non prevede attività di marketing o di vendita, ma è interattivo e informativo. Se non avete tempo di ascoltare il podcast dall'inizio alla fine, lo abbiamo suddiviso in segmenti di cinque minuti in modo che possiate passare direttamente alle sezioni che vi interessano.
00:00–05:00 — Introduzione e contestualizzazione
- Brian Beeler apre la presentazione con una discussione tecnica, priva di intenti commerciali, incentrata sui risultati concreti dell'intelligenza artificiale nella ricerca e nella didattica presso la Oregon State University.
- Le presentazioni dei relatori mettono in luce competenze trasversali che spaziano dal calcolo accademico all'innovazione nel campo dell'archiviazione dati e alle infrastrutture aziendali.
- La missione dell'Oregon State University è così delineata: promuovere la ricerca scientifica e al contempo migliorare il coinvolgimento degli studenti attraverso l'intelligenza artificiale.
- Chris Sullivan sottolinea un impegno di lunga data che unisce ricerca e informatica accademica, ponendo l'accento sull'implementazione pratica delle tecnologie emergenti.
- L'approccio iniziale presenta l'IA come una sfida incentrata sui dati piuttosto che come un mero problema di calcolo, definendo così il tono della sessione.
05:00–10:00 — Scala dei dati e realtà dei carichi di lavoro dell'IA
- I carichi di lavoro scientifici su larga scala, come l'imaging del plancton, generano centinaia di terabyte di dati per esperimento e richiedono un'elaborazione rapida.
- L'addestramento rappresenta una piccola parte del carico di lavoro totale; l'inferenza domina su vasta scala, spesso coinvolgendo miliardi di punti dati.
- La rilevanza temporale determina i requisiti infrastrutturali, poiché le informazioni ottenute con ritardo riducono il valore scientifico.
- I cicli di feedback continuo integrano i risultati dell'inferenza nei modelli di addestramento, aumentando la precisione nel tempo.
- I carichi di lavoro di simulazione rimangono cruciali, alimentando i processi di intelligenza artificiale con i dati e incrementando ulteriormente le esigenze di calcolo.
10:00–15:00 — Intelligenza artificiale edge e flessibilità dell'infrastruttura
- Passaggio da cluster di addestramento centralizzati all'inferenza distribuita in periferia, comprese implementazioni a bordo di navi e in ambienti remoti.
- Piattaforme flessibili, come i server con un'elevata densità di GPU e unità SSD ad alta capacità, consentono l'implementazione in ambienti multipli.
- L'archiviazione ad alta densità consente di elaborare localmente set di dati di dimensioni pari a petabyte, riducendo la dipendenza dai data center centralizzati.
- L'elaborazione in tempo reale consente la raccolta adattiva dei dati, migliorando l'efficienza e riducendo i costi operativi.
- L'inferenza dei bordi introduce nuove considerazioni di progettazione per la robustezza, la scalabilità e la modularità.
15:00–20:00 — Evoluzione dell'IA aziendale e utilizzo delle GPU
- Il settore sta passando da investimenti iniziali nell'IA incentrati sull'addestramento a implementazioni diffuse basate sull'inferenza.
- Le applicazioni aziendali tradizionali stanno diventando consapevoli dell'intelligenza artificiale, sfruttando le GPU per ottenere miglioramenti delle prestazioni.
- L'utilizzo dei token e la complessità dei flussi di lavoro stanno aumentando significativamente con la crescente diffusione di processi di intelligenza artificiale basati su agenti e a più fasi.
- L'infrastruttura deve essere progettata per gestire carichi di lavoro intermittenti e imprevedibili, piuttosto che una domanda costante.
- Pianificare la scalabilità e la crescita futura è ormai essenziale, anche per le implementazioni iniziali.
20:00–25:00 — Gestione dei dati e sfide RAG
- L'accessibilità ai dati emerge come un collo di bottiglia primario, con grandi insiemi di dati spesso sottoutilizzati a causa di metadati inadeguati e difficoltà di reperimento.
- La generazione potenziata per il recupero richiede metadati significativi, non solo attributi a livello di file.
- Sia gli ambienti scientifici che quelli aziendali si trovano ad affrontare sfide simili nella comprensione e nella monetizzazione dei dati archiviati.
- I set di dati ridondanti e la mancanza di visibilità evidenziano le inefficienze delle attuali pratiche di archiviazione.
- Una gestione efficace dei dati è considerata fondamentale per sbloccare il valore dell'intelligenza artificiale.
25:00–30:00 — Intelligenza artificiale nell'istruzione e gestione sicura dei dati
- L'Università statale dell'Oregon utilizza sistemi di valutazione degli studenti basati sull'intelligenza artificiale, che si avvalgono di video e valutazioni automatizzate.
- La conformità al FERPA e i requisiti in materia di privacy dei dati influenzano le decisioni relative all'infrastruttura locale.
- L'archiviazione locale ad alta capacità consente la gestione sicura di grandi volumi di contenuti generati dagli studenti.
- I sistemi devono supportare l'acquisizione, l'elaborazione e la conservazione continue dei dati attraverso più corsi e periodi di tempo.
- L'intelligenza artificiale consente di ottenere feedback dagli studenti su larga scala senza aumentare il carico di lavoro dei docenti.
30:00–35:00 — Cloud vs. On-Premise ed Economia dei token
- L'aumento dei costi del cloud e del consumo di token sta spingendo i carichi di lavoro a tornare in locale, soprattutto per l'inferenza.
- La tokenomics diventa un fattore operativo chiave, soprattutto negli ambienti accademici con vincoli di bilancio.
- Emergono strategie ibride che utilizzano risorse on-premise per la sperimentazione e il cloud per attività mirate e ad alto valore aggiunto.
- Le tecniche di ottimizzazione delle query e di riduzione dei token stanno diventando cruciali per il controllo dei costi.
- Le preoccupazioni relative alla sovranità dei dati e alla conformità normativa rafforzano ulteriormente l'adozione di soluzioni on-premise.
35:00–40:00 — Ottimizzazione del modello e architetture di intelligenza artificiale a livelli
- Le strategie basate su modelli a livelli sfruttano modelli più piccoli e specializzati per le attività di routine e modelli più grandi per le query complesse.
- La collaborazione tra CPU e GPU consente un utilizzo più efficiente delle risorse in tutti i carichi di lavoro.
- I sistemi on-premise consentono la sperimentazione iterativa senza costi aggiuntivi, migliorando l'efficienza del flusso di lavoro.
- La memorizzazione nella cache e l'ottimizzazione della memoria riducono i ricalcoli e migliorano le prestazioni.
- Le architetture future automatizzeranno sempre più la selezione e l'orchestrazione dei modelli.
40:00–45:00 — Intelligence infrastrutturale e IA operativa
- L'intelligenza artificiale viene integrata nella gestione delle infrastrutture, consentendo il monitoraggio predittivo e la risoluzione automatizzata dei problemi.
- Gli agenti AI on-premise monitorano i sistemi del campus, identificando i guasti prima che abbiano un impatto sulle operazioni.
- I modelli più piccoli e mirati si stanno dimostrando efficaci per i casi d'uso dell'intelligence operativa.
- I progressi hardware, in particolare nel campo delle GPU, stanno portando a rapidi incrementi di prestazioni con una maggiore efficienza.
- I vincoli energetici stanno influenzando la progettazione del sistema, privilegiando l'efficienza rispetto alla pura scalabilità.
45:00–50:00 — Alimentazione, raffreddamento e progettazione dei data center
- La densità di potenza e il raffreddamento sono ormai i principali fattori limitanti nella diffusione delle infrastrutture per l'intelligenza artificiale.
- Rispetto al raffreddamento ad aria, il raffreddamento a liquido offre prestazioni superiori, minore rumorosità e maggiore efficienza energetica.
- L'ammodernamento dei data center esistenti con sistemi di raffreddamento a liquido è fattibile ed economicamente vantaggioso.
- I miglioramenti nell'efficienza dello storage consentono di allocare più potenza alle risorse di calcolo.
- Le innovazioni nel campo del raffreddamento, tra cui le piastre fredde e l'immersione, riducono significativamente il consumo energetico totale.
50:00–55:00 — Miglioramenti delle prestazioni e implementazione pratica
- Il raffreddamento a liquido non solo migliora l'efficienza, ma consente anche di ottenere prestazioni superiori e costanti grazie alla possibilità di ottimizzare il BIOS.
- La riduzione dell'impatto acustico consente di implementare i sistemi di intelligenza artificiale in ambienti non tradizionali.
- Università e imprese possono ottenere un significativo ritorno sull'investimento (ROI) grazie al risparmio energetico e al miglioramento delle prestazioni.
- La scelta della strategia di raffreddamento richiede un equilibrio tra complessità, costi e obiettivi operativi.
- Le implementazioni reali confermano i vantaggi in termini di prestazioni degli approcci di raffreddamento avanzati.
55:00–Fine — Strategie di adozione e democratizzazione dell'IA
- Abbassare le barriere all'ingresso è fondamentale, e gli ambienti sandbox on-premise consentono la sperimentazione senza rischi.
- Le partnership con i fornitori e gli ISV sono essenziali per integrare hardware, software e flussi di lavoro.
- Programmi come i sistemi di prestito hardware consentono alle organizzazioni di testare l'infrastruttura di intelligenza artificiale prima di impegnarsi in un acquisto definitivo.
- Le soluzioni software pre-validate semplificano l'implementazione e accelerano il raggiungimento dei risultati.
- Un'ampia diffusione dipende dalla possibilità offerta alle istituzioni più piccole di iniziare in piccolo, iterare rapidamente e scalare in base alle necessità.
Di seguito sono riportati i link ad articoli precedenti relativi alla ricerca condotta dalla Oregon State University.
Intelligenza artificiale in mare: l'Oregon State salpa per studiare l'oceano in tempo reale
Podcast n. 145: Perché l'intelligenza artificiale edge è importante con l'Oregon State University
Come Metrum AI e l'Università statale dell'Oregon stanno definendo il nuovo standard per la valutazione accademica.




Amazon