StorageReview.com

Podcast n° 148 : LinkedIn Live – L’IA est un problème de données

Entreprise

StorageReview a publié plusieurs articles et un podcast basés sur une étude menée à l'Université d'État de l'Oregon. Vous trouverez les liens vers ces articles au bas de cette transcription. Ces articles ont suscité un vif intérêt, non seulement dans le milieu de la recherche, mais aussi auprès des fournisseurs. La discussion s'est ensuite étendue à la manière dont les enseignants utilisent et suivent l'IA en classe et lors des évaluations, en particulier à la façon dont ils mesurent les connaissances et la qualité de l'apprentissage.

La discussion porte sur la manière dont toutes ces technologies convergent pour créer de véritables résultats en matière d'IA, non seulement dans le domaine de la recherche scientifique, que nous aborderons plus loin, mais aussi en ce qui concerne les résultats des étudiants à l'Oregon State University, et sur la manière dont tous ces éléments s'assemblent pour aboutir à des solutions exceptionnelles.

Suite à l'accueil enthousiaste réservé à l'analyse initiale menée avec Christopher Sullivan, nous avons décidé d'organiser un événement LinkedIn en direct afin de discuter des avancées en matière d'IA dans la recherche et l'éducation. Parmi nos invités :

  • Christopher Sullivan – Directeur de la recherche et de l'informatique académique pour le Collège des sciences de la Terre, de l'océan et de l'atmosphère de l'Université d'État de l'Oregon.
  • Alan Bumgardner – Directeur de la planification et de la recherche de solutions chez Celadon Corporation.
  • Seamus Jones – Directeur de l'ingénierie marketing technique pour l'informatique, les réseaux et le développement durable chez Dell.

Nos participants à cet événement en direct étaient impliqués dans la recherche sur le plancton menée à l'OSU, soit directement (Chris), soit en tant que fournisseurs. Si vous n'avez pas encore lu l'article initial ou écouté le podcast qui suit, vous trouverez cette recherche à la fois intéressante et pertinente au regard des enjeux environnementaux actuels.

Bien que l'événement dure une heure, il ne comporte aucune publicité ni argumentaire de vente ; il est interactif et instructif. Si vous n'avez pas le temps d'écouter le podcast en entier, nous l'avons divisé en segments de cinq minutes afin que vous puissiez accéder directement aux sections qui vous intéressent.

00:00–05:00 — Introduction et mise en contexte

  • Brian Beeler commence par une discussion technique, sans visée commerciale, axée sur les résultats concrets de l'IA dans la recherche et l'éducation à l'Oregon State University.
  • Les présentations des intervenants permettent de mettre en évidence une expertise transversale couvrant l'informatique académique, l'innovation en matière de stockage et l'infrastructure d'entreprise.
  • La mission d'Oregon State est ainsi définie : faire progresser la recherche scientifique tout en améliorant l'engagement des étudiants grâce à l'IA.
  • Chris Sullivan souligne un engagement de longue date qui fait le lien entre la recherche et l'informatique universitaire, en mettant l'accent sur le déploiement pratique des technologies émergentes.
  • Le fait de présenter l'IA dès le début comme un défi axé sur les données plutôt que comme un simple problème de calcul a donné le ton à la session.

05:00–10:00 — Réalités liées à l'échelle des données et à la charge de travail de l'IA

  • Les charges de travail scientifiques à grande échelle, telles que l'imagerie du plancton, génèrent des centaines de téraoctets de données par expérience et nécessitent un traitement rapide.
  • L'entraînement ne représente qu'une petite partie de la charge de travail totale ; l'inférence domine à grande échelle, impliquant souvent des milliards de points de données.
  • La pertinence temporelle détermine les besoins en infrastructure, car les connaissances tardives diminuent la valeur scientifique.
  • Les boucles de rétroaction continues intègrent les résultats d'inférence dans les modèles d'entraînement, améliorant ainsi la précision au fil du temps.
  • Les charges de travail de simulation restent essentielles, alimentant les pipelines d'IA en données et augmentant encore les besoins en calcul.

10h00–15h00 — IA en périphérie et flexibilité de l'infrastructure

  • Passer des clusters d'entraînement centralisés à l'inférence distribuée en périphérie, y compris les déploiements sur les navires et dans des environnements distants.
  • Les plateformes flexibles, telles que les serveurs à forte densité de GPU avec SSD haute capacité, permettent un déploiement multi-environnement.
  • Le stockage haute densité permet de traiter localement des ensembles de données à l'échelle du pétaoctet, réduisant ainsi la dépendance aux centres de données centralisés.
  • Le traitement en temps réel permet une collecte de données adaptative, améliorant l'efficacité et réduisant les coûts opérationnels.
  • L'inférence en périphérie introduit de nouvelles considérations de conception en matière de robustesse, d'évolutivité et de modularité.

15h00–20h00 — Évolution de l'IA en entreprise et utilisation des GPU

  • Évolution du secteur, passant des premiers investissements en IA axés sur la formation à des déploiements généralisés basés sur l'inférence.
  • Les applications d'entreprise traditionnelles s'adaptent à l'IA et tirent parti des GPU pour améliorer leurs performances.
  • L’utilisation des jetons et la complexité des flux de travail augmentent considérablement à mesure que les processus d’IA multi-étapes et basés sur des agents se généralisent.
  • L'infrastructure doit être conçue pour des charges de travail irrégulières et imprévisibles plutôt que pour une demande stable.
  • Il est désormais essentiel d'anticiper l'évolutivité et la croissance future, même pour les déploiements initiaux.

20h00–25h00 — Gestion des données et défis RAG

  • L'accessibilité des données apparaît comme un goulot d'étranglement majeur, les grands ensembles de données étant souvent sous-utilisés en raison de métadonnées et d'une découvrabilité insuffisantes.
  • La génération augmentée par la récupération nécessite des métadonnées pertinentes, et pas seulement des attributs au niveau du fichier.
  • Les environnements scientifiques et commerciaux sont confrontés à des défis similaires en matière de compréhension et de monétisation des données stockées.
  • La redondance des données et le manque de visibilité mettent en évidence les inefficacités des pratiques de stockage actuelles.
  • La gestion efficace des données est considérée comme fondamentale pour libérer le potentiel de l'IA.

25:00–30:00 — L’IA dans l’éducation et la gestion sécurisée des données

  • L'université d'État de l'Oregon déploie des systèmes d'évaluation des étudiants basés sur l'IA, utilisant des soumissions vidéo et des évaluations automatisées.
  • Les décisions relatives à l'infrastructure sur site sont guidées par les exigences de conformité à la loi FERPA et aux normes de confidentialité des données.
  • Le stockage local haute capacité permet une gestion sécurisée de volumes importants de contenu généré par les étudiants.
  • Les systèmes doivent permettre l'ingestion, le traitement et la conservation continus des données sur plusieurs cours et périodes.
  • L'IA permet de recueillir des commentaires d'étudiants à grande échelle sans augmenter la charge de travail des enseignants.

30:00–35:00 — Cloud vs On-Prem et économie des jetons

  • La hausse des coûts du cloud et de la consommation de jetons pousse les charges de travail à revenir sur site, notamment pour l'inférence.
  • La tokenomics devient un élément opérationnel clé, notamment dans les environnements universitaires soumis à des contraintes budgétaires.
  • Des stratégies hybrides émergent, utilisant des ressources sur site pour l'expérimentation et le cloud pour les tâches ciblées à forte valeur ajoutée.
  • Les techniques d'optimisation des requêtes et de réduction du nombre de jetons deviennent essentielles pour la maîtrise des coûts.
  • Les préoccupations liées à la souveraineté des données et à la conformité renforcent encore l'adoption des solutions sur site.

35:00–40:00 — Optimisation des modèles et architectures d'IA hiérarchisées

  • Les stratégies de modélisation hiérarchisée exploitent des modèles plus petits et spécialisés pour les tâches routinières et des modèles plus grands pour les requêtes complexes.
  • La collaboration entre le CPU et le GPU permet une utilisation plus efficace des ressources pour l'ensemble des charges de travail.
  • Les systèmes sur site permettent une expérimentation itérative sans surcoût, améliorant ainsi l'efficacité du flux de travail.
  • La mise en cache et l'optimisation de la mémoire réduisent les recalculs et améliorent les performances.
  • Les architectures futures automatiseront de plus en plus la sélection et l'orchestration des modèles.

40:00–45:00 — Intelligence des infrastructures et IA opérationnelle

  • L'IA est intégrée à la gestion des infrastructures, permettant une surveillance prédictive et une correction automatisée.
  • Des agents d'IA sur site surveillent les systèmes du campus et identifient les pannes avant qu'elles n'affectent les opérations.
  • Des modèles plus petits et ciblés s'avèrent efficaces pour les cas d'utilisation du renseignement opérationnel.
  • Les progrès matériels, notamment en matière de GPU, permettent des gains de performance rapides et une efficacité accrue.
  • Les contraintes énergétiques façonnent la conception des systèmes, privilégiant l'efficacité à la simple échelle.

45:00–50:00 — Conception des centres de données, de l'alimentation électrique et du refroidissement

  • La densité de puissance et le refroidissement constituent désormais des contraintes majeures dans le déploiement des infrastructures d'IA.
  • Le refroidissement liquide permet des performances supérieures, un bruit réduit et une meilleure efficacité énergétique par rapport au refroidissement par air.
  • La modernisation des centres de données existants avec un système de refroidissement liquide est une solution viable et rentable.
  • Les améliorations apportées à l'efficacité du stockage permettent d'allouer davantage de puissance aux ressources de calcul.
  • Les innovations en matière de refroidissement, notamment les plaques froides et l'immersion, réduisent considérablement la consommation énergétique totale.

50:00–55:00 — Gains de performance et déploiement pratique

  • Le refroidissement liquide améliore non seulement l'efficacité, mais permet également des performances soutenues plus élevées grâce au réglage du BIOS.
  • La réduction de l'impact acoustique permet de déployer les systèmes d'IA dans des environnements non traditionnels.
  • Les universités et les entreprises peuvent obtenir un retour sur investissement significatif grâce aux économies d'énergie et aux gains de performance.
  • Le choix d'une stratégie de refroidissement nécessite de trouver un équilibre entre la complexité, le coût et les objectifs opérationnels.
  • Les déploiements en conditions réelles valident les gains de performance des approches de refroidissement avancées.

55:00 – Fin — Stratégies d'adoption et démocratisation de l'IA

  • Il est essentiel de réduire les barrières à l'entrée, les environnements de test sur site permettant une expérimentation sans risque.
  • Les partenariats avec les fournisseurs et les éditeurs de logiciels indépendants sont essentiels pour l'intégration du matériel, des logiciels et des flux de travail.
  • Des programmes comme les systèmes de prêt de matériel permettent aux organisations de tester leur infrastructure d'IA avant de s'engager.
  • Les piles logicielles prévalidées simplifient le déploiement et accélèrent le retour sur investissement.
  • Une adoption à grande échelle dépend de la capacité des petites institutions à démarrer modestement, à itérer rapidement et à évoluer selon leurs besoins.

Vous trouverez ci-dessous des liens vers des articles précédents relatifs aux recherches menées par l'Université d'État de l'Oregon.

L'IA en mer : l'université d'État de l'Oregon prend la mer pour étudier l'océan en temps réel
Podcast n° 145 : Pourquoi l’IA en périphérie est importante (avec l’Université d’État de l’Oregon)
Comment Metrum AI et l'Université d'État de l'Oregon établissent la nouvelle norme en matière d'évaluation académique

S'engager avec StorageReview

Newsletter | YouTube | Podcast iTunes / Spotify | Instagram | Twitter | TikTok | Flux RSS

Harold Fritt

Je suis dans l'industrie de la technologie depuis qu'IBM a créé Selectric. Ma formation, cependant, est l'écriture. J'ai donc décidé de sortir de l'avant-vente et de revenir à mes racines, en écrivant un peu mais en restant impliqué dans la technologie.