Podcast #148: LinkedIn Live – Umělá inteligence je problém s daty

StorageReview publikoval několik recenzních článků a podcast založených na výzkumu provedeném na Oregonské státní univerzitě. Odkazy na tyto články naleznete ve spodní části tohoto přepisu. Články vyvolaly značný zájem nejen ve výzkumu, ale i v celé komunitě dodavatelů. Diskuse se poté rozšířila na to, jak pedagogové používají a sledují umělou inteligenci ve výuce a během testování, se zaměřením na to, jak měří znalosti a kvalitu učení.

Diskuse se zaměří na to, jak se všechny tyto technologie spojují a vytvářejí skutečné výsledky v oblasti umělé inteligence, a to nejen ve vědecké oblasti výzkumu, o které se budeme bavit, ale i ve výsledcích studentů na Oregonské státní univerzitě, a jak se všechny tyto komponenty spojují a vytvářejí fenomenální řešení.

Vzhledem k ohromné ​​odezvě na úvodní recenzi provedenou s Christopherem Sullivanem jsme se rozhodli uspořádat živou akci na LinkedInu, kde bychom diskutovali o pokroku v oblasti výsledků umělé inteligence v oblasti výzkumu i vzdělávání. Mezi naše hosty patřili:

• Christopher Sullivan – ředitel výzkumu a akademických výpočtů na Fakultě věd o Zemi, oceánu a atmosféře na Oregonské státní univerzitě.
• Alan Bumgardner – ředitel pro plánování a vyhledávání partnerů ve společnosti Celadon Corporation.
• Seamus Jones – ředitel technického marketingového inženýrství pro výpočetní techniku, sítě a udržitelnost ve společnosti Dell.

Naši účastníci této živé akce se podíleli na výzkumu planktonu na OSU, ať už přímo (Chris), nebo v rolích souvisejících s dodavateli. Pokud jste nečetli úvodní zpravodajství nebo neposlouchali následný podcast, shledáte výzkum zajímavým a relevantním pro dnešní environmentální témata.

Přestože akce trvá hodinu, neobsahuje žádný marketingový ani prodejní projev, je interaktivní a informativní. Pokud nemáte čas si podcast poslechnout od začátku do konce, rozdělili jsme ho na pětiminutové segmenty, abyste si mohli procházet sekce, které vás zajímají.

00:00–05:00 — Úvod a kontext

• Brian Beeler zahajuje technickou, neprodejní diskusí zaměřenou na reálné výsledky umělé inteligence ve výzkumu a vzdělávání na Oregonské státní univerzitě.
• Úvodní panely představí odborné znalosti napříč oblastmi, které zahrnují akademické výpočty, inovace v oblasti ukládání dat a podnikové infrastruktury.
• Posláním Oregonské státní univerzity je: rozvíjet vědecký výzkum a zároveň zlepšovat zapojení studentů prostřednictvím umělé inteligence.
• Chris Sullivan zdůrazňuje dlouhodobé zapojení, které propojuje výzkum a akademické IT, s důrazem na praktické nasazení nově vznikajících technologií.
• V raných fázích vývoje je umělá inteligence spíše datově orientovaná než čistě výpočetní problém, což udává tón celé relaci.

05:00–10:00 — Realita škálování dat a pracovní zátěže s umělou inteligencí

• Rozsáhlé vědecké úlohy, jako je zobrazování planktonu, generují stovky terabajtů dat na experiment a vyžadují rychlé zpracování.
• Trénování představuje malou část celkové pracovní zátěže; inference dominuje v masivním měřítku a často zahrnuje miliardy datových bodů.
• Časová relevance řídí požadavky na infrastrukturu, protože opožděné poznatky snižují vědeckou hodnotu.
• Kontinuální zpětnovazební smyčky integrují výsledky inference zpět do trénovacích modelů, čímž se v průběhu času zvyšuje přesnost.
• Simulační úlohy zůstávají kritické, dodávají data do procesů umělé inteligence a dále rostou výpočetní nároky.

10:00–15:00 — Edge AI a flexibilita infrastruktury

• Přejděte od centralizovaných školicích clusterů k distribuované inferenci na okraji sítě, včetně nasazení na lodích a ve vzdálených prostředích.
• Flexibilní platformy, jako jsou servery s vysokou hustotou grafických procesorů a vysokokapacitními SSD disky, umožňují nasazení ve více prostředích.
• Vysokohustotní úložiště umožňuje lokální zpracování datových sad v rozsahu petabajtů, což snižuje závislost na centralizovaných datových centrech.
• Zpracování v reálném čase umožňuje adaptivní sběr dat, což zvyšuje efektivitu a snižuje provozní náklady.
• Inference na okrajích zavádí nové konstrukční aspekty pro zvýšení robustnosti, škálovatelnost a modularitu.

15:00–20:00 — Vývoj podnikové umělé inteligence a využití GPU

• Průmysl se posunul od raných investic do umělé inteligence zaměřených na školení směrem k rozsáhlému nasazení řízenému inferencí.
• Tradiční podnikové aplikace se stávají vědomými umělé inteligence a využívají grafické procesory pro zvýšení výkonu.
• Využívání tokenů a složitost pracovních postupů se výrazně zvyšují, protože se stále více rozšířují procesy umělé inteligence založené na agentech a vícekrokové procesy.
• Infrastruktura musí být navržena pro prudké a nepředvídatelné pracovní zatížení, nikoli pro ustálenou poptávku.
• Plánování škálovatelnosti a budoucího růstu je nyní nezbytné, a to i pro počáteční nasazení.

20:00–25:00 — Správa dat a výzvy RAG

• Přístupnost dat se jeví jako hlavní úzké hrdlo, přičemž velké datové sady jsou často nedostatečně využívány kvůli špatným metadatům a nedostatečné objevitelnosti.
• Generování rozšířeného vyhledávání vyžaduje smysluplná metadata, nejen atributy na úrovni souborů.
• Vědecké a podnikové prostředí čelí podobným výzvám v porozumění a monetizaci uložených dat.
• Redundantní datové sady a nedostatečná viditelnost zdůrazňují neefektivitu současných postupů ukládání dat.
• Efektivní sběr dat je považován za základ pro využití hodnoty umělé inteligence.

25:00–30:00 — Umělá inteligence ve vzdělávání a bezpečné nakládání s daty

• Oregonská státní univerzita zavádí systémy hodnocení studentů řízené umělou inteligencí, které využívají videozáznamy a automatizovaná hodnocení.
• Rozhodnutí o infrastruktuře v místních podmínkách jsou ovlivněna dodržováním zákona FERPA a požadavky na ochranu osobních údajů.
• Vysokokapacitní lokální úložiště umožňuje bezpečnou práci s velkými objemy obsahu generovaného studenty.
• Systémy musí podporovat nepřetržitý příjem, zpracování a uchovávání dat napříč různými kurzy a časovými rámcemi.
• Umělá inteligence umožňuje škálovatelnou zpětnou vazbu od studentů bez zvýšení pracovní zátěže fakulty.

30:00–35:00 — Cloud vs. On-Prem a ekonomika tokenů

• Rostoucí náklady na cloud a spotřeba tokenů nutí úlohy zpět do lokálních prostředí, zejména v oblasti inference.
• Tokenomika se stává klíčovým provozním hlediskem, zejména v akademickém prostředí s rozpočtovými omezeními.
• Objevují se hybridní strategie, které využívají lokální zdroje pro experimentování a cloud pro cílené úkoly s vysokou hodnotou.
• Techniky optimalizace dotazů a redukce tokenů se stávají klíčovými pro kontrolu nákladů.
• Obavy týkající se datové suverenity a dodržování předpisů dále posilují přijetí on-premise systémů.

35:00–40:00 — Optimalizace modelů a vrstvené architektury umělé inteligence

• Strategie vícevrstvých modelů využívají menší, specializované modely pro rutinní úkoly a větší modely pro složité dotazy.
• Spolupráce CPU a GPU umožňuje efektivnější využití zdrojů napříč úlohami.
• On-premise systémy umožňují iterativní experimentování bez cenových sankcí, což zlepšuje efektivitu pracovních postupů.
• Optimalizace mezipaměti a paměti snižují nutnost přepočítávání a zlepšují výkon.
• Budoucí architektury budou stále více automatizovat výběr a orchestraci modelů.

40:00–45:00 — Infrastrukturní inteligence a operační umělá inteligence

• Umělá inteligence je začleňována do správy infrastruktury, což umožňuje prediktivní monitorování a automatizovanou nápravu.
• Místní agenti umělé inteligence monitorují systémy kampusu a identifikují selhání dříve, než ovlivní provoz.
• Menší, cílené modely se ukazují jako efektivní pro případy použití v operačním zpravodajství.
• Pokroky v hardwaru, zejména v oblasti grafických procesorů (GPU), přinášejí rychlé zvýšení výkonu a zároveň vyšší efektivitu.
• Omezení výkonu formují návrh systému, upřednostňují efektivitu před hrubým rozsahem.

45:00–50:00 — Napájení, chlazení a návrh datových center

• Hustota výkonu a chlazení jsou nyní primárními omezeními při nasazení infrastruktury umělé inteligence.
• Kapalinové chlazení umožňuje vyšší výkon, nižší hlučnost a lepší energetickou účinnost ve srovnání s chlazením vzduchem.
• Dodatečné vybavení stávajících datových center kapalinovým chlazením je proveditelné a nákladově efektivní.
• Vylepšení efektivity úložiště umožňují přidělit více energie výpočetním zdrojům.
• Inovace v oblasti chlazení, včetně chladicích desek a imerzního chlazení, výrazně snižují celkové energetické režijní náklady.

50:00–55:00 — Zvýšení výkonu a praktické nasazení

• Kapalinové chlazení nejen zlepšuje účinnost, ale také umožňuje vyšší trvalý výkon prostřednictvím ladění systému BIOS.
• Snížený akustický dopad umožňuje nasazení systémů umělé inteligence v netradičním prostředí.
• Univerzity a podniky mohou dosáhnout smysluplné návratnosti investic prostřednictvím úspor energie a zvýšení výkonu.
• Výběr strategie chlazení vyžaduje vyvážení složitosti, nákladů a provozních cílů.
• Reálné nasazení potvrzují výhody pokročilých chladicích metod z hlediska výkonu.

55:00–Konec — Strategie adopce a demokratizace umělé inteligence

• Snížení vstupních bariér je zásadní, přičemž lokální sandboxová prostředí umožňují bezrizikové experimentování.
• Partnerství s dodavateli a nezávislými výrobci softwaru (ISV) jsou nezbytná pro integraci hardwaru, softwaru a pracovních postupů.
• Programy jako systémy pro zapůjčení hardwaru umožňují organizacím otestovat infrastrukturu umělé inteligence předtím, než se k ní zavážou.
• Předem ověřené softwarové balíčky zjednodušují nasazení a zrychlují dobu návratnosti investic.
• Široké přijetí závisí na tom, zda menší instituce mohou začít v malém, rychle iterovat a škálovat podle potřeby.

Následují odkazy na předchozí články týkající se výzkumu provedeného Oregonskou státní univerzitou.

Umělá inteligence na moři: Oregonský stát vyplul na plavbu, aby studoval oceán v reálném čase
Podcast č. 145: Proč je EDGE AI důležitý s Oregonskou státní univerzitou
Jak Metrum AI a Oregonská státní univerzita budují nový standard pro akademické hodnocení