StorageReview.com

Jak Metrum AI a Oregonská státní univerzita budují nový standard pro akademické hodnocení

AI  ◇  Enterprise

Když jsme loni v listopadu publikovali náš článek o výzkumu zobrazování planktonu na Oregonské státní univerzitě , titulkem byla věda: infrastruktura s akcelerací umělé inteligence na palubách výzkumných plavidel, která zpracovává terabajty oceánských dat téměř v reálném čase ještě předtím, než loď vůbec dorazí do přístavu. V následujících týdnech se ale tiše stalo něco jiného. Kampusem se rozšířila zvěst o tom, čeho by ve skutečnosti mohl dosáhnout jediný server Dell PowerEdge XE7745 s osmi SSD disky Solidigm D5-P5336 E3.S a grafickými kartami NVIDIA RTX PRO 6000. Ostatní katedry se začaly ptát. Pak začaly i telefonovat. Christopher Sullivan, ředitel výzkumu a akademických výpočtů na Fakultě Země, oceánu a atmosféry Oregonské státní univerzity, nyní chce mít stojan s těmito servery, aby uspokojil rostoucí poptávku po umělé inteligenci na celé univerzitě, a příběh, který tuto ambici pohání, sahá daleko za rámec planktonu.

Oregonská státní univerzita se etablovala jako jedna z nejprogresivnějších univerzit v zemi, pokud jde o zavádění umělé inteligence jak pro výzkumné, tak pro akademické účely. Rozhodnutí o infrastruktuře, která se dnes na akademické půdě činí, spolu s navazováním partnerství se společnostmi, jako jsou Metrum AI, Dell, NVIDIA a Solidigm, nejsou jen akademickými experimenty. Pokládají základy pro nový způsob, jakým mohou univerzity poskytovat vzdělávání, hodnotit učení a chránit své studenty. Toto je příběh o tom, jak byl tento model vyvinut.

Problém, který generativní umělá inteligence zhoršila

Po celá desetiletí byly písemné úkoly ústředním bodem akademického hodnocení. Odevzdejte práci, prokažte porozumění a získejte známku. Generativní umělá inteligence tento systém zásadně změnila. Nyní může student napsat propracovanou, dobře strukturovanou esej s malým skutečným zaujetím látkou a ani zkušení učitelé nemohou spolehlivě rozpoznat, zda se jedná o autentickou práci. Důkazy o skutečném porozumění, na které se univerzity spoléhaly po generace, zeslábly.

Zřejmou alternativou je ústní hodnocení. Požádejte studenty, aby nahlas vysvětlili své úvahy, prošli si svou analýzu a obhájili své závěry. To je těžké zfalšovat. Problém je v rozsahu. Profesor, který učí 200 studentů, si nemůže sednout naproti každému z nich a provést věcnou ústní zkoušku. Na moderní univerzitě toto omezení fakticky odsunulo ústní hodnocení jako primární nástroj hodnocení. Metrum AI byla vytvořena proto, aby tuto rovnici změnila.

Co postavila umělá inteligence Metrum

Společnost Metrum AI , kterou spoluzaložili generální ředitel Steen Graham a technický ředitel Chetan Gadgil, byla vybudována na jednoduchém přesvědčení: umělá inteligence by měla vykonávat skutečnou provozní práci, ne jen demonstrovat potenciál. Společnost nasazovala multimodální agenty umělé inteligence, kteří pro zákazníky v různých odvětvích, od pojišťovnictví po výrobu, uvažují napříč videem, zvukem, dokumenty a strukturovanými daty. Metrum navázala úzké partnerství se společností Dell Technologies a ověřovala své platformy na základě infrastruktury podnikových serverů Dell v celé řadě konfigurací GPU. Akademický systém hodnocení na Oregon State University není pro Metrum klíčovým bodem; jedná se o stejnou základní funkci aplikovanou na novou problémovou oblast se stejnou filozofií návrhu „human-in-the-loop“ pro lokální prostředí, která se prolíná vším, co společnost vytváří.

Pracovní postup státu Oregon v oblasti AI společnosti Metrum

Aplikováno na akademické hodnocení, platforma zpracovává nahrané studentské video prezentace pomocí multimodální umělé inteligence a vrací návrhy hodnocení zarovnané s rubrikami k posouzení fakultou. Cíl je konkrétní: dát instruktorům partnera s umělou inteligencí, který se postará o opakující se a časově náročnou extrakci, aby se mohli soustředit na rozhodnutí, která skutečně vyžadují lidské posouzení.

Na funkční úrovni platforma provádí tři operace. Z odeslaných videí extrahuje multimodální artefakty, generuje zvukové přepisy s časovým razítkem pomocí OpenAI Whisper a zachycuje obsah snímků pomocí vizuální analýzy s využitím Qwen3-VL-30B. Na extrahovaný obsah poté aplikuje instruktorem navržené rubriky pomocí modelů uvažování Qwen3-30B-A3B, které běží na vLLM. Nakonec prezentuje návrhy hodnocení s ukazateli důkazů, přičemž každé skóre propojuje s konkrétním časovým razítkem přepisu nebo identifikátorem snímku pro kontrolu a schválení fakultou, než se cokoli dostane ke studentovi.

obrazovka státu Oregon s metrum ai

Tento poslední krok je klíčový. Žádné skóre, komentář ani zpětná vazba nejsou pro studenty viditelné, dokud je instruktor nezkontroluje, neprovede potřebné úpravy a výslovně neschválí. Systém je postaven na autoritě fakulty. Platforma navíc funguje výhradně lokálně. Toto rozhodnutí ovlivňuje vše, co se týká fungování systému, kdo mu důvěřuje a jaký hardware vyžaduje.

obrazovka stavu metru ai oregon 2

Od vedlejšího projektu profesora k mandátu prorektora

Jonathan Kalodimos je docent financí a držitel stipendia Harley and Brigitte Smith Fellow na Obchodní fakultě Oregonské státní univerzity. Jeho zázemí neodpovídá tomu, co byste očekávali od někoho, kdo je v centru dění v oblasti infrastruktury umělé inteligence. Před nástupem na OSU pracoval jako finanční ekonom v Komisi pro cenné papíry a burzy USA, kde působil jako hlavní ekonom pro paragraf 954 zákona Dodd-Frank, který stanovil pravidla pro zpětné získávání odměn vedoucích pracovníků. Jeho výzkum v oblasti správy a řízení společností a finanční regulace byl citován v denících The Wall Street Journal, The New York Times, Bloomberg a Harvard Business Review. Ukázalo se také, že má fyzikální instinkt pro přesné měření věcí.

metrum AI stát Oregon Jon

Asi před rokem Kalodimos naprogramoval pro svůj kurz MBA jednoduchý nástroj: agenta umělé inteligence pro vyhodnocení ústní složky prezentací případových studií. Studenti byli ohromeni kvalitou zpětné vazby. Projekt prezentoval během AI Week na Oregonské státní univerzitě. Společnost Dell si toho všimla, propojila ho s firmou Metrum AI a z experimentu ve třídě se stalo něco mnohem většího.

„Jakmile budete mít tento nástroj k dispozici, můžete zdokonalit svůj styl výuky a metody výuky, abyste využili jeho sílu a poskytli lepší vzdělávací zážitek.“

— Jonathan Kalodimos, docent financí a člen Harley & Brigitte Smithových, Oregonská státní univerzita

Kalodimos se snaží o to, co nazývá extrakcí založenou na důkazech, a to na principu, který popisuje jako rubrické inženýrství. To zahrnuje určení, které prvky lze ze studentské prezentace extrahovat, agregaci těchto prvků do studijních výsledků a poskytnutí strukturovaného přehledu pro fakultu o tom, kde každý student prokázal porozumění a kde selhal. „Způsob, jakým to vysvětluji skeptickým studentům,“ řekl, „je, že kdybych měl velmi podrobný kontrolní seznam a prošel bych si vaši prezentaci a odškrtával si, co jste udělali, tak to systém dělá. Je to samozřejmě mnohem sofistikovanější, ale umožňuje mi to vidět všechny příležitosti, které student má, aby prokázal, že danou látku zná.“

Uvedl dva příklady, které ilustrují, jak systém v praxi mění. V prvním případě student zhustil desetiminutovou prezentaci do pěti minut, mluvil monotónně a tempem, jako by angličtina byla druhým jazykem. Jeho projev mu zcela zatemnil porozumění. „I když jsem pozorně poslouchal,“ řekl Kalodimos, „prostě jsem to nedokázal, nebo nechtěl, rozdělit na takovou úroveň granularity, abych překonal prvek projevu a mohl se soustředit na samotné důkazy.“ Když později procházel rozbor důkazů vygenerovaný umělou inteligencí v patnáctisekundových intervalech, ukázalo se, že student látce rozuměl. Hodnocen byl projev, nikoli znalosti.

Druhý případ se týkal studenta, který pomalu sestavoval prezentaci s něčím, co se zdálo být nesouvislým, a argumentaci shrnul až na posledním snímku. Kalodimos si při sledování živého vystoupení již udělal o prezentaci nízký názor. Systém vyhodnotil práci jako ucelený oblouk a dobře ji ohodnotil. „Ani jsem si nemyslel, že by to mohla být výhoda tohoto typu hodnocení,“ řekl. „Vzdaluje se to časovému prvku hodnocení.“

Christopher Sullivan, ředitel pro výzkum a akademické výpočty, je vedoucím infrastruktury pro toto nasazení. Jeho zapojení se zintenzivnilo, když se v původním návrhu společností Metrum a Dell objevila kritická mezera v dodržování předpisů.

FERPA, datová suverenita a proč cloud není řešením

Když Sullivan vstoupil do vývoje lokální implementace platformy Metrum pro OSU, první věc, kterou identifikoval, byl problém, který nikdo plně nevyřešil: zákon o rodinných vzdělávacích právech a ochraně soukromí (FERPA).

FERPA je federální zákon upravující záznamy o vzdělávání studentů. Stanovuje přísné požadavky na to, kdo má přístup k datům studentů, za jakých podmínek a jak musí být tato data chráněna. Pro systém, jako je systém od společnosti Metrum, který přijímá studentská videa, generuje přepisy, vytváří hodnocení a ukládá kompletní historii každého rozhodnutí o známkování, není dodržování FERPA zaškrtávacím políčkem; je to architektonické omezení.

„Potřebovali jsme mít možnost přinést něco, co by splňovalo všechny mé podmínky FERPA,“ řekl Sullivan, „ale zároveň by mělo velké množství úložného prostoru.“ Cloudové zpracování s tímto požadavkem nebylo slučitelné. Směrování studentských video souborů, zvukových přepisů a hodnotících záznamů prostřednictvím externích API s umělou inteligencí by znamenalo přenos osobních údajů studentů do systémů třetích stran mimo přímou kontrolu univerzity. Smluvní a technická složitost udržování souladu s FERPA v tomto prostředí, napříč všemi dodavateli v řetězci, z toho činila nereálný projekt.

Existuje také rozměr praktické studentské zkušenosti. Studenti, kteří odevzdávají nahrané prezentace, nabízejí něco osobního: svůj hlas, svou tvář, své uvažování pod tlakem, někdy ve svém cizím jazyce. Když pochopí, že jejich video je uloženo na serveru OSU, zpracováno modelem běžícím na hardwaru OSU a řízeno vlastními datovými politikami OSU, dynamika se změní. Kalodimos to viděl přímo během pilotního projektu. „Myšlenka, že se jedná o lokální model s lokálním úložištěm a OSU studenty kryje,“ řekl, „byla hmatatelná. Opravdu potřebujeme využít institucionální důvěru, kterou si OSU vybudovalo, k ochraně našich studentů a k využití těchto lokálních řešení.“

Cloudové platformy umělé inteligence se snadno a rychle nasazují, ale vyžadují, aby instituce důvěřovaly spíše smlouvě než jejich architektuře. Pro studenty, kteří si již dávají pozor na to, jak jsou jejich data spravována, může tento rozdíl významně ovlivnit jejich ochotu k přijetí. Nasazení v místních podmínkách není jen o dodržování předpisů; vytváří základ důvěry.

Pilot, prorektor a co bude dál na OSU

Pilotní projekt je v plném proudu. Přibližně 500 studentů z různých sekcí odevzdává závěrečné projekty na konci týdne závěrečných zkoušek. Známková hodnocení musí být vrácena do 4 dnů od posledního odevzdání. Zprávy vygenerované umělou inteligencí musí být připraveny předtím, než fakulta začne s hodnocením. „Paralelně probíhá i lidská složka,“ poznamenal Kalodimos, „ale nejdříve potřebují zprávu. Pokud zpracování všech těchto prací trvá dva dny, pak je lidský faktor ještě více omezený.“ Tlak je skutečný, termín je pevně stanovený a infrastruktura plní svou funkci.

Pilotní projekt odhalil ještě jednu věc, která stojí za zmínku. Když byl profesor nedávno v polovině semestru povýšen na administrativní pozici, musel narychlo zasáhnout instruktor a kurz dokončit. Konzistentní rámec pro hodnocení umělé inteligence, který již byl zaveden s definovanými rubrikami a zavedeným pracovním postupem pro kontrolu, dal tomuto instruktorovi kontinuitu, která by jinak neexistovala. „Konzistentní systém hodnocení umělé inteligence,“ řekl Kalodimos, „rozhodně zlepší studentskou zkušenost“ právě v těch situacích, kdy nelze zaručit kontinuitu lidské výuky.

Příběh se nakonec dostal k prorektorovi OSU. Kalodimos během desetiminutové schůzky představil kompletní sadu systémů: systém Dell, výkon úložiště Solidigm, vývojářské možnosti a benchmarky infrastruktury. Schůzka však trvala čtyřicet minut. Prorektor poté zaslal e-mail řediteli IT, technickému řediteli a Sullivanovi. OSU nyní plánuje nasazení v celé univerzitě, aby byl zdroj k dispozici fakultě od jarního semestru. Správu by za něj mělo řídit nově definované oddělení pro výzkumné výpočty, které sídlí pod prorektorem a výzkumným oddělením.

Sullivan uvažuje o tomto nasazení z hlediska infrastruktury v racku. Stejná platforma XE7745, která byla základem pro práci se zobrazováním planktonu a nyní pohání hodnotící proces AI Metrum, je základem, který chce škálovat. Cílem je rack s těmito servery, který by byl k dispozici pro plynulé přesouvání mezi akademickými a výzkumnými výpočetními úlohami podle změn poptávky. V ideálním případě by servery byly vyhrazeny hodnotícímu procesu Metrum během nárůstu počtu odevzdávaných prací v polovině semestru a v závěrečných obdobích akademického kalendáře by byly znovu nasazeny na výzkumné úlohy. „Můžeme vzít stroje z této sady a na určitou dobu je přesunout do akademické výpočetní strany a pak je vrátit zpět a využít je pro výzkumné výpočty,“ řekl Sullivan. „Chceme je mít možnost znovu nasadit za chodu.“

Organické přijetí již probíhá. Fakulta zdravotnické fakulty a fakulty inženýrství nezávisle oslovila Kalodimose poté, co se o projektu dozvěděla neformálními kanály. Platforma nebyla po pilotním projektu oficiálně oznámena. Své publikum si ale stejně našla.

Problém s kapacitou, který stojí za problémem se známkováním

Existuje verze tohoto příběhu, která se týká pouze urychlení známkování. To je neúplná vize.

Rozšířenější verze se týká kapacity tříd. Sullivan popsal kurz geologie na 100 úrovních, kurz, který OSU považuje za součást svého hlavního vzdělávacího poslání a který by měl absolvovat každý student. V současné době nabízí dvě sekce po 300 studentech, celkem tedy 600 za čtvrtletí. Instruktoři jsou na hranici svých možností. Přidávání sekcí není vzhledem k současnému vyučovacímu zatížení proveditelné. „Nemohu donutit učitele, aby dělali více práce,“ řekl Sullivan. „Potřebuji vytvořit cesty, jak buď vytvořit více sekcí snížením zátěže, nebo zařadit více studentů do sekcí, které máme.“

Kalodimos podobně formuloval dimenzi Obchodní fakulty. Profesoři se sekcemi omezenými na 45 studentů z důvodů požárního zákona by měli možnost prozkoumat formáty velkých přednášek s podporou v skupinových místnostech, jakmile by se individualizované hodnocení mohlo škálovat. „Nejde jen o naplnění kapacity,“ řekl. „Jde o udržení kvality a zároveň o zkoumání různých způsobů výuky.“ Vrstva hodnocení s využitím umělé inteligence je to, co umožňuje individualizované hodnocení v rozsahu přednáškových sálů v praxi.

„Umělá inteligence nám pomáhá zvyšovat počty, aniž by se změnil dopad, sdělení nebo to, co se učíme.“

— Christopher Sullivan, ředitel výzkumu a akademických výpočtů, Oregonská státní univerzita

Chybějícím kouskem byl úložný prostor

Když Sullivan zhodnotil, co by bylo potřeba k zavedení systému Metrum do lokální infrastruktury na OSU s plným souladem s FERPA, otázka GPU byla již jasná. Referenční architektura společností Metrum a Dell prokázala, že procesor XE7745 s grafickými kartami NVIDIA RTX PRO 6000 zvládne inferenční zátěž ve velkém měřítku. Nevyřešené zůstalo úložiště.

XE7745 je 4U vzduchem chlazená platforma optimalizovaná pro hustotu GPU. Tento design je její silnou stránkou, ale má i jedno skutečné omezení: počet pozic pro diskové jednotky je omezený. „Potřeboval jsem do jednoho zařízení vložit spoustu prostoru, aniž bych musel snižovat rychlost,“ řekl Sullivan, „protože jsem nechtěl ztratit veškerou hodnotu GPU a vše, co XE7745 stálo za to. A na trhu opravdu nebylo mnoho velkokapacitních SSD řešení, která by to v krabici dokázala.“

Úložná vrstva v systému, jako je tento, nese více než jen hlavní zátěž umělé inteligence. Video soubory přicházejí ze studentského portálu a je třeba je někam okamžitě ukládat do vyrovnávací paměti. Extrahované zvukové stopy a přepisy s časovým razítkem se ukládají jako samostatné artefakty pro kontrolu fakultou. Obrázky diapozitivů a výstup OCR zaujímají vlastní vrstvu. Databáze Supabase sleduje metadata odeslaných dokumentů, hodnocení konceptů, úpravy fakulty a záznamy o schválení a běží nepřetržitě. Váhy modelů pro Whisper, Qwen3-VL a model uvažování se musí načítat dostatečně rychle, aby se předešlo úzkým místům v odvozování. A kompletní auditní stopa pro každý koncept vygenerovaný umělou inteligencí, každé přepsání ze strany fakulty a každou schvalovací akci musí být uchovávána jako dotazovatelný záznam pro akreditační kontroly, šetření akademické integrity a administrativní reporty.

Každá z těchto úloh je založena na úložišti. GPU získává zásluhy za výstup umělé inteligence. Úložiště zajišťuje nepřetržité napájení a chod GPU.

Sullivanův tým vybral Solidigm D5-P5336 ve formátu E3.S. Model XE7745 pojme osm těchto disků. S kapacitou 30.72 TB na disk to představuje více než 245 TB flash úložiště v jednom šasi 4U. D5-P5336 používá QLC NAND s podnikovým firmwarem vyladěným pro trvalý výkon zápisu a integritu dat, což je zde důležité, protože systém nezpracovává občasné záběry. Během špičkových oken pro odevzdávání dat kolem finálních zkoušek současně přijímá videa, zapisuje přepisy, zaznamenává výstup hodnocení a aktualizuje databázi.

Jak jsme zdokumentovali v našem článku o výzkumu oceánu, který se zabýval stejnou hardwarovou konfigurací, disky Solidigm v poli RAID 10 poskytovaly trvalý výkon čtení a zápisu, aniž by zaostávaly za procesním procesem. Úložiště nebylo úzkým hrdlem. Architektura odhalila skutečná omezení pracovní zátěže, takže je tým mohl vyladit tam, kde na nich záleželo. Tento ověřený závěr se přímo promítá do akademického hodnocení nasazení.

OSU jako plán pro vysokoškolské vzdělávání připravené na umělou inteligenci

Přístup Oregonské státní univerzity k infrastruktuře umělé inteligence je záměrný a stojí za to jej prozkoumat jako model pro ostatní vzdělávací instituce. Místo oportunistického nasazení nástrojů umělé inteligence prostřednictvím cloudových API učinila univerzita řadu architektonických rozhodnutí, která s umělou inteligencí zacházejí spíše jako s trvalou institucionální funkcí než jako s dodavatelskou službou. Hardware je standardizován na platformách, které zahrnují výzkumné i akademické výpočetní úlohy. Úložiště je lokální, s vysokou hustotou a je navrženo tak, aby vyhovovalo předpisům. Konečnou pravomoc nad každým hodnocením, které systém vygeneruje, si ponechávají fakultní pracovníci.

Kalodimos se výslovně vyjadřuje k přání, aby se platforma rozšířila i za hranice OSU. „Ne každá univerzita bude mít tak dobré zdroje jako my,“ řekl. „Chci se ujistit, že tato technologie bude dostupná všem univerzitám.“ Právě tento základ činí širší argument pro rovnost ve vzdělávání důvěryhodným. Instruktor na menší instituci s vyšší pedagogickou zátěží a menším počtem zdrojů tento nástroj pravděpodobně potřebuje nejvíce.

„Potřebuji úložiště a potřebuji, aby toto úložiště bylo rychlé. Umělá inteligence je bez úložiště mrtvá technologie. Je to systém řízený daty. Měli jsme algoritmy už v 1960. a 70. letech. Neměli jsme k tomu žádná data, protože jsme neměli žádné úložiště, které by tato data skutečně uchovávalo.“

— Christopher Sullivan, ředitel výzkumu a akademických výpočtů, Oregonská státní univerzita

Sullivan formuluje otázku plánování hardwaru stejným způsobem, jakým formuluje každé rozhodnutí o infrastruktuře na OSU. Modely se budou měnit. Typy vstupů, které studenti předkládají, se budou vyvíjet. Techniky hodnocení, které bude chtít fakulta používat, budou sofistikovanější. „Pořídím si větší vidličku, větší nůž nebo větší lžíci,“ řekl, „ale na straně hardwaru je to stále vidlička, nůž a lžíce. V nadcházejících letech budu dramaticky měnit modely a vstupy a teď je pro mě důležitější, aby hardware držel náskok před tím, co bude.“

Každý zpracovaný přepis, každý extrahovaný snímek, každý koncept hodnocení, každá schválená známka a každý záznam z auditu musí někde žít. V tomto systému je 245 TB flash paměti Solidigm QLC umístěno lokálně v infrastruktuře OSU, která tiše pracuje a umožňuje tak viditelnou umělou inteligenci. Rack, který Sullivan plánuje, nebude poslední. Univerzita sleduje, co tento pilotní projekt vyprodukuje, a ostatní instituce budou sledovat, co OSU dělá. To znamená být v oblasti umělé inteligence lídrem.

Zapojte se do StorageReview

Zpravodaj | YouTube | Podcast iTunes / Spotify | Instagram | Twitter | TikTok | RSS kanál

Brian Beeler

Brian sídlí v Cincinnati ve státě Ohio a je hlavním analytikem a prezidentem společnosti StorageReview.com.