Umelá inteligencia na mori: Oregonský štát sa vydáva na plavbu, aby študoval oceán v reálnom čase

„Záleží nám na technológiách, ktoré menia vedu.“

— Christopher Sullivan, riaditeľ – Výskum a akademická výpočtová technika – Vysoká škola vied o Zemi, oceáne a atmosfére – Oregonská štátna univerzita

V Laboratóriu planktónovej ekológie Oregonskej štátnej univerzity , ktoré sa nachádza v Hatfield Marine Science Center , sa diskusia o infraštruktúre začína vedeckým cieľom. Ako môže technológia pomôcť výskumníkom lepšie a rýchlejšie pochopiť naše oceány a zároveň zachovať každý jedinečný dátový bod, ktorý zhromaždia na mori? Odpoveď čoraz viac závisí od výpočtového výkonu, akcelerácie GPU a hustého úložiska NVMe, ktoré slúžia vede a nie naopak.

Laboratórium študuje základy morskej potravinovej siete zachytávaním snímok s vysokým rozlíšením a environmentálnej telemetrie a následnou premenou týchto prúdov na poznatky. Táto práca nie je abstraktná. Je to terénna veda, ktorá závisí od lodí, senzorov a časových okien, ktoré sa nedajú znovu vytvoriť. Strata údajov nie je nepríjemnosťou. Je to strata okamihu v oceáne, ktorá sa už nikdy nevráti.

Odpovedanie na rozsiahle vedecké otázky si vyžaduje robustný hardvér. Sledovali sme OSU pri overovaní servera Dell PowerEdge XE7745, ktorý spája grafické procesory s vysokohustotnými NVMe SSD diskami, čo umožňuje výskumníkom analyzovať, uchovávať a zdieľať dáta bez kompromisov. Dôraz sa kladie na integritu a spoľahlivosť, až potom na rýchlosť vo veľkom meradle. Takto technológia mení vedeckú prax prostredníctvom umelej inteligencie, a nie len v teórii.

Vnútri systému

• Server: Dell PowerEdge XE7745 (4U)
• Procesory: Duálny AMD EPYC 9555 64-jadrový
• DRAM: 24 x 32 GB – 768 GB
• GPU: 4 × Server NVIDIA RTX Pro 6000
• Skladovanie: 8 × Solidigm D5-P5336 E3.S 30.72 TB
• Siete: 100 Gb Ethernetové odľahčenie

„Všetky technológie už skresľujú vedu. Výzvou je nájsť technológiu, ktorá tieto obmedzenia odstráni.“

Planktón je neviditeľný architekt života na Zemi. Tieto mikroskopické organizmy poháňajú biologický motor planéty, produkujú zhruba polovicu svetového kyslíka a tvoria základ každého morského potravinového reťazca. Absorbujú obrovské množstvo oxidu uhličitého, ovplyvňujú globálne klimatické cykly a slúžia ako skoré indikátory zmien ekosystémov. Pochopenie planktónu znamená pochopenie zdravia oceánov, jeho úlohy pri regulácii atmosféry a v konečnom dôsledku aj budúcej stability planéty.

Výskum planktónu sa desaťročia spoliehal na siete, ktoré zhromažďovali hromadné vzorky, ktoré sa potom analyzovali pod mikroskopom. Tieto metódy produkovali iba snímky a často viedli k predpokladu, že predátori a korisť neustále interagovali v tej istej oblasti vodného stĺpca. Zobrazovacie systémy s vysokým rozlíšením, ktoré sa dokážu vertikálne pohybovať oceánom, odhalili iný obraz. Mnohé druhy planktónu a ich predátori zaberajú odlišné vrstvy oddelené hĺbkou, teplotou a gradientmi živín. Táto štruktúra bola predtým neviditeľná. Moderné zobrazovanie umožňuje výskumníkom pozorovať nielen prítomnosť druhov, ale aj ich rozloženie, interakcie a to, ako sa tieto interakcie vyvíjajú.

OSU má mnoho nástrojov na štúdium planktónu, ale jej primárnym prístrojom je systém zobrazovania ichtyoplanktónu In Situ (ISIIS) . ISIIS je ťahaná platforma, ktorá sa pohybuje oceánom a posiela informácie späť cez medený/optický oceánografický drôt. Dve 8K kamery zachytávajú siluety planktónu, keď morská voda preteká systémom, pričom zobrazujú až 160 litrov za sekundu a zároveň zaznamenávajú údaje o teplote, slanosti a hĺbke pre kontext.

Tento proces generuje každý deň terabajty údajov. Vedci z OSU ich chcú analyzovať takmer v reálnom čase, aby posádky lodí mohli upraviť svoje trasy odberu vzoriek na základe toho, čo vidia pod hladinou.

Dlhodobou víziou je umožniť modelom umelej inteligencie automaticky identifikovať organizmy a detekovať zmeny v populáciách planktónu, ktoré by mohli predznamenávať väčšie zmeny v životnom prostredí. Zachytenie týchto vzorcov vo veľkom meradle si vyžaduje pokročilé zobrazovacie systémy aj výpočtovú infraštruktúru schopnú transformovať vizuálny chaos na kvantifikovateľné poznatky.

V súčasnosti prebieha validačná práca na Oregonskej štátnej univerzite na pevnine, kde systém Dell PowerEdge XE7745 spracováva obrovské súbory obrázkov zhromaždené platformou ISIIS. Toto prostredie umožňuje výskumníkom spresniť ich modely, overiť integritu údajov a posúdiť, ako systém funguje pri vedeckom zaťažení. Dlhodobým cieľom je presunúť túto funkciu do zahraničia a zabudovať rovnakú výpočtovú a úložnú architektúru na palubu výskumných plavidiel, aby sa údaje mohli spracovávať a analyzovať ešte na mori. Tento prechod od validácie v laboratóriu k nasadeniu v reálnom čase v oceáne je to, čo v konečnom dôsledku uzavrie cyklus medzi zberom, analýzou a objavovaním údajov.

„Naším ideálnym pracovným postupom je, že keď loď dorazí do prístavu, veda je už hotová.“

Ďalšia fáza výskumnej infraštruktúry Oregonskej štátnej univerzity prináša výpočtovú techniku ​​priamo na vlny. Nová flotila výskumných plavidiel univerzity, vrátane pripravovaných výskumných plavidiel regionálnej triedy, ako je R/V Taani , je navrhnutá ako platforma pre vysokovýkonný, poloautonómny zber a analýzu údajov. Tieto lode budú slúžiť ako mobilné laboratóriá, ktoré budú niesť vedecké prístroje, senzorové polia a teraz aj výpočtové systémy riadené grafickými procesormi, ktoré dokážu analyzovať terabajty údajov ešte predtým, ako sa vrátia na breh.

Každá plavba bude zahŕňať viacero súbežných experimentov, od zobrazovania planktónu a digitálneho monitorovania rybolovu až po akustické mapovanie a modelovanie životného prostredia. Výzvou na mori nie je výkon, ale hustota. Každá racková jednotka na palube plavidla musí poskytovať maximálny výkon s minimálnou zložitosťou, vzhľadom na obmedzený počet pracovníkov IT podpory na mori. Overená konfigurácia servera Dell PowerEdge XE7745 s SSD diskami Solidigm E3.S a grafickými kartami NVIDIA RTX Pro 6000 sa vyhodnocuje ako základný kameň tejto stratégie dátového centra na lodi. Spracovaním údajov takmer v reálnom čase môžu výskumníci OSU upravovať trasy odberu vzoriek, detegovať anomálie a robiť informované vedecké rozhodnutia ešte počas plavby.

Tento prístup tiež umožňuje integráciu umelej inteligencie do pracovného postupu. Modely umelej inteligencie trénované na historických snímkach planktónu dokážu klasifikovať organizmy, identifikovať environmentálne trendy a dokonca predpovedať, kde sa pravdepodobne vyskytnú vysoké koncentrácie cieľových druhov. Táto schopnosť transformuje výskumnú expedíciu z pasívneho zberu údajov na aktívne, adaptívne prieskumné úsilie. V kombinácii so spoľahlivým, redundantným úložiskom NVMe a vysokorýchlostnou sieťou je výsledkom odolné prostredie edge compute určené na objavovanie.

Víziou je premeniť každé výskumné plavidlo OSU na samostatné observatórium s umelou inteligenciou. Dáta zhromaždené prístrojmi lode budú prúdiť priamo do palubných výpočtových klastrov, kde ich bude možné analyzovať, archivovať a po návrate lode do prístavu spustiť cez 100 Gb ethernetové pripojenie. V čase, keď loď zakotve, budú mať vedci už užitočné poznatky, overené výsledky a istotu, že ani jeden bajt dát sa nestratil v mori.

„Keď zaznamenávate environmentálne údaje na mori, každá hodina stojí tisíce dolárov.“

Dáta zhromaždené na palube výskumných plavidiel Oregonskej štátnej univerzity patria medzi najcennejšie informácie vo vedeckej komunite. Každá minúta prevádzky predstavuje čas lode, palivo, posádku a vybavenie, ktoré pracujú spoločne, aby zachytili podmienky, ktoré sa už nemusia nikdy opakovať. Strata čo i len zlomku týchto údajov nie je možná. Sullivanov tím navrhol svoju infraštruktúru na základe jedného princípu: každý kúsok musí byť zachovaný, overený a analyzovaný skôr, ako sa loď vráti k doku.

Aby sa tento cieľ splnil, OSU overuje Dell PowerEdge XE7745 , 4U vzduchom chladenú platformu vytvorenú pre pracovné zaťaženia akcelerované GPU. Tento systém spája dva procesory AMD EPYC s až ôsmimi (v tomto prípade štyrmi) grafickými procesormi NVIDIA RTX Pro 6000 Server založenými na architektúre Blackwell. Každá grafická karta ponúka 96 GB vysokorýchlostnej pamäte GDDR7 a pokročilé tenzorové jadrá, špeciálne navrhnuté pre inferenciu umelej inteligencie a spracovanie obrazu, čo umožňuje výskumníkom analyzovať environmentálne údaje s vysokým rozlíšením v reálnom čase.

Obmedzený počet pozícií pre disky v modeli XE7745 urobil z kapacity na slot určujúci faktor, čo viedlo spoločnosť OSU k integrácii ôsmich 30.72 TB SSD diskov Solidigm D5-P5336 E3.S. Tieto disky ponúkajú takmer 250 TB flash úložiska v kompaktnom prevedení, ktoré kombinuje účinnosť QLC NAND pamäte od spoločnosti Solidigm s podnikovým firmvérom optimalizovaným pre trvalý výkon zápisu a integritu dát. Pre obytný automobil Taani, kde sú priestor a chladenie vzácne, táto hustota umožňuje umiestniť celú platformu, výpočtový výkon, akceleráciu GPU a redundantné úložisko do jedného 4U šasi.

„Skúšame tieto systémy doťahovať, aby sme zistili, ako ďaleko to dokážu.“

Fáza validácie na Oregonskej štátnej univerzite sa zameriava na pochopenie toho, ako dobre Dell PowerEdge XE7745 podporuje kompletný pracovný postup zobrazovania planktónu od začiatku do konca. Cieľom nie je len merať rýchlosť, ale potvrdiť, že systém dokáže spoľahlivo spracovávať údaje v rozsahu a tempe požadovanom počas prevádzky lode.

Laboratórium dnes počas typického výskumného nasadenia zachytáva viac ako 15 terabajtov snímok a údajov o prostredí denne. S platformou XE7745 tím v súčasnosti spracováva približne dva terabajty surového videa denne. Tento pracovný postup využíva 256 jadier CPU na segmentáciu a štyri grafické procesory NVIDIA RTX Pro 6000 Server na inferenciu. Výsledný proces je zhruba trikrát rýchlejší ako pracovný postup predchádzajúcej generácie.

Najpozoruhodnejším zistením je, že súčasným úzkym hrdlom je segmentácia CPU, nie priepustnosť úložiska alebo spracovanie GPU. SSD disky Solidigm D5-P5336 v poli RAID 10 konzistentne poskytujú stabilný výkon čítania a zápisu bez toho, aby zaostávali za procesným procesom. GPU si tiež zachovávajú dostatočnú priepustnosť, čo umožňuje možnosti škálovania podľa toho, ako to dovoľujú zdroje napájania a chladenia. Inými slovami, hardvér už nie je limitujúcim faktorom. Architektúra teraz odhaľuje skutočné vedecké zaťaženie, čo umožňuje tímu presne vyladiť fázu segmentácie.

Prevádzkový dopad je značný. V predchádzajúcich expedíciách mohli výskumníci sledovať video stream iba tak, ako bol zhromažďovaný, a neboli schopní potvrdiť, či odoberali vzorky vody bohatej na planktón, alebo len zachytávali suspendované častice. Planktón sleduje prúdy a často sa koncentruje v jemných vrstvách, ktoré nie sú v reálnom čase viditeľné. Bez spracovania by desaťdňová plavba mohla priniesť hodiny údajov s malou použiteľnou vedeckou hodnotou.

Vďaka spracovaniu v poloreálnom čase na XE7745 môže vedecký tím teraz vyhodnotiť kvalitu údajov počas ich zberu. Ak snímky ukazujú riedky planktón, loď môže zmeniť hĺbku alebo sa presunúť na nové súradnice, kým je ešte na mori. Táto schopnosť vykonávať informované úpravy je jedným z hlavných dôvodov, prečo má výpočty s umelou inteligenciou miesto na výskumných plavidlách. Posúva expedíciu z pasívneho zberu údajov na aktívny vedecký prieskum.

S pridávaním ďalších systémov XE7745 sa môže výpočtová kapacita škálovať tak, aby zvládla celý denný objem dát. Táto škála je vyvážená fyzickými realitami výskumu na palube lodí: spotreba energie, odvod tepla a hustota rackov. Tieto výzvy nie sú technologické, ale environmentálne a teraz sú viditeľné práve preto, že výpočtová platforma sa ukázala byť schopná držať krok.

„Ak vaša technológia dokáže zmeniť vedu, poďme sa porozprávať.“

Vedecké poznanie napreduje, keď získame schopnosť vidieť to, čo bolo predtým skryté, a oceány sú plné takýchto tajomstiev. Zobrazovacie pracovné postupy na Oregonskej štátnej univerzite teraz odhaľujú vzácne druhy planktónu, ktoré hrajú kľúčovú úlohu v morskom potravinovom reťazci, a zároveň demonštrujú, ako zmeny prostredia, ako napríklad rastúce teploty oceánov, ovplyvňujú ich prežitie. Planktón rýchlo reaguje na stres, vďaka čomu je skorým indikátorom väčších zmien v oceánskych a klimatických systémoch. Ich podrobné štúdium je nevyhnutné pre pochopenie toho, ako oceán udržiava život a ako sa táto rovnováha môže meniť.

Tento pokrok závisí od nástrojov, ktoré sa vyvíjajú v reakcii na vedecké otázky. Moderný výskum si vyžaduje schopnosť zhromažďovať, spracovávať a interpretovať rozsiahle súbory údajov v prostrediach, kde vznikajú. Veľkokapacitné úložisko NVMe a akcelerácia GPU teraz umožňujú presunúť spracovanie bližšie k bodu zberu údajov, namiesto toho, aby sa úplne spoliehalo na centralizované dátové centrá. Pre OSU to znamená analýzu v reálnom alebo takmer reálnom čase na okraji siete, kde vedecké rozhodnutia môžu ovplyvniť samotný priebeh zberu údajov.

Spolupráca medzi Oregonskou štátnou univerzitou a jej technologickými partnermi odráža spoločné pochopenie cieľov a zámerov. Limity výskumu nespočívajú v kladených otázkach, ale skôr v poskytovaných odpovediach. Limity predstavujú praktickú schopnosť spracovať objem informácií, ktoré oceán poskytuje. Keď sa výpočtové prostriedky, úložisko a návrh pracovného postupu zhodujú s vedeckými potrebami, obmedzenia začnú miznúť.

S výhľadom do budúcnosti spočíva príležitosť v navrhovaní systémov, ktoré zachytávajú, analyzujú a chápu dáta bez toho, aby bolo potrebné ich prenášať medzi viacerými platformami. Spracovanie sa pohybuje v smere dát, nie naopak. Palubné výpočtové klastre, husté úložiská NVMe a inferencia akcelerovaná GPU sú krokmi k tomuto modelu. Toto nie je „aspiračná umelá inteligencia“. Tento projekt demonštruje, že vo výskumných výpočtoch už prebieha významný posun.

Oceán sa mení. Dáta sú dôležité. Možnosti na ich pochopenie sú obmedzené. Práca na Oregonskej štátnej univerzite ukazuje, čo sa stane možným, keď prinesieme správnu technológiu na správne otázky, v správnom čase, na miestach, kde sa veda deje.

Získajte viac informácií o výskume Oregonskej štátnej univerzity na SC25:

Diskusia o technológiách spoločnosti Dell
Dátum: utorok 18. 11.
Čas: 11:30
Miesto: Hlavná prednášková zóna stánku Dell

Supermicro Talk
Dátum: Streda 19. 11.
Čas: 5: 00 pm
Miesto: Hlavný stánok spoločnosti Supermicro č. 3504