AI op zee: Oregon State zet koers naar realtime onderzoek van de oceaan

“Wij geven om technologieën die de wetenschap veranderen.”

— Christopher Sullivan, directeur – Onderzoek en academisch computergebruik – Faculteit Aard-, Oceaan- en Atmosferische Wetenschappen – Oregon State University

In het Plankton Ecology Lab van de Oregon State University , gevestigd in het Hatfield Marine Science Center , begint het gesprek over infrastructuur met een wetenschappelijk doel. Hoe kan technologie onderzoekers helpen onze oceanen beter en sneller te begrijpen, terwijl elk uniek datapunt dat ze op zee verzamelen, behouden blijft? Het antwoord hangt steeds meer af van rekenkracht, GPU-acceleratie en compacte NVMe-opslag, die in dienst staan ​​van de wetenschap in plaats van andersom.

Het lab bestudeert de basis van het mariene voedselweb door hoge-resolutiebeelden en omgevingstelemetrie vast te leggen en deze stromen vervolgens om te zetten in inzichten. Dat werk is niet abstract. Het is veldwerk dat afhankelijk is van schepen, sensoren en tijdvensters die niet gereconstrueerd kunnen worden. Het verlies van gegevens is geen ongemak. Het is het verlies van een moment in de oceaan dat nooit meer terugkomt.

Het beantwoorden van grote wetenschappelijke vragen vereist robuuste hardware. We hebben OSU bijgestaan ​​bij de validatie van een Dell PowerEdge XE7745 die GPU's combineert met NVMe SSD's met hoge dichtheid, waardoor onderzoekers data compromisloos kunnen analyseren, bewaren en delen. De nadruk ligt eerst op integriteit en betrouwbaarheid, gevolgd door snelheid op schaal. Zo verandert technologie de praktijk van de wetenschap via AI in plaats van in theorie.

Binnen het systeem

• server: Dell PowerEdge XE7745 (4U)
• processoren: Dubbele AMD EPYC 9555 64-core
• DRAM's: 24x32GB – 768GB
• GPU's: 4 × NVIDIA RTX Pro 6000-server
• Opslag: 8 × Solidigm D5-P5336 E3.S 30.72 TB
• Netwerken: 100 Gb Ethernet-offload

"Alle technologie beïnvloedt de wetenschap al. De uitdaging is om technologie te vinden die die beperkingen wegneemt."

Plankton zijn de onzichtbare architecten van het leven op aarde. Deze microscopisch kleine organismen drijven de biologische motor van de planeet aan, produceren ongeveer de helft van alle zuurstof ter wereld en vormen de basis van elk marien voedselweb. Ze absorberen enorme hoeveelheden koolstofdioxide, beïnvloeden wereldwijde klimaatcycli en dienen als vroege indicatoren voor veranderingen in ecosystemen. Plankton begrijpen betekent de gezondheid van de oceaan begrijpen, zijn rol bij het reguleren van de atmosfeer en uiteindelijk de toekomstige stabiliteit van de planeet.

Decennialang was planktononderzoek afhankelijk van netten die grote hoeveelheden monsters verzamelden, die vervolgens onder een microscoop werden geanalyseerd. Deze methoden leverden slechts momentopnames op en leidden vaak tot de aanname dat roofdieren en prooien constant in hetzelfde deel van de waterkolom met elkaar in contact kwamen. Hoge-resolutie beeldvormingssystemen die verticaal door de oceaan konden bewegen, lieten een ander beeld zien. Veel planktonsoorten en hun roofdieren bevinden zich in verschillende lagen, gescheiden door diepte, temperatuur en nutriëntengradiënten. Deze structuur was voorheen onzichtbaar. Moderne beeldvorming stelt onderzoekers in staat om niet alleen de aanwezigheid van soorten te observeren, maar ook hun verspreiding, interacties en hoe deze interacties zich ontwikkelen.

OSU beschikt over vele instrumenten voor het bestuderen van plankton, maar het belangrijkste instrument is het In Situ Ichthyoplankton Imaging System (ISIIS) . ISIIS is een platform dat door de oceaan wordt gesleept en informatie terugstuurt via een oceanografische kabel van koper en glasvezel. Twee 8K-camera's leggen silhouetten van plankton vast terwijl zeewater door het systeem stroomt. Het systeem kan tot 160 liter per seconde verwerken en registreert tegelijkertijd temperatuur-, zoutgehalte- en dieptegegevens voor contextuele informatie.

Dit proces genereert dagelijks terabytes aan data. De wetenschappers van OSU willen deze data bijna in realtime analyseren, zodat de bemanning van het schip hun bemonsteringsroutes kan aanpassen op basis van wat ze onder het oppervlak zien.

De langetermijnvisie is om AI-modellen in staat te stellen automatisch organismen te identificeren en verschuivingen in planktonpopulaties te detecteren die grotere veranderingen in de omgeving kunnen voorspellen. Het vastleggen van deze patronen op grote schaal vereist zowel geavanceerde beeldvormingssystemen als de computerinfrastructuur die visuele chaos kan omzetten in kwantificeerbare inzichten.

Tegenwoordig vindt het validatiewerk van Oregon State University plaats op het land, waar het Dell PowerEdge XE7745-systeem de immense beeldensets verwerkt die door het ISIIS-platform zijn verzameld. Deze omgeving stelt onderzoekers in staat hun modellen te verfijnen, de data-integriteit te verifiëren en te beoordelen hoe het systeem presteert onder wetenschappelijke werklasten. Het doel op de lange termijn is om deze mogelijkheid naar offshore-locaties te verplaatsen en dezelfde reken- en opslagarchitectuur aan boord van onderzoeksschepen te integreren, zodat data verwerkt en geanalyseerd kunnen worden terwijl ze nog op zee zijn. Die verschuiving van laboratoriumgebaseerde validatie naar realtime implementatie op zee zal uiteindelijk de cirkel rond maken tussen dataverzameling, -analyse en -ontdekking.

“Onze ideale workflow is dat wanneer het schip de haven bereikt, de wetenschappelijke kennis al is opgedaan.”

De volgende fase in de onderzoeksinfrastructuur van Oregon State University brengt computertechnologie rechtstreeks naar het water. De nieuwe vloot onderzoeksschepen van de universiteit, waaronder toekomstige regionale onderzoeksschepen zoals de R/V Taani , wordt ontworpen als een platform voor hoogwaardige, semi-autonome dataverzameling en -analyse. Deze schepen zullen dienen als mobiele laboratoria, uitgerust met wetenschappelijke instrumenten, sensorarrays en nu ook GPU-gestuurde computersystemen die terabytes aan data kunnen analyseren voordat ze weer aan wal zijn.

Tijdens elke reis vinden meerdere experimenten gelijktijdig plaats, van planktonbeelden en digitale visserijmonitoring tot akoestische kartering en milieumodellering. De uitdaging op zee is niet het vermogen, maar de dichtheid. Elke rackunit aan boord van het schip moet maximale prestaties leveren met minimale complexiteit, gezien het beperkte IT-ondersteuningspersoneel op zee. De gevalideerde configuratie van Dell's PowerEdge XE7745 met Solidigm's E3.S SSD's en NVIDIA RTX Pro 6000 GPU's wordt geëvalueerd als hoeksteen van deze datacenterstrategie aan boord van een schip. Door data bijna in realtime te verwerken, kunnen onderzoekers van OSU bemonsteringsroutes aanpassen, afwijkingen detecteren en weloverwogen wetenschappelijke beslissingen nemen terwijl ze nog onderweg zijn.

Deze aanpak maakt ook de integratie van kunstmatige intelligentie in de workflow mogelijk. AI-modellen die zijn getraind op historische planktonbeelden kunnen organismen classificeren, omgevingstrends identificeren en zelfs voorspellen waar hoge concentraties doelsoorten waarschijnlijk zullen voorkomen. Deze mogelijkheid transformeert een onderzoeksexpeditie van een passieve dataverzamelingsmissie in een actieve, adaptieve verkenningsactiviteit. In combinatie met betrouwbare, redundante NVMe-opslag en supersnelle netwerken resulteert dit in een veerkrachtige edge-computeomgeving, speciaal gebouwd voor ontdekkingen.

De visie is om van elk OSU-onderzoeksschip een autonoom, AI-gestuurd observatorium te maken. Data die door de instrumenten van het schip worden verzameld, stromen rechtstreeks naar de computerclusters aan boord, waar ze kunnen worden geanalyseerd, gearchiveerd en via 100 Gb Ethernet-verbindingen kunnen worden overgedragen wanneer het schip terugkeert naar de haven. Tegen de tijd dat het schip aanmeert, zullen wetenschappers al bruikbare inzichten, gevalideerde resultaten en de zekerheid hebben dat er geen enkele byte aan data in zee verloren is gegaan.

"Als je op zee milieugegevens verzamelt, kost elk uur duizenden dollars."

De gegevens die aan boord van de onderzoeksschepen van Oregon State University worden verzameld, behoren tot de meest waardevolle informatie binnen de wetenschappelijke gemeenschap. Elke minuut van de operatie vertegenwoordigt de tijd, brandstof, bemanning en apparatuur van het schip die samenwerken om omstandigheden vast te leggen die zich mogelijk nooit meer zullen voordoen. Zelfs een fractie van die gegevens verliezen is geen optie. Sullivans team ontwierp hun infrastructuur rond één principe: elk stukje moet worden bewaard, geverifieerd en geanalyseerd voordat het schip ooit weer aanmeert aan de kade.

Om dat doel te bereiken, valideert OSU de Dell PowerEdge XE7745 , een 4U luchtgekoeld platform dat is ontworpen voor GPU-versnelde workloads. Dit systeem combineert twee AMD EPYC-processors met maximaal acht (in dit geval vier) NVIDIA RTX Pro 6000 Server GPU's gebaseerd op de Blackwell-architectuur. Elke GPU biedt 96 GB snel GDDR7-geheugen en geavanceerde tensor-cores, specifiek ontworpen voor AI-inferentie en beeldverwerking, waardoor onderzoekers realtime omgevingsgegevens met hoge resolutie kunnen analyseren.

De beperkte schijfposities in de XE7745 maakten de capaciteit per slot een bepalende factor, waardoor OSU acht Solidigm D5-P5336 E3.S SSD's van 30.72 TB integreerde . Dit biedt bijna 250 TB flashopslag in een compact formaat, waarbij de efficiëntie van Solidigm's QLC NAND-technologie wordt gecombineerd met enterprise-firmware die is geoptimaliseerd voor constante schrijfprestaties en data-integriteit. Voor de R/V Taani, waar ruimte en koeling van essentieel belang zijn, maakt deze dichtheid het mogelijk om het gehele platform, inclusief rekenkracht, GPU-acceleratie en redundante opslag, in één 4U-chassis te plaatsen.

"We testen deze systemen grondig om te zien hoe ver ze kunnen gaan."

De validatiefase bij Oregon State richt zich op het begrijpen hoe goed de Dell PowerEdge XE7745 de volledige plankton-imagingworkflow van begin tot eind ondersteunt. Het doel is niet alleen om de snelheid te meten, maar ook om te bevestigen dat het systeem gegevens betrouwbaar kan verwerken op de schaal en in het tempo dat vereist is voor scheepsoperaties.

Tegenwoordig verzamelt het lab meer dan 15 terabyte aan beeld- en omgevingsgegevens per dag tijdens een typische onderzoeksmissie. Met het XE7745-platform verwerkt het team momenteel ongeveer twee terabyte aan ruwe video per dag. Deze workflow gebruikt 256 CPU-cores voor segmentatie en vier NVIDIA RTX Pro 6000 Server GPU's voor inferentie. De resulterende pipeline is ongeveer drie keer sneller dan de workflow van de vorige generatie.

De meest opvallende bevinding is dat de huidige bottleneck de CPU-segmentatie is, niet de opslagdoorvoer of GPU-verwerking. De Solidigm D5-P5336 SSD's in RAID 10 leveren consistent aanhoudende lees- en schrijfprestaties zonder achter te blijven op de verwerkingspijplijn. De GPU's behouden ook de doorvoerruimte, waardoor schaalbaarheid mogelijk is naarmate de stroom- en koelcapaciteit dit toelaat. Met andere woorden, de hardware is niet langer de beperkende factor. De architectuur legt nu de daadwerkelijke wetenschappelijke werklast bloot, waardoor het team de segmentatiefase nauwkeurig kan afstemmen.

De operationele impact is aanzienlijk. Tijdens eerdere expedities konden onderzoekers de videobeelden alleen bekijken terwijl ze werden verzameld, zonder te kunnen bevestigen of ze monsters namen van planktonrijk water of simpelweg zwevende deeltjes opvingen. Plankton volgt stromingen en concentreert zich vaak in subtiele lagen die in realtime niet zichtbaar zijn. Zonder verwerking zou een reis van tien dagen uren aan data kunnen opleveren met weinig bruikbare wetenschappelijke waarde.

Dankzij semi-realtime verwerking op de XE7745 kan het wetenschappelijke team nu de datakwaliteit beoordelen tijdens het verzamelen van gegevens. Als de beelden schaars plankton vertonen, kan het schip de diepte aanpassen of naar nieuwe coördinaten varen terwijl het nog op zee is. Deze mogelijkheid om weloverwogen aanpassingen te doen, is een van de belangrijkste redenen waarom AI-versneld computergebruik een rol speelt op onderzoeksschepen. Het verschuift de expeditie van passieve dataverzameling naar actieve wetenschappelijke exploratie.

Naarmate er meer XE7745-systemen worden toegevoegd, kan de verwerkingscapaciteit worden opgeschaald om het volledige dagelijkse datavolume te verwerken. Deze schaal wordt afgewogen tegen de fysieke realiteit van onderzoek aan boord: energieverbruik, warmteafgifte en rackdichtheid. Deze uitdagingen zijn niet technologisch, maar omgevingstechnisch van aard, en ze zijn nu zichtbaar, juist omdat het computerplatform heeft bewezen de snelheid aan te kunnen.

"Als uw technologie de wetenschap kan veranderen, laten we dan praten."

Wetenschappelijk inzicht neemt toe wanneer we de mogelijkheid krijgen om te zien wat voorheen verborgen was, en de oceanen zitten vol met dergelijke geheimen. De beeldvormingsworkflows van Oregon State University onthullen nu zeldzame planktonsoorten die een cruciale rol spelen in het mariene voedselweb, en laten tegelijkertijd zien hoe veranderingen in de omgeving, zoals stijgende oceaantemperaturen, hun overleving beïnvloeden. Plankton reageert snel op stress, waardoor ze vroege indicatoren zijn van grotere veranderingen in oceaan- en klimaatsystemen. Gedetailleerde studie ervan is essentieel om te begrijpen hoe de oceaan het leven in stand houdt en hoe dat evenwicht mogelijk verandert.

Deze vooruitgang is afhankelijk van tools die evolueren als antwoord op wetenschappelijke vragen. Modern onderzoek vereist de mogelijkheid om enorme datasets te verzamelen, verwerken en interpreteren in de omgevingen waar ze worden gegenereerd. NVMe-opslag met grote capaciteit en GPU-acceleratie maken het nu mogelijk om de verwerking dichter bij het moment van dataverzameling te brengen in plaats van volledig afhankelijk te zijn van gecentraliseerde datacenters. Voor OSU betekent dit realtime of bijna realtime analyse aan de edge, waar wetenschappelijke beslissingen het verloop van de dataverzameling zelf kunnen beïnvloeden.

De samenwerking tussen Oregon State University en haar technologiepartners weerspiegelt een gedeeld begrip van de doelen en doelstellingen. De grenzen van onderzoek liggen niet in de gestelde vragen, maar in de antwoorden die worden gegeven. De grenzen liggen in het praktische vermogen om de hoeveelheid informatie die de oceaan biedt te verwerken. Wanneer het ontwerp van rekenkracht, opslag en workflows aansluit bij de wetenschappelijke behoeften, beginnen de beperkingen te verdwijnen.

Vooruitkijkend liggen de kansen in het ontwerpen van systemen die data vastleggen, analyseren en begrijpen zonder dat deze over meerdere platforms hoeft te worden verzonden. De verwerking beweegt zich in de richting van de data, niet andersom. Clusters voor scheepscomputers, compacte NVMe-opslag en GPU-versnelde inferentie zijn stappen in de richting van dat model. Dit is geen "ambitieuze AI". Dit project toont aan dat er al een significante verschuiving gaande is in de onderzoekscomputertechnologie.

De oceaan verandert. De data zijn belangrijk. De mogelijkheden om het te begrijpen zijn beperkt. Het werk aan Oregon State laat zien wat er mogelijk is als we de juiste technologie inzetten voor de juiste vragen, op het juiste moment, op de plekken waar de wetenschap plaatsvindt.

Lees meer over het onderzoek van Oregon State University op SC25:

Dell Technologies Talk
Datum: dinsdag 18/11
Tijd: 11: 30 ben
Locatie: Hoofd Dell Booth Talk Area

Supermicro Talk
Datum: woensdag 19 november
Tijd: 5: 00 pm
Locatie: Hoofdstand Supermicro #3504