Pokud pravidelně sledujete StorageReview, možná jste viděli článek o studii oceánů OSU v reálném čase. Mluvili jsme s Chrisem Sullivanem, ředitelem pro výzkum a akademické výpočty na Oregonské státní univerzitě, abychom lépe pochopili, jak technologie pomáhají výzkumníkům studovat oceánský život a jaký to má dopad na globální životní prostředí.
Brian se setkal s Chrisem na SC25, aby toto téma dále probrali. Je pro nás vzácné psát o tom, jak se technologie používají v reálných situacích, jako je výzkum planktonu na OSU, takže tento článek a podcast nám tuto příležitost daly.
Zatímco Brian a Chris diskutují o výzkumu prováděném na Oregonské státní univerzitě, panuje upřímné nadšení z toho, jak se technologie rozvíjí a podporuje probíhající oceánské studie. Chris pracuje na Oregonské státní univerzitě již více než 24 let a poslední tři roky působil jako ředitel oddělení biopočítačů.
Tento živý podcast ukazuje Chrisovo nadšení pro vědu a techniku. SC25 nazval „zemí sladkostí“.
Toto je živá a upřímná diskuse (s trochou humoru), která poskytuje skutečný vhled do toho, jak výzkum využívá technologie k dosahování výsledků v reálném čase.
Je to krátký podcast, který stojí za poslech, ale pokud máte málo času, připravili jsme přepis, který vám umožní přeskočit na nejrelevantnější části.
0: 00 - 5: 00
Proměna výzkumné lodi v plovoucí superpočítač
Chris Sullivan z Oregonské státní univerzity vysvětluje, jak nové technologie zásadně mění způsob, jakým se oceánská věda provádí, zejména rozsáhlé studie planktonu prováděné z lodí, které jsou v podstatě malými plovoucími datovými centry.
- Technologie není jen „cool vybavení“; přímo mění jaká věda je možná a míru zkreslení výsledků.
- Vědecká zkreslenost: omezené nebo zkreslené vzorky vedoucí k nepřesným závěrům; lékem je více datových bodů napříč více lokalitami.
- Cíl: Shromáždit obrovské a rozmanité datové sady, aby statistické analýzy nebyly zkresleny vzorkováním pouze z jednoho místa nebo jedné sady podmínek.
- Tradiční HPC sestavy si vynutily kompromis: rychlé lokální NVMe/SSD s omezenou kapacitou vs. velké, ale pomalejší úložné systémy první úrovně.
- Pro rozsáhlé experimenty se Chris musel spoléhat na úložiště první úrovně v celém clusteru, protože úložiště na uzlu (úložiště nula) bylo příliš malé na to, aby pojalo masivní datové sady.
- Velké „super pody“ se sdíleným úložištěm se staly nezbytnými pro napájení grafických procesorů, ale jejich nasazení v terénu nebo na moři není realistické.
5: 00 - 10: 00
Oceánští roboti, plankton a plavba za milion dolarů
Tato část se ponoří do toho, co se na lodi skutečně děje – jak se táhnou přístroje, zachycuje ohromující množství obrazových dat a proč je zpracování v poloreálném čase klíčové, když doba strávená na lodi stojí přibližně 1 milion dolarů za 10denní plavbu.
- Nové výzkumné plavidlo podporované NSF je postaveno jako „mini Star Trek Enterprise“, nabité technologií a asi 200 mil kabeláže na 200 stop dlouhé lodi.
- Dříve musel Chris hodit svůj vlastní na loď natahovat výpočetní hardware, vést optická vlákna chodbami a fungovat bez řádného palubního datového centra.
- Systém planktonu: tažené zařízení se pohybuje nahoru a dolů po vodě rychlostí 5 uzlů, táhne ~162 litrů vody za sekundu a generuje ~10 GB obrazových dat za minutu.
- Jeden 10denní experiment s planktonem: ~100 TB nezpracovaných dat; po zpracování, segmentaci a klasifikaci se tato data rozšíří na ~300–400 TB použitelných dat.
- Musí to zpracovat v poloreálném čase, jinak by se desetidenní plavba v délce 1 milionu dolarů mohla vrátit se špatnými nebo nepoužitelnými daty a bez možnosti přesměrovat loď.
- Plankton je většinou vydán na milost a nemilost proudům (nejsou to silní plavci), přesto je klíčový: tvoří ~50 % zemského kyslíku, ~25 % uhlíkového úložiště, ~17 % celosvětových potravin na obyvatele a základ mořského potravního řetězce.
10: 00 - 15: 00
Edge AI na moři i v lese
Pozornost se přesouvá z lodi na širší problém „na okraji“: jak posunout výpočetní techniku blíže k místům, kde se data vytvářejí – na lodích, ve stanicích strážců a napříč lesy plnými autonomních senzorů.
- Nové systémy založené na vysokokapacitních SSD discích jim umožňují vybudovat pravdivý Úroveň nula na jednom zařízení: ukládejte stovky TB dat, zpracovávejte je v poloreálném čase a už je nikdy nepřesouvejte.
- Dřívější testy s menšími NVMe disky vyžadovaly neustálé odlehčování zátěže, aby se uvolnil prostor, což spalovalo drahocennou šířku pásma I/O operací a zpomalovalo vědecký proces.
- Na lodi v podstatě není žádný specializovaný IT personál; jedna osoba spravuje lodní systémy a neúčastní se experimentů, takže doktorandi a postdoktorandi si musí hardware a IT procesy spravovat sami.
- To vede k požadavku na design: jednoduché, robustní kanály a samostatná zařízení – žádná křehká síť polí, úložných jednotek a svazků.
- Na okraji lesa (např. projekt Owl) provozují ~5 000 autonomních záznamových jednotek a dokáží identifikovat ~130 druhů ptáků pouze podle zvuku.
- Problém: lidé si stále musí vyzvednout SD karty; v době, kdy se data vrátí, je velká část časové hodnoty pryč. Zpracování na okraji dat si klade za cíl získat poznatky. ihned v místě zajetí.
15: 00 - 20: 00
Přizpůsobení správných grafických karet a úložiště dané úlohě
Zde rozebírají strategii GPU, trénování založené na Omniverse a proč je velkokapacitní flash paměť pro umělou inteligenci a vědeckou vizualizaci stejně důležitá jako raw computing.
- Chris zdůrazňuje používání řádný GPU pro daný úkol: velké a drahé akcelerátory (např. H100/Hopper, „grasshoppers“) by se měly zaměřit na trénování, zatímco cenově výhodnější karty jako RTX 6000 zvládají inferenci ve velkém měřítku.
- Historicky panoval zmatek: příliš mnoho překrývajících se SKU GPU, nejasné „plavecké dráhy“ a spousta peněz vynaložených na nadbytečný hardware pro jednoduché závěry.
- RTX 6000 jim dávají dvojí roli: vysoce výkonnou inferenci a grafické a renderovací funkce, které GPU určené pouze pro datová centra postrádají.
- Staví digitální dvojče lodi z Omniverse, aby:
- Školte studenty a postdoktorandy virtuálně, zatímco je loď na moři.
- Naplánujte fyzické rozvržení a nakládání zařízení v těsných, pohyblivých prostorech.
- Vyhněte se plýtvání drahým časem na lodi základním školením a metodou pokus-omyl.
- Na pohybující se lodi představuje cokoli s pohyblivými částmi riziko; pro spolehlivost a odolnost se upřednostňuje polovodičové úložiště.
- Vysokokapacitní SSD disky s malým výkonem uvolňují energetický rozpočet pro více GPU, snižují potřebu samostatných polí a zmenšují celkovou hardwarovou zastavěnou plochu.
20: 00 - 25: 00
Od kartoték k oceánům propojeným optickými vlákny
Při pohledu na oddalující se svět, jak levné úložiště umožnilo vznik moderní umělé inteligence, jak oceánské observatoře streamují data na pevninu a proč síť a úložiště společně umožňují vznik nových druhů vědy.
- Chris tvrdí, že skutečným odemknutím umělé inteligence nebyla nová matematika – většina modelů pochází z 50. a 70. let 20. století – ale levný pevný disk z 1990. let, které přesunuly data z kartoték na prohledávatelná a výpočetně proveditelná média.
- V „éře kartoték“ měli spoustu dat, ale byli „informačně chudí“ – žádné vyhledávání, žádná redundance a žádné škálovatelné zpracování.
- Vždy probíhaly závody ve zbrojení mezi rychlostí zpracování a dostupností dat; velkokapacitní SSD disky nyní opět převažují nad vahami rovnováhy tím, že moderním grafickým procesorům dodávají mnohem více dat.
- Oregonský stát je vedoucím pracovníkem v oblasti kybernetické infrastruktury pro iniciativu Ocean Observatories Initiative (OOI), což je miliardový projekt NSF/WHOI, který využívá kluzáky, bóje a držáky na mořském dně k přenosu oceánských dat.
- Uchovávají ~9 PB dat OOI s optickou páteřní sítí upgradovanou z 200 Gb/s na 400 Gb/s přes Link Oregon, což umožňuje přenos dat v reálném čase z oceánu do datového centra.
- I se Starlinkem na lodi a pozemními projekty (jako je projekt sov) omezuje šířka pásma satelitů a náklady to, co lze odeslat, takže testují LoRaWAN a další mesh sítě, aby mohli data posílat zpět do jediné strážní stanice připojené ke Starlinku.
25: 00 - 27: 52
Ponaučení pro podniky: Vaše datové centrum je nyní na okraji sítě
Konverzace končí přenesením těchto výzkumných poznatků do podniků a zdůrazněním hardwaru, který by Chris „ukradl“ z výstavní plochy.
- Hlavní sdělení pro podniky: pokud nezpracováváte data na okraji sítě, plýtváte časem a prací přenášením nezpracovaných dat tam a zpět. A promeškáte příležitosti v reálném čase.
- Okrajová umělá inteligence a agenti by měli lokálně předzpracovávat, filtrovat a analyzovat data, aby přesměrovali lidské úsilí z logistiky na úkoly s vyšší hodnotou a rozhodování.
- Analogy z reálného světa:
- Maloobchod využívá edge analytiku v obchodech ke sledování návštěvnosti, poskytování doporučení a poskytování dynamických zážitků, podobně jako lesnictví využívá edge inferenci k ochraně ohrožených druhů a zároveň umožňuje těžbu dřeva.
- Rybářské firmy chtějí „chytré pasti“ a bóje, aby vysílaly lodě pouze tehdy, když jsou v koších skutečně krabi.
- Pro Chrise jsou ideálním modelem datová centra v místních prostorách, která se stanou hrana zařízení integrovaná s cloudem pro rozsáhlé školení a dlouhodobější úlohy.
- Oblíbený hardware z pořadu: Dell PowerEdge 7745; chce jich více pro VR laboratoře a terénní nasazení, protože nacházejí správnou rovnováhu mezi výkonem a velikostí, flexibilitou a možnostmi (renderování + inference + práce na okraji sítě).
- Systémy jako 7745 považuje za vzor: dostatečně flexibilní pro použití v datovém centru nebo v náročných terénních podmínkách, s podporou tradičního HPC i pokročilé umělé inteligence/vizualizace na okraji sítě.
Amazon