存儲評論網

第145期播客:為什麼邊緣人工智慧很重要(俄勒岡州立大學)

企業

如果您經常關注 StorageReview,可能已經即時看到了俄勒岡州立大學海洋研究的報導。我們採訪了俄勒岡州立大學研究與學術計算主任克里斯·沙利文,以便更好地了解科技如何幫助研究人員研究海洋生物,以及這對全球環境有何影響。

布萊恩在SC25大會上與克里斯會面,進一步探討了這個主題。我們很少報道科技在現實世界的應用,像是俄亥俄州立大學的浮游生物研究,所以這次專題報導和播客給了我們這樣的機會。

布萊恩和克里斯在討論俄勒岡州立大學正在進行的研究時,對科技進步如何支持海洋研究的進展感到由衷的興奮。克里斯在俄勒岡州立大學工作超過24年,並在過去三年擔任生物計算主任。

這段現場播客展現了克里斯對科學技術的熱情。他稱SC25為「糖果樂園」。

這是一場生動而坦誠的討論(帶有一些幽默),它真正深入地探討了研究如何利用技術來提供即時結果。

這是一個值得一聽的短播客,但如果您時間緊迫,我們提供了文字稿,您可以直接跳到最相關的部分。

0:00 – 5:00

將科考船改造成一艘漂浮的超級計算機

俄勒岡州立大學的克里斯·沙利文解釋了新技術如何從根本上改變海洋科學的開展方式,特別是大規模浮游生物研究,這些研究基本上都是在小型漂浮數據中心的船上進行的。

  • 科技不只是「酷炫的裝備」;它直接改變世界。 科學的可能性 以及結果中存在的偏差程度。
  • 科學偏見:樣本有限或存在偏差導致結論不準確;解決方法是 更多數據點 在更多地點。
  • 目標:收集龐大、多樣化的資料集,以避免僅對一個地點或一組條件進行抽樣而導致統計分析出現偏差。
  • 傳統的高效能運算配置迫使人們做出權衡:容量有限的快速本地 NVMe/SSD 與容量大但速度較慢的一流儲存系統。
  • 對於大型實驗,Chris 不得不依賴叢集中的一級存儲,因為節點上的(零級)存儲太小,無法容納海量資料集。
  • 為了給 GPU 足夠的儲存空間,大型共享儲存「超級艙」變得必不可少,但它們價格昂貴,而且在野外或海上部署並不現實。

5:00 – 10:00

海洋機器人、浮游生物和百萬美元遊輪之旅

本節深入探討船上實際發生的事情——他們如何拖曳儀器、捕捉驚人的影像數據,以及為什麼當船舶航行時間每次 10 天航程的成本約為 1 萬美元時,半即時處理至關重要。

  • 這艘由美國國家科學基金會資助的新型研究船,建造得像一艘“迷你版星際迷航企業號”,船上裝滿了各種技術設備,在一艘 200 英尺長的船上鋪設了大約 200 英里的電纜。
  • 之前,克里斯不得不滾動他的 自己的 將計算硬體安裝到船上,在走廊上鋪設光纖,然後在沒有合適的船上資料中心的情況下運作。
  • 浮游生物系統:一個拖曳裝置以 5 節的速度在水中上下移動,每秒抽取約 162 公升水,並產生約 10 GB 的影像資料。 每分鐘.
  • 一次為期 10 天的浮游生物實驗:約 100 TB 的原始資料;經過處理、分割和分類後,可用資料量擴展至約 300-400 TB。
  • 他們必須以半即時的方式處理這些數據;否則,一艘價值 1 萬美元、為期 10 天的遊輪可能會帶著錯誤或無用的數據返回,並且沒有機會改變遊輪的航線。
  • 浮游生物大多受洋流擺佈(它們游泳能力不強),但它們至關重要:地球上約 50% 的氧氣,約 25% 的碳匯,全球人均食物的約 17%,以及海洋食物網的基礎。

10:00 – 15:00

海洋和森林中的邊緣人工智慧

關注點從船舶轉移到更廣泛的「邊緣」問題:如何將計算推向數據產生的地方——在船上、護林站以及遍布自主感測器的森林中。

  • 新型高容量固態硬碟系統使他們能夠構建 真 零級數據儲存在單一裝置上:儲存數百 TB 的數據,進行半即時處理,並且永遠不再移動數據。
  • 早期使用較小 NVMe 驅動器進行的測試需要不斷卸載資料以騰出空間,這消耗了寶貴的 IO 頻寬,並減慢了科學研究的速度。
  • 船上基本上沒有專門的 IT 人員;只有一個人負責運行船上的系統,並且不參與實驗,所以研究生和博士後必須自己管理硬體和流程。
  • 這就產生了一個設計要求:簡單、穩健的管道和自包含的設備——沒有脆弱的陣列、掛載點和磁碟區網路。
  • 在森林邊緣(例如貓頭鷹計畫),他們運行了約 5,000 個自主錄音單元,僅憑聲音就能識別約 130 種鳥類。
  • 痛點在於:仍需要人工去收集SD卡;等到資料回傳時,大部分時間價值已經消失。邊緣處理旨在提取這些洞察。 立即 在捕獲點。

15:00 – 20:00

為作業匹配合適的GPU和存儲

在這裡,他們詳細闡述了 GPU 策略、基於 Omniverse 的訓練,以及為什麼大容量快閃記憶體對於人工智慧和科學視覺化來說與原始運算同樣重要。

  • 克里斯強調使用 正確 GPU 的選擇:大型、昂貴的加速器(例如 H100/Hopper,「蚱蜢」)應該專注於訓練,而像 RTX 6000 這樣的更具成本效益的顯示卡則處理大規模推理。
  • 從歷史上看,存在著混亂:重疊的 GPU SKU 太多,「泳道」不清晰,以及在簡單的推理上浪費了大量資金購買過剩的硬體。
  • RTX 6000 系列顯示卡賦予它們雙重角色:高效能推理以及資料中心專用 GPU 所缺乏的圖形和渲染能力。
  • 他們正在建造這艘太空船的Omniverse數位孿生體,目的是:
    • 在船舶航行期間,透過線上方式訓練學生和博士後。
    • 在狹小、移動的空間內規劃實體佈局和設備裝載。
    • 避免將寶貴的船艦時間浪費在基礎訓練和反覆試驗的設定上。
  • 在航行的船上,任何帶有運動部件的東西都存在風險;固態儲存因其可靠性和彈性而成為首選。
  • 小功率封裝的高容量固態硬碟可以釋放電力預算,用於更多 GPU,減少對獨立陣列的需求,並縮小硬體總佔用空間。

20:00 – 25:00

從文件櫃到光纖連接的海洋

從更宏觀的角度來看,廉價儲存如何開啟了現代人工智慧,海洋觀測站如何將資料傳輸到岸上,以及網路和儲存如何共同推動新型科學的發展。

  • 克里斯認為,人工智慧真正的突破點不在於新的數學——大多數模型可以追溯到1950年代到70年代——而在於… 廉價硬碟 20 世紀 90 年代,資料從文件櫃轉移到可搜尋、可計算的媒體。
  • 在“文件櫃時代”,他們擁有大量數據,但卻“資訊匱乏”——沒有搜尋功能,沒有冗餘備份,也沒有可擴展的處理能力。
  • 處理速度和資料可用性之間一直存在著一場軍備競賽;如今,大容量固態硬碟的出現再次打破了這種平衡,為現代 GPU 提供了更多的資料。
  • 俄勒岡州立大學是海洋觀測計劃 (OOI) 的網路基礎設施領導單位,該計劃是由美國國家科學基金會 (NSF) 和伍茲霍爾海洋研究所 (WHOI) 共同資助的十億美元項目,利用滑翔機、浮標和海底支架來傳輸海洋數據。
  • 它們儲存約 9 PB 的海洋海洋資訊數據,光纖骨幹網路透過 Link Oregon 從 200 Gbps 升級到 400 Gbps,從而實現了從海洋到數據中心的即時數據傳輸。
  • 即使船上和陸地專案(如貓頭鷹專案)都部署了 Starlink,衛星頻寬和成本仍然限制了可以發送的資料量,因此他們正在測試 LoRaWAN 和其他網狀網絡,以便將資料推送回一個與 Starlink 連接的護林站。

25:00 – 27:52

企業經驗教訓:您的資料中心就是邊緣

對話最後將這些研究成果應用於企業,並重點介紹了克里斯會從展會現場「偷走」的硬體。

  • 給企業的核心訊息:如果不在邊緣進行處理,就會浪費時間和人力來回傳輸原始數據,並錯失即時處理的機會。
  • 邊緣人工智慧和代理應在本地進行預處理、過濾和分析,從而將人力從物流轉移到更高價值的任務和決策中。
  • 現實世界的類似例子:
    • 零售業利用邊緣分析技術在商店中追蹤客流量、提出建議並提供動態體驗,這與林業利用邊緣推理技術在保護瀕危物種的同時進行伐木作業非常相似。
    • 漁業部門希望使用「智慧蟹籠」和浮標,這樣只有當蟹籠裡真的有螃蟹時,他們才會派出漁船。
  • 對克里斯來說,理想的模式是建立在本地的資料中心,這些資料中心會變成 邊緣 整合雲端技術的設施,可用於大規模訓練和長期工作負載。
  • 展會上他最喜歡的硬體是戴爾的 PowerEdge 7745;他希望為 VR 實驗室和現場部署購買更多這樣的伺服器,因為它們在效能和占地面積、靈活性和功能(渲染 + 推理 + 邊緣運算)之間取得了合適的平衡。
  • 他認為像 7745 這樣的系統是模板:足夠靈活,可以在資料中心或惡劣的現場條件下運行,既支援傳統的高效能運算,也支援邊緣的高階人工智慧/視覺化。

參與 StorageReview

電子報| YouTube | PodcastiTunes / Spotify | Instagram | Twitter | TikTok | RSS訂閱

哈羅德弗里茨

自 IBM 創建 Selectric 以來,我一直在科技行業工作。 不過,我的背景是寫作。 因此,我決定退出售前業務,回歸本源,從事一些寫作工作,但仍從事技術工作。