存储评论网

人工智能在海洋中的应用:俄勒冈州立大学扬帆起航,实时研究海洋

AI  ◇  企业版

“我们关注的是能够改变科学的技术。”

——克里斯托弗·沙利文,俄勒冈州立大学地球、海洋与大气科学学院研究与学术计算主任

At 俄勒冈州立大学浮游生物生态实验室位于 哈特菲尔德海洋科学中心关于基础设施的讨论始于一个科学目标。技术如何帮助研究人员更快更好地了解海洋,同时又能保存他们在海上收集到的每一个独特的数据点?答案越来越依赖于计算能力、GPU加速和高密度NVMe存储,让它们服务于科学,而不是反过来。

该实验室通过采集高分辨率图像和环境遥测数据,研究海洋食物网的基础,并将这些数据转化为深刻见解。这项工作并非抽象的理论,而是依赖于船舶、传感器和无法重现的时间窗口的实地科学。数据丢失并非小麻烦,而是海洋中一段永不再现的珍贵瞬间的遗失。

戴尔 PowerEdge XE7745

解答庞大的科学问题需要强大的硬件。我们一直与俄亥俄州立大学 (OSU) 携手合作,共同验证戴尔 PowerEdge XE7745 服务器。该服务器将 GPU 与高密度 NVMe SSD 相结合,使研究人员能够无损地分析、保存和共享数据。其核心在于首先确保数据的完整性和可靠性,其次才是大规模运行的速度。这正是人工智能如何改变科学实践而非仅仅停留在理论层面。

系统内部

  • 服务器: 戴尔 PowerEdge XE7745 (4U)
  • 处理器: 双路 AMD EPYC 9555 64 核
  • DRAM: 24x32GB – 768GB
  • GPU: 4 × NVIDIA RTX Pro 6000 服务器
  • 存储: 8 × Solidigm D5-P5336 E3.S 30.72 TB
  • 网络: 100Gb以太网卸载

“所有技术本身都对科学产生偏见。真正的挑战在于找到能够消除这些偏见的技术。”

浮游生物是地球生命无形的缔造者。这些微小的生物驱动着地球的生物引擎,产生全球约一半的氧气,并构成所有海洋食物网的基础。它们吸收大量的二氧化碳,影响全球气候循环,并作为生态系统变化的早期指标。了解浮游生物就意味着了解海洋的健康状况、其在调节大气中的作用,以及最终地球未来的稳定。

人工智能海洋研究浮游生物

浮游动物,图片来源:Matt Wilson/Jay Clark,NOAA NMFS AFSC。

几十年来,浮游生物研究依赖于用渔网采集大量样本,然后在显微镜下进行分析。这些方法只能提供瞬时图像,并且常常导致人们误以为捕食者和猎物始终在同一水体区域内相互作用。而能够垂直穿过海洋的高分辨率成像系统则揭示了截然不同的景象。许多浮游生物及其捕食者占据着不同的水层,这些水层由深度、温度和营养梯度分隔开来。这种结构此前是无法观测到的。现代成像技术使研究人员不仅能够观察到物种的存在,还能观察到它们的分布、相互作用以及这些相互作用的演变过程。

原位鱼卵浮游生物成像系统(ISIIS),图片来源:俄勒冈州立大学

俄亥俄州立大学拥有许多研究浮游生物的工具,但其主要仪器是…… 原位鱼卵浮游生物成像系统(ISIIS)ISIIS是一个拖曳式平台,它在海洋中航行,并通过铜/光纤海洋电缆传输信息。两台8K摄像机捕捉海水流经系统时浮游生物的轮廓,成像速度高达每秒160升,同时记录温度、盐度和深度数据以提供背景信息。

这个过程每天会产生数TB的数据。俄亥俄州立大学的科学家们希望近乎实时地分析这些数据,以便船员们能够根据水下观测到的情况调整采样路线。

长远愿景是使人工智能模型能够自动识别生物体并检测浮游生物种群的变化,这些变化可能预示着更大的环境变化。大规模捕捉这些模式既需要先进的成像系统,也需要能够将视觉上的混乱转化为可量化洞察的计算基础设施。

目前,俄勒冈州立大学的验证工作在陆地上进行,戴尔PowerEdge XE7745系统正在处理ISIIS平台收集的大量图像数据集。这种环境使研究人员能够改进模型、验证数据完整性,并评估系统在科学工作负载下的性能。长远目标是将这项能力转移到海上,将相同的计算和存储架构嵌入到研究船上,以便在海上进行数据处理和分析。这种从实验室验证到实时海洋部署的转变,最终将实现数据收集、分析和发现之间的闭环。

“我们理想的工作流程是,当船只抵达港口时,科学研究工作就已经完成了。”

俄勒冈州立大学下一阶段的研究基础设施将计算直接带到了海上。该大学的新研究船队,包括即将投入使用的船只,将实现这一目标。 区域级科考船塔尼号研究船被设计成一个高性能、半自主数据采集和分析平台。这些船舶将作为移动实验室,携带科学仪器、传感器阵列,以及现在新增的GPU驱动计算系统,能够在返回岸上之前分析TB级的数据。

区域级研究船“塔尼”号

3D船舶渲染图图片来源:俄勒冈州立大学

每次航行都将同时开展多项实验,涵盖浮游生物成像、数字渔业监测、声学测绘和环境建模等。海上挑战并非电力,而是密度。鉴于海上IT支持人员有限,船上的每个机架单元都必须在保证最大性能的前提下,尽可能简化配置。目前,我们正在评估戴尔PowerEdge XE7745服务器搭配Solidigm E3.S固态硬盘和NVIDIA RTX Pro 6000显卡的成熟配置方案,将其作为船载数据中心战略的基石。通过近乎实时地处理数据,俄亥俄州立大学的研究人员能够在航行途中调整采样路线、检测异常情况并做出明智的科学决策。

浮游生物分割图像,来源:俄勒冈州立大学

这种方法还能将人工智能集成到工作流程中。基于历史浮游生物图像训练的人工智能模型可以对生物体进行分类、识别环境趋势,甚至预测目标物种高浓度出现的地点。这种能力将科考探险从被动的数据采集任务转变为主动的、适应性强的探索行动。结合可靠的冗余NVMe存储和高速网络,最终构建出一个专为探索而打造的弹性边缘计算环境。

愿景是将俄亥俄州立大学的每艘研究船都打造成一个独立的、人工智能赋能的观测站。船上仪器收集的数据将直接流入船载计算集群,在那里进行分析、存档,并在船舶返回港口时通过100Gb以太网连接上传。当船舶靠岸时,科学家们将已经获得可操作的洞见、经过验证的结果,并且确信没有一个字节的数据在海上丢失。

“在海上采集环境数据时,每小时的成本高达数千美元。”

俄勒冈州立大学科考船收集的数据是科学界最宝贵的信息之一。每一分钟的运行都代表着船舶的时间、燃料、船员和设备协同工作,捕捉那些可能永远不会再次出现的状况。丢失哪怕一小部分数据都是不可接受的。苏利文的团队围绕一个原则设计了他们的基础设施:在船舶返回码头之前,必须保存、验证和分析每一份数据。

为了实现这一目标,俄亥俄州立大学正在验证…… 戴尔 PowerEdge XE7745这是一个 4U 风冷平台,专为 GPU 加速工作负载而设计。该系统采用双 AMD EPYC 处理器,最多可配备八个(本例中为四个)GPU。 NVIDIA RTX Pro 6000 服务器 GPU 基于 Blackwell 架构。每个 GPU 提供 96 GB 高速 GDDR7 内存和先进的张量核心,专为 AI 推理和图像处理而设计,使研究人员能够实时分析高分辨率环境数据。

XE7745有限的硬盘位使得每个插槽的容量成为一个决定性因素,因此OSU集成了八个硬盘位。 30.72TB Solidigm D5-P5336 E3.S 固态硬盘这款产品在紧凑的体积内提供了近 250 TB 的闪存容量,结合了 Solidigm QLC NAND 的高效性能和针对持续写入性能和数据完整性优化的企业级固件。对于空间和散热都极为宝贵的 R/V Taani 号科考船而言,这种高密度设计使得整个平台、计算单元、GPU 加速组件和冗余存储都能集成到一个 4U 机箱中。

“我们正在对这些系统进行深入研究,看看它们能走多远。”

俄勒冈州立大学的验证阶段重点在于了解戴尔 PowerEdge XE7745 服务器对完整的浮游生物成像工作流程(从头到尾)的支持程度。目标不仅是测量速度,还要确认该系统能够可靠地处理船舶作业所需的数据规模和速度。

如今,该实验室在典型的科研部署中,每天采集超过15TB的图像和环境数据。借助XE7745平台,该团队目前每天处理约2TB的原始视频数据。该工作流程使用256个CPU核心进行分割,并使用四块NVIDIA RTX Pro 6000 Server GPU进行推理。最终的处理流程速度比上一代流程快约三倍。

最显著的发现是,当前的瓶颈在于 CPU 分段,而非存储吞吐量或 GPU 处理能力。采用 RAID 10 的 Solidigm D5-P5336 SSD 能够持续提供稳定的读写性能,而不会影响处理流程。GPU 也保持了足够的吞吐量余量,可以根据电力和散热资源的允许进行横向扩展。换句话说,硬件不再是瓶颈。该架构现在能够展现实际的科学工作负载,使团队能够精确地调整分段阶段。

Solidigm P5336 用于人工智能海洋研究

30.72TB Solidigm P5336 固态硬盘

这项技术的应用对操作层面影响显著。在以往的考察中,研究人员只能实时观看视频流,无法确认他们采集的是富含浮游生物的水样,还是仅仅捕获了悬浮颗粒物。浮游生物随水流移动,并且常常聚集在实时可见的细微水层中。如果没有进行数据处理,一次为期十天的航行可能会产生数小时的数据,但这些数据几乎没有任何科学价值。

借助XE7745的半实时处理能力,科学团队现在可以在数据采集过程中评估数据质量。如果图像显示浮游生物稀少,船只可以在海上航行时调整深度或移动到新的坐标。这种根据实际情况进行调整的能力是人工智能加速计算在科考船上应用的核心原因之一。它将科考活动从被动的数据采集转变为主动的科学探索。

随着更多 XE7745 系统的加入,处理能力可以扩展以应对每日全部数据量。这种扩展性与舰载科研的实际实际情况相平衡:能源消耗、散热和机架密度。这些挑战并非技术性的,而是环境性的,而正是因为计算平台已经证明其能够满足需求,这些挑战才得以显现。

“如果你的技术能够改变科学,我们来谈谈。”

科学认知的进步源于我们能够看到此前隐藏的事物,而海洋中充满了这样的秘密。俄勒冈州立大学的成像工作流程如今揭示了在海洋食物网中扮演关键角色的稀有浮游生物物种,同时也展示了诸如海洋温度上升等环境变化如何影响它们的生存。浮游生物对压力反应迅速,因此它们是海洋和气候系统发生更大变化的早期指标。对它们进行深入研究对于理解海洋如何维持生命以及这种平衡可能发生的变化至关重要。

这一进展依赖于能够随着科学问题不断发展的工具。现代研究需要能够在数据生成的环境中收集、处理和解读海量数据集。大容量 NVMe 存储和 GPU 加速技术使得数据处理能够更接近数据采集点,而无需完全依赖集中式数据中心。对于俄亥俄州立大学而言,这意味着在边缘端进行实时或近实时分析,科学决策能够直接影响数据采集过程。

AI海洋研究专家Savana Stallsmith使用GPU服务器

俄勒冈州立大学学生萨瓦娜·斯托尔史密斯使用浮游生物人工智能管道

俄勒冈州立大学与其技术合作伙伴之间的协作体现了双方对目标和宗旨的共同理解。研究的局限不在于提出的问题,而在于提供的答案。真正的局限在于处理海洋所提供的海量信息的实际能力。当计算、存储和工作流程设计与科学需求相契合时,这些限制便会逐渐消失。

展望未来,机遇在于设计能够捕获、分析和理解数据而无需跨多个平台传输的系统。处理过程应顺应数据,而非反之。舰载计算集群、高密度 NVMe 存储和 GPU 加速推理都是朝着这一模式迈出的重要一步。这并非“理想化的 AI”。该项目表明,科研计算领域已在发生重大转变。

海洋正在发生变化。数据至关重要。我们了解海洋变化的窗口期有限。俄勒冈州立大学的研究表明,当我们在科学发生的地点,在正确的时间,运用正确的技术来解决正确的问题时,一切皆有可能。

了解更多俄勒冈州立大学在SC25上的研究成果:

戴尔科技演讲
日期:11月18日星期二
<body>时间:10:45 am</body>
地点:戴尔主展位演讲区

Supermicro Talk
日期:11月19日星期三
时间:5:00 pm
地点:Supermicro 主展位 #3504

参与 StorageReview

资讯订阅 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter(现为X) | TikTok | RSS订阅

布赖恩·比勒

Brian 位于俄亥俄州辛辛那提市,是 StorageReview.com 的首席分析师兼总裁。