首页 企业版 高性能存储和人工智能推动伦敦动物学会的动物保护

高性能存储和人工智能推动伦敦动物学会的动物保护

by 乔丹拉努斯

高密度存储解决方案和先进的人工智能对动物种群的监测、保护和了解产生了重大影响。

在尖端技术与保护工作的交汇处,伦敦动物学会 (ZSL) 和 PEAK:AIO 开发了一种用于野生动物研究的创新数据管理方法。此次合作以部署高密度 Solidigm 存储和先进的人工智能为特色,对动物种群的监测、保护和了解产生了重大影响。该项目的核心是 PEAK:AIO 解决方案,由 Solidigm 的 D5-P5336 61.44 TB QLC 硬盘驱动,为快速数据存储和分析提供基础设施,使研究人员能够做出更快、更准确的决策,最终使保护工作受益。

我们最近有机会参观了伦敦动物园,并了解了 PEAK: AIO 的数据存储系统和尖端的人工智能驱动平台如何被伦敦动物园协会用来处理野生动物监测项目产生的大量数据,这些项目包括刺猬的城市保护和全球物种观察。动物园可以通过整合尖端的存储和人工智能技术来应对现代保护工作中固有的数据管理挑战。我们还荣幸地与 PEAK:AIO 的首席执行官兼创始人 Mark Klarzynski 讨论了这些创新。 克里斯·卡博内教授,一位动物保护学教授,以及其他参与这一开创性举措的人员。

从刺猬到全球物种监测

ZSL 最有趣的项目之一是城市野生动物保护,特别是伦敦的刺猬种群。Chris Carbone 与我们分享了刺猬面临的挑战,这种物种的栖息地因人类活动而日益分散。“它们很难在种群之间分散,”Carbone 说,“这导致了近亲繁殖等问题。”随着城市化侵占自然栖息地,这个问题在全球许多物种中都很常见。

环保人士正努力通过开辟道路或“绿色走廊”来应对这一问题,让像我们的刺猬这样的动物能够在孤立的栖息地之间自由移动。然而,意识和公众参与是确保这些举措成功的关键因素。ZSL 还致力于让人们了解当地的野生动物种群,并鼓励他们帮助维护这些绿色空间,采取小步骤让动物在原本充满挑战的环境中茁壮成长。

但是高容量 Solidigm SSD 和 NVIDIA DGX 超级计算机在哪里发挥作用呢?据 Carbone 称,它们已经成为关键工具。现代野生动物监测技术在过去二十年中发展迅速,使研究人员能够收集大量数据。然而,这些数据也面临着挑战——存储和分析。

数据爆炸:从相机陷阱到基因组学

在野生动物监测的早期,相机陷阱具有革命性,但也有局限性。克里斯回忆起胶卷相机只能拍摄 36 张照片的时代,这常常导致错失良机。“一群猴子可能会在第一天用完所有胶卷,让你什么也拍不出来。”快进到今天,现代数码相机可以拍摄数万张图像,让研究人员能够更全面地了解野生动物的行为。

生成的数据量呈指数级增长,尤其是随着全球保护工作在多个国家使用相机陷阱。例如,印度的相机陷阱是世界上最大的相机陷阱之一,部署了超过 10,000 个相机并生成了数百万张图像。 伦敦猪观察项目也积累了超过 15 万张图片。随着数据收集以这样的速度扩展,管理和处理如此庞大的数据集已成为一项重大挑战。

基因组学是造成数据泛滥的另一个领域。研究人员以前分析动物基因组的小片段来了解种群结构。然而,随着全基因组测序越来越便宜和普及,数据集已扩展到 TB 级。 环境 DNA (eDNA) 项目 进一步促进这种增长,利用环境中的 DNA 痕迹来调查物种种群。

得益于 Solidigm QLC SSD 的尖端密度,从事这些项目的团队目前有足够的空间开展工作,并且在可预见的未来有足够的容量。这使得项目的范围和构建变得如此明确,以至于不需要不断升级来满足数据需求。

在动物园里建造超级计算机

在动物园安装新的边缘数据中心时,团队面临的一个意想不到的挑战涉及室外冷却器单元和一群中国獐。冷却系统对于维持高性能计算设备的适当温度至关重要,而冷却系统位于这些敏感动物居住的区域附近。在将冷却器升级为更大的单元时,安装产生的噪音和活动打扰了獐,因此团队必须仔细调整计划,以确保动物的舒适和安全。

解决方案是在工作完成期间将水鹿暂时转移到动物园内更安全、更安静的区域。这种情况增加了大多数数据中心安装不会遇到的复杂性,凸显了在与野生动物共享的环境中部署技术的独特挑战。安装冷却器并将动物送回栖息地后,团队继续该项目,尽量减少对动物园日常运营的干扰。

伦敦动物园的边缘计算

鉴于数据量巨大,ZSL 需要一个功能强大且紧凑的数据中心来处理这些海量数据集。PEAK:AIO 及其部署在边缘的高性能存储解决方案应运而生。该解决方案支持动物园的成像和基因组学工作负载。在 ZSL 伦敦动物园办公室的边缘数据中心内,NVIDIA 的两个 DGX 平台与 PEAK:AIO 系统相结合,提供了惊人的 1.2 PB 冗余且安全的高速存储空间。

PEAK:AIO 首席执行官兼创始人 Mark Klarzynski 解释说,这些存储系统旨在满足 AI 工作负载和野生动物保护需求。DGX 系统支持快速 AI 处理,可以比传统计算设置更短的时间内分析数百万张图像。“我们正在如此小的空间内突破性能的界限,”Mark 说。“这不仅仅是存储数据,还要尽可能快速有效地处理数据。”

借助 NFS 上的 RDMA 和 Fabric 上的 NVMe,这些存储系统可以提供高吞吐量的数据访问,这在处理 ZSL 所需的规模的数据时是必需的。GPU 加速的 AI 工作负载需要这种级别的性能,尤其是在处理物种分类和图像中的对象检测等任务时。

人工智能在保护中的作用

伦敦动物园使用的出色 AI 工具之一是微软的 MegaDetector。该 AI 模型有助于自动执行图像预处理,通过检测和过滤不相关的对象(例如人或汽车)并隔离动物以进行进一步分析。以前,标准笔记本电脑每分钟可能只能处理几张图像,但有了新的基础设施,可以在同一时间内处理数千张图像。

这只是更复杂的人工智能驱动过程的第一步。在初步筛选之后,人工智能模型被用于物种识别——这是一项更具挑战性的任务。“你可能认为我们现在在这方面做得更好了,”卡博内沉思道,“但这非常困难。”植被经常会遮挡动物,使人工智能难以正确对物种进行分类。然而,新技术,例如使用边界框来集中人工智能的注意力,可以提高准确性。

一旦对图像进行标记和分析,数据就可以输入到更复杂的模型中。这些模型为保护主义者提供了关键见解,例如种群估计和物种相互作用模式。这些分析的结果有助于制定伦敦和世界各地的保护战略。

实时备份和数据安全

处理无价的保护数据时,数据完整性至关重要。PEAK:AIO 内置了冗余备份系统,可确保不会丢失任何数据。1.2 PB 的 Solidigm 存储使用 NVMe over RDMA 近乎实时地备份,并且几乎可以立即恢复数据,而无需传统的恢复过程。Klarzynski 强调说:“您实际上并没有恢复;您只是使用它。”

为了增加安全性,备份过程可确保数据不可改变,这意味着数据无法被篡改——鉴于保护数据的敏感性,这一功能至关重要。如果出现问题,数据可立即访问,从而保存多年的研究成果。

保护技术的未来

随着保护工作的不断扩大,对先进技术解决方案的需求也将不断增加。伦敦动物园所做的工作是将人工智能、高性能计算和基于边缘的存储系统结合起来所能实现的典范。PEAK:AIO 的 Mark 指出,虽然他们已经取得了令人难以置信的成就,但他们只是触及了表面。“人工智能可以做的事情我们还不知道,”他说。

未来全球合作可能将变得更加重要。研究人员设想建立全球相机陷阱网络,类似于气象站的运作方式,提供全球物种和生态系统的实时数据。随着世界面临越来越多的环境挑战,这些技术将成为保护地球野生动植物的不可或缺的工具。

结语

ZSL、PEAK:AIO 和 Solidigm 在伦敦动物园的合作展示了技术如何推动保护领域的现实变革。通过利用高性能存储和人工智能,保护主义者可以在创纪录的时间内处理大量数据,为动物行为、种群动态和生态系统健康提供新的见解。野生动物保护的未来无疑是数字化的,而这些项目正在塑造我们如何保护地球上最脆弱的物种。

本报告由 Solidigm 赞助。 本报告中表达的所有观点和意见均基于我们对所考虑产品的公正看法。

参与 StorageReview

电子报 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | TikTok | RSS订阅