存储评论网

Google Cloud Storage Intelligence Advisor 正式发布,支持 24 小时异常检测和跨 1,000 个存储桶的批量作业。

云端  ◇  企业版

Google Cloud 已正式发布其存储智能顾问服务,并扩展了 Google Cloud Storage 的批量操作功能。该顾问服务可监控存储环境的运行异常情况,而增强的批量引擎则可在单个托管作业中对每个项目的多达 1,000 个存储桶应用策略更改。所有存储智能顾问订阅用户现在均可使用这两项功能。

Google Cloud 控制台显示了存储智能顾问仪表板,该仪表板针对一个 6.765TiB 的项目(包含 329 个存储桶)进行了分析,列出了按类别划分的主要发现,并标记了跨区域出口流量和存储字节数超出趋势的峰值。

自动化异常检测和基线分析

Storage Intelligence Advisor 无需手动提取库存和自定义日志连接管道,即可直接从每日使用快照和项目活动基线生成分析结果。谷歌表示,该顾问会标记 Coldline 和 Archive 层上的 A 类或 B 类请求峰值,检测激增的 429 速率限制错误,捕获跨区域出口流量峰值,并报告 24 小时内超出长期趋势的总体消耗量。该供应商报告称,在过去 30 天内,该顾问已在数百个客户环境中生成了超过 6,000 条分析结果。

当出现访问偏差时,顾问会将异常情况直接关联到相应的存储桶、前缀和服务帐户。对于冷数据层中意外的读取量,平台会提供具体的修复方案:将对象批量迁移到标准存储以消除检索费用;启用自动分类功能以实现基于访问权限的自动化分层;或应用托管文件夹来限制未经授权的服务帐户。Target 旗下子公司 Shipt 的数据运维工程师 Charley King 表示:“在使用 Storage Intelligence 顾问之前,跟踪关键使用指标和捕获异常需要大量的工程工作和复杂的数据管道。现在,借助开箱即用的原生仪表板,我们可以立即识别使用高峰并深入查看详细信息。无需任何配置即可立即修复意外使用情况,这使得曾经繁琐的工作变成了简单的自助服务。”

跨多桶环境的无服务器批量修复

修复过程通过一个无服务器的托管执行引擎运行,该引擎可处理数十亿个对象的限流、重试和进度跟踪。供应商增强的批处理引擎扩展了处理边界,允许单个作业提交跨越每个项目多达 1,000 个存储桶,而无需按顺序逐桶处理。Palo Alto Networks 的高级首席软件工程师 Kurtis Nusbaum 表示:“对象保留锁定对于我们的安全防护至关重要,但管理数十亿个对象的保留锁定曾经是不可能完成的任务。存储智能改变了这一切。如今,我们的团队使用存储批处理操作,可以根据需要无缝更新整个集群的保留策略。” Google 将此组合定位为围绕三个作业:一旦检测到流量峰值,立即将高流量的归档或冷线对象批量转换为标准;当增长超过趋势时,批量删除特定前缀下的过期或临时数据;以及在无需配置计算资源的情况下,将元数据、标记、保留或加密更改统一应用于大型对象集。

管理员可以在更改生产数据之前,通过原生模拟运行模式验证批量更新。模拟运行执行会报告受影响的对象数量、总容量和潜在故障点。目标定位依赖于针对 Storage Insights 数据集评估的通用表达式语言 (CEL) 查询,管理员可以按存储类别、对象大小、创建日期或自定义元数据标签筛选目标范围。

以下 CLI 示例演示了如何使用高级筛选器创建批量操作作业。此作业会从用户的“分析”存储桶中删除标准存储类中的所有临时对象。

gcloud storage batch-operations jobs create bulk-delete-temp-objects \
    --description="Bulk delete temporary objects in analytics buckets" \
    --target-project="my-project-id" \
    --insights-dataset-config="projects/my-project-id/locations/us-central1/datasetConfigs/my-dataset" \
    --bucket-filters="name.startsWith('analytics-')" \
    --object-filters="storageClass == 'STANDARD' && name.endsWith('.temp')" \
    --delete-object

功能可用性和规格

顾问工具和批处理工具打包在存储智能订阅服务中,目前均已正式发布。在组织、文件夹或项目上启用存储智能后,无需构建任何架构、管道或仪表板,即可为该范围内的每个存储桶启用顾问工具。谷歌表示,今年使用存储智能分析超过 1 亿个对象的数据集的客户数量翻了一番以上,首次使用的用户可享受 30 天免费试用。

Google Cloud Storage Intelligence 产品页面

参与 StorageReview

电子报| YouTube | 播客iTunes / Spotify | Instagram | Twitter | TikTok | RSS订阅

哈罗德弗里茨

自 IBM 创建 Selectric 以来,我一直在科技行业工作。 不过,我的背景是写作。 因此,我决定退出售前业务,回归本源,从事一些写作工作,但仍从事技术工作。