8 月 3 日，Amazon Web Services 發布了數據湖服務 AWS Lake Formation。 許多客戶已經在為他們的數據湖使用 Amazon SXNUMX（簡單存儲服務），因此 Lake Formation 最好被視為一組工具，可以降低 Amazon 數據湖的成本並提高用戶友好性。
Amazon 列出了 Amazon Web Services Lake Formation 提供的五個關鍵工具：源爬蟲、ETL 和數據準備、數據目錄、安全設置和訪問控制。 所有這些工具都通過中央 Lake Formation 控制台進行管理。 其他 AWS 服務，如 Athena、Redshift 和 EMR，在數據轉移後仍將能夠訪問數據。
AWS Lake Formation 源爬蟲旨在減少將數據從當前位置獲取到數據湖中所涉及的開銷。 擁有現有 S3 實例的客戶只需將 Lake Formation 指向他們想要引入的實例。對於新客戶或希望添加新數據源的客戶來說，這個過程稍微複雜一些。 AWS Lake Formation 可以拉入整個數據庫，或根據用戶定義的表和鍵進行增量更新。
AWS Lake Formation 使用 AWS glue 提供提取、轉換、加載 (ETL) 和數據準備服務。 Lake Formation 還提供了一個內置的機器學習服務，可以在數據傳入時對數據進行重複數據刪除。這應該有助於保持數據湖的大小，從而降低成本。
數據湖最艱難的障礙之一是跟踪湖中的一切。 AWS Lake Formation 提供了一個數據目錄，它描述了可用的不同數據集以及哪些用戶組可以訪問每個數據集。 這將使查找相關數據集的過程更加用戶友好。
內置的最後兩個工具實際上是一組提供安全性和訪問控制的工具。 該工具集包括 AWS Identity、Access Management 和 AWS Key Management Service 等服務。 AWS Lake Formation 允許客戶通過中央控制台設置數據湖範圍的策略。 如果需要更精細的控制，它還支持每個數據集的安全設置。
庫存情況
即時
Amazon