アマゾン ウェブ サービスは 8 月 3 日、データレイク サービスである AWS Lake Formation をリリースしました。多くの顧客はすでにデータレイクに Amazon SXNUMX (Simple Storage Services) を使用していたため、Lake Formation は Amazon データレイクをより安価でユーザーフレンドリーにするためのツールセットと考えるのが最も適切かもしれません。
Amazon は、Amazon Web Services Lake Formation が提供する 5 つの主要なツールとして、ソース クローラー、ETL とデータ準備、データ カタログ、セキュリティ設定、アクセス制御を挙げています。これらのツールはすべて、中央の Lake Formation コンソールを通じて管理されます。 Athena、Redshift、EMR などの他の AWS サービスは、移行後も引き続きデータにアクセスできます。
AWS Lake Formation ソース クローラーは、データが現在存在する場所からデータレイクにデータを取得する際に発生するオーバーヘッドを削減することを目的としています。既存の S3 インスタンスをお持ちのお客様は、取り込みたいインスタンスを Lake Formation に指定するだけで済みます。新規のお客様または新しいデータ ソースの追加を検討しているお客様の場合、このプロセスは少し複雑になります。 AWS Lake Formation は、データベース全体を取り込むことも、ユーザー定義のテーブルとキーに基づいて増分更新を行うこともできます。
AWS Lake Formation は、AWS Glue を使用して、抽出、変換、ロード (ETL) およびデータ準備サービスを提供します。 Lake Formation は、データが取り込まれるときに重複を排除する組み込みの機械学習サービスも提供します。これは、データ レイクのサイズを維持し、コストを抑えるのに役立ちます。
データレイクにとって最も困難なハードルの 1 つは、レイク内にあるすべてのものを追跡することです。 AWS Lake Formation は、利用可能なさまざまなデータセットと、それぞれにアクセスできるユーザーのグループを説明するデータカタログを提供します。これにより、関連するデータセットを見つけるプロセスがより使いやすくなります。
組み込まれている最後の 2 つのツールは、実際にはセキュリティとアクセス制御を提供するツールのセットです。このツールセットには、AWS Identity、Access Management、AWS Key Management Service などのサービスが含まれています。 AWS Lake Formation を使用すると、顧客は中央コンソールを通じてデータレイク全体のポリシーを設定できます。より詳細な制御が必要な場合は、データ セットごとのセキュリティ設定もサポートされます。
利用状況
即時
Amazon