8 sierpnia Amazon Web Services udostępnił AWS Lake Formation, usługę jeziora danych. Wielu klientów korzystało już z Amazon S3 (Simple Storage Services) do przechowywania swoich jezior danych, dlatego Lake Formation można postrzegać jako zestaw narzędzi, które sprawiają, że jezioro danych Amazon jest tańsze i bardziej przyjazne dla użytkownika.
Amazon wymienia pięć kluczowych narzędzi udostępnianych przez Amazon Web Services Lake Formation: roboty indeksujące źródło, ETL i przygotowanie danych, katalog danych, ustawienia zabezpieczeń oraz kontrolę dostępu. Wszystkimi tymi narzędziami zarządza się za pośrednictwem centralnej konsoli Lake Formation. Inne usługi AWS, takie jak Athena, Redshift i EMR, nadal będą miały dostęp do danych po ich przeniesieniu.
Roboty indeksujące źródło danych AWS Lake Formation mają na celu zmniejszenie obciążenia związanego z pobieraniem danych z dowolnego miejsca, w którym się znajdują, do jeziora danych. Klienci z istniejącymi instancjami S3 muszą jedynie wskazać Lake Formation instancje, które chcą pobrać. Proces ten jest nieco bardziej skomplikowany w przypadku nowych klientów lub tych, którzy chcą dodać nowe źródła danych. AWS Lake Formation może pobierać całe bazy danych lub wykonywać przyrostowe aktualizacje w oparciu o zdefiniowane przez użytkownika tabele i klucze.
AWS Lake Formation korzysta z AWS Glue do świadczenia usług ekstrakcji, transformacji, ładowania (ETL) i przygotowywania danych. Lake Formation oferuje również wbudowaną usługę uczenia maszynowego, która deduplikuje dane w trakcie ich pobierania. Powinno to pomóc w utrzymaniu rozmiaru jeziora danych, a tym samym kosztów, na niskim poziomie.
Jedną z najtrudniejszych przeszkód dla jezior danych jest śledzenie ich zawartości. AWS Lake Formation udostępnia katalog danych, który opisuje dostępne zestawy danych wraz z informacjami o tym, które grupy użytkowników mają do nich dostęp. Dzięki temu wyszukiwanie odpowiednich zestawów danych stanie się łatwiejsze.
Dwa ostatnie wbudowane narzędzia to w rzeczywistości zestaw narzędzi zapewniających bezpieczeństwo i kontrolę dostępu. Zestaw obejmuje usługi takie jak AWS Identity, Access Management i AWS Key Management Service. AWS Lake Formation umożliwia klientom konfigurowanie zasad dla całego jeziora danych za pośrednictwem konsoli centralnej. Jeśli potrzebna jest bardziej szczegółowa kontrola, obsługuje również ustawienia bezpieczeństwa dla poszczególnych zestawów danych.
Dostępność:
Natychmiastowy
Amazon