W dniu otwarcia Oracle CloudWorld, firma Oracle ogłosiła ulepszoną wersję MySQL HeatWave Lakehouse , której wydajność zapytań ma być 17 razy szybsza niż w przypadku Snowflake i 6 razy szybsza niż w przypadku Redshift, przy obciążeniu 400 TB. Według Oracle, MySQL HeatWave Lakehouse może załadować 400 TB danych z pamięci obiektowej 8 razy szybciej niż w przypadku Redshift i 2.7 razy szybciej niż w przypadku Snowflake.
MySQL HeatWave Lakehouse to najnowszy dodatek do portfolio MySQL HeatWave, łączący przetwarzanie transakcji, analitykę, uczenie maszynowe i automatyzację opartą na uczeniu maszynowym w ramach jednej bazy danych MySQL. MySQL HeatWave Lakehouse skaluje się do 512 węzłów i oferuje klientom możliwość przetwarzania i przeszukiwania setek terabajtów danych w magazynie obiektów w różnych formatach plików, takich jak CSV i Parquet, a także tworzenia kopii zapasowych Aurora i Redshift.
Bazując na architekturze MySQL HeatWave ze skalowaniem masowym i równoległym, usługa MySQL HeatWave Lakehouse zapewnia znacznie lepszą wydajność niż konkurencyjne usługi baz danych w chmurze przy uruchamianiu zapytań i ładowaniu danych, co potwierdzają standardowe testy porównawcze w branży.
W jednym zapytaniu klienci mogą przeszukiwać dane transakcyjne w bazie danych MySQL i łączyć je z danymi w magazynie obiektów, używając standardowej składni MySQL. Oracle ogłosiło również nowe funkcje MySQL Autopilot, które poprawiają wydajność i ułatwiają korzystanie z usługi. MySQL HeatWave Lakehouse jest już dostępny w wersji beta dla klientów i ma zostać udostępniony powszechnie w 1HCY23.
Klienci migrujący z AWS, Google i lokalnych systemów wykorzystują MySQL HeatWave do szerokiego zakresu zastosowań, w tym do analityki marketingowej, a w szczególności analizy skuteczności kampanii reklamowych w czasie rzeczywistym oraz analizy danych klientów w celu tworzenia skutecznych kampanii. Wśród klientów migrujących z AWS znajdują się liderzy branży motoryzacyjnej, telekomunikacyjnej, handlu detalicznego, zaawansowanych technologii i opieki zdrowotnej.
Oracle publikuje również nowe testy wydajności Lakehouse i wprowadza szereg funkcji dla MySQL HeatWave Lakehouse i MySQL Autopilot. Klienci Oracle mogą wypróbować MySQL Heatwave bezpłatnie przez 30 dni.
benchmarki
Jak wykazano w publicznie dostępnym teście porównawczym TPC-H o pojemności 400 TB, którego skrypty udostępniono w serwisie GitHub , wydajność zapytań MySQL HeatWave Lakehouse wynosi:
- 17 razy szybszy niż Snowflake
- 6 razy szybszy niż Amazon Redshift
Ładowanie danych z magazynu obiektów do MySQL HeatWave Lakehouse jest również znacznie szybsze. Dla obciążenia TPC-H o pojemności 400 TB, wydajność ładowania MySQL HeatWave Lakehouse wynosi:
- 8 razy szybszy niż Amazon Redshift
- 2.7 razy szybszy niż Snowflake
Innowacyjne nowe możliwości dla MySQL HeatWave Lakehouse
Nowe możliwości MySQL HeatWave Lakehouse obejmują:
- Większy rozmiar danych, standardowa składnia MySQL: Klienci mogą przeszukiwać do 400 TB danych za pomocą MySQL HeatWave Lakehouse, a klaster HeatWave skaluje się do 512 węzłów. Klienci używają standardowej składni MySQL do przeszukiwania danych.
- Identyczna wydajność i kompresja: MySQL HeatWave oferuje taką samą wydajność zapytań dla danych przechowywanych w bazie danych MySQL lub w magazynie obiektów – co potwierdzają testy TPC-H dla dysków 10 TB i 30 TB. Osiągnięty stopień kompresji i ilość danych możliwych do przetworzenia na węzeł są w obu przypadkach takie same.
- Obsługa wielu formatów plików: Dzięki MySQL HeatWave Lakehouse klienci mogą ładować i przetwarzać dane przechowywane w różnych formatach plików, takich jak CSV i Parquet, a także kopie zapasowe Aurora i Redshift z AWS. Dzięki temu klienci mogą korzystać z zalet MySQL HeatWave nawet wtedy, gdy ich dane nie są przechowywane w bazie danych MySQL. Wydajność zapytań jest taka sama, niezależnie od formatu pliku, w którym przechowywane są dane.
- Możliwość wykonywania zapytań dotyczących danych w bazie MySQL i łączenia ich z danymi w magazynie obiektów: Dzięki MySQL HeatWave Lakehouse klienci mogą przeszukiwać dane OLTP przechowywane w bazie danych MySQL i łączyć je z danymi przechowywanymi w magazynie obiektów. Wszelkie zmiany w danych OLTP są aktualizowane w czasie rzeczywistym i odzwierciedlane w wynikach zapytania.
Nowe możliwości MySQL Autopilot
MySQL Autopilot zapewnia automatyzację opartą na uczeniu maszynowym dla MySQL HeatWave. Istniejące funkcje MySQL Autopilot, takie jak automatyczne provisionowanie i udoskonalenie automatycznego planowania zapytań, zostały ulepszone dla MySQL HeatWave Lakehouse, zmniejszając obciążenie administracyjne bazy danych i poprawiając wydajność.
Nowe możliwości MySQL Autopilot obejmują:
- Automatyczne wnioskowanie schematu: Autopilot automatycznie wnioskuje o mapowaniu danych pliku na typy danych w bazie danych. Dzięki temu klienci nie muszą ręcznie określać mapowania dla każdego nowego pliku, który ma być odpytywany przez MySQL HeatWave Lakehouse.
- Adaptacyjne próbkowanie danych: Autopilot inteligentnie pobiera próbki plików z pamięci obiektowej, gromadząc dokładne statystyki przy minimalnym dostępie do danych. MySQL HeatWave wykorzystuje te statystyki do generowania i ulepszania planów zapytań, określania optymalnego mapowania schematów i nie tylko.
- Ładowanie automatyczne: Autopilot analizuje dane, aby przewidzieć czas ładowania bazy danych MySQL HeatWave, określa mapowanie typów danych i automatycznie generuje skrypty ładowania.
- Adaptacyjny przepływ danych: MySQL HeatWave Lakehouse dynamicznie dostosowuje się do wydajności bazowego magazynu obiektów. Dzięki temu MySQL HeatWave może uzyskać maksymalną dostępną wydajność z bazowej infrastruktury chmurowej, co poprawia ogólną wydajność, stosunek ceny do wydajności i dostępność.
Dodatkowe ulepszenia MySQL HeatWave
Firma Oracle ogłosiła szereg innych udoskonaleń w MySQL HeatWave, od uczenia maszynowego po wtyczkę VS Code. Możliwości uczenia maszynowego w bazie danych MySQL HeatWave zostały dodatkowo wzbogacone o obsługę modeli prognostycznych. Dodano nowe techniki wyjaśniania uczenia maszynowego, zoptymalizowane pod kątem MySQL HeatWave. Analitycy danych mogą teraz wpływać na różne etapy zautomatyzowanego procesu uczenia maszynowego HeatWave, w tym na wybór algorytmu, wybór cech, metrykę punktacji i technikę wyjaśniania. Ulepszono również HeatWave ML, aby umożliwić klientom importowanie modeli ML do HeatWave.
Nowy, wielosilnikowy optymalizator zapytań Hypergraph dodatkowo zwiększa wydajność złożonych zapytań i eliminuje potrzebę określania kolejności dołączania. Dodano mapę stref, która przyspiesza obsługę szerszego zakresu zapytań w MySQL HeatWave. Wtyczka VS Code dla MySQL została ulepszona o obsługę funkcji MySQL HeatWave.
Gotowy na rozproszoną chmurę
MySQL HeatWave jest dostępny w wielu chmurach, w tym OCI, AWS, a teraz także Microsoft Azure. Jest dostępny lokalnie w ramach dedykowanego regionu OCI dla organizacji, które nie chcą przenosić obciążeń baz danych do chmury publicznej. Klienci mogą również replikować dane z lokalnych aplikacji MySQL OLTP do MySQL HeatWave, aby uzyskać analizy niemal w czasie rzeczywistym. MySQL HeatWave zawsze korzysta z najnowszej wersji bazy danych MySQL.
Amazon