Udostępnij przez

Co to jest Federacja Lakehouse?

Platforma Lakehouse Federation to narzędzie do federacji zapytań dla usługi Databricks. Termin Federacja zapytań opisuje kolekcję funkcji, które umożliwiają użytkownikom i systemom uruchamianie zapytań względem wielu źródeł danych bez konieczności migrowania wszystkich danych do ujednoliconego systemu.

Istnieją dwa typy federacji: federacja zapytań i federacja katalogu. Na tej stronie omówiono różnice między typami.

Federacja zapytań w porównaniu z federacją katalogu

Poniższa tabela zawiera podsumowanie kluczowych różnic między federacją zapytań a federacją katalogu:

Attribute Federacja zapytań Federacja katalogu
Ścieżka zapytania Zapytania Unity Catalog są przesyłane do obcej bazy danych przy użyciu protokołu JDBC. Zapytanie jest uruchamiane zarówno w usłudze Databricks, jak i przy użyciu zdalnych obliczeń. Zapytania Katalogu Unity uzyskują bezpośredni dostęp do obcej tabeli w magazynie obiektów. Federacja katalogu jest dostępna dla platform, które obsługują bezpośredni dostęp do ich katalogu i usług przechowywania. Zapytanie jest uruchamiane tylko w obliczeniach usługi Databricks, co oznacza, że federacja katalogu jest bardziej opłacalna i zoptymalizowana pod kątem wydajności niż federacja zapytań.
Przypadek użycia
  • Potrzebujesz dostępu do raportowania ad hoc lub weryfikacji koncepcji do danych operacyjnych przechowywanych w zewnętrznych bazach danych.
  • Chcesz zminimalizować przenoszenie danych i zachować dostęp na żywo do systemów zewnętrznych.

Jeśli źródło obsługuje zarówno usługę Lakehouse Federation, jak i Lakeflow Connect, usługa Databricks zaleca program Lakeflow Connect, jeśli wydajność większych woluminów danych i mniejsze opóźnienia są priorytetami.
  • Przeprowadzasz migrację do Unity Catalogu, ale musisz stopniowo wdrażać dane zarządzane z katalogu zewnętrznego.
  • Chcesz mieć długoterminowy model hybrydowy, w którym niektóre dane pozostają w zewnętrznym katalogu, a niektóre są zarządzane przez Unity Catalog.
Omówienie kroków
  • Utwórz połączenie w Unity Catalog przy użyciu swoich poświadczeń dostępu i URL JDBC.
  • Utwórz katalog obcy przy użyciu połączenia.
  • Przyznawanie użytkownikom uprawnień na tabelach w katalogu zewnętrznym.
  • Uruchamianie zapytań. Są przesyłane do zewnętrznej bazy danych.
  • Utwórz połączenie w Unity Catalog w celu uzyskania dostępu do zewnętrznego katalogu.
  • Utwórz poświadczenie magazynowe i lokalizację zewnętrzną dla ścieżek tabel.
  • Utwórz katalog zewnętrzny przy użyciu połączenia i lokalizacji zewnętrznej.
  • Przyznawanie użytkownikom uprawnień na tabelach w katalogu zewnętrznym.
  • Uruchamianie zapytań. Są one uruchamiane bezpośrednio względem magazynu obiektów.

Obsługiwane źródła danych

Połącz się z następującymi źródłami przy użyciu federacji zapytań:

Połącz się z następującymi źródłami przy użyciu federacji katalogu:

Dodatkowe zasoby

  • Last updated on