Co je Lakehouse Federation?

Lakehouse Federation je federační platforma pro dotazy pro Databricks. Federace dotazů termínů popisuje kolekci funkcí, které uživatelům a systémům umožňují spouštět dotazy na více zdrojů dat, aniž by bylo nutné migrovat všechna data do sjednoceného systému.

Existují dva typy federace: federace dotazů a federace katalogu. Tato stránka popisuje rozdíly mezi typy.

Federace dotazů ve srovnání s federací katalogu

Následující tabulka shrnuje klíčové rozdíly mezi federací dotazů a federací katalogu:

Attribute Federace dotazů Federace katalogu
Dotazová cesta Dotazy katalogu Unity se odsílají do cizí databáze pomocí JDBC. Dotaz se spustí v Databricks i pomocí vzdáleného výpočetního prostředí. Dotazy katalogu Unity přímo přistupují k cizí tabulce v úložišti objektů. Federace katalogu je dostupná pro platformy, které podporují přímý přístup ke svým službám katalogu a úložiště. Dotaz se spouští jenom na výpočetních prostředcích Databricks, což znamená, že federace katalogu je nákladově efektivnější a optimalizovaná pro výkon než federace dotazů.
Případ použití
  • K provozním datům uloženým v externích databázích potřebujete ad hoc generování sestav nebo testování konceptu.
  • Chcete minimalizovat přesun dat a udržovat živý přístup k externím systémům.

Pokud váš zdroj podporuje obě služby, tedy Lakehouse Federation i Lakeflow Connect, Databricks doporučuje Lakeflow Connect, pokud jsou prioritou vyšší objemy dat a nižší latence.
  • Migrujete do katalogu Unity, ale potřebujete postupně integrovat data spravovaná z jiného katalogu.
  • Chcete dlouhodobý hybridní model, ve kterém některá data zůstanou v externím katalogu a některá data spravuje katalog Unity.
Přehled kroků
  • Vytvořte připojení v katalogu Unity pomocí přihlašovacích údajů pro přístup a adresy URL JDBC.
  • Vytvořte cizí katalog pomocí připojení.
  • Udělte uživatelům oprávnění k tabulkám v cizím katalogu.
  • Spouštět dotazy. Ty se odsunou do externí databáze.
  • Vytvořte připojení v katalogu Unity pro přístup k externímu katalogu.
  • Vytvořte oprávnění pro úložiště a externí úložiště pro cesty k tabulkám.
  • Vytvořte cizí katalog pomocí připojení a externího umístění.
  • Udělte uživatelům oprávnění k tabulkám v cizím katalogu.
  • Spouštět dotazy. Tyto operace se spouští přímo proti úložišti objektů.

Podporované zdroje dat

Připojte se k následujícím zdrojům pomocí federace dotazů:

Připojte se k následujícím zdrojům pomocí federace katalogu:

Dodatečné zdroje

  • Last updated on