Připojení k externím databázím a katalogům

Azure Databricks poskytuje několik možností pro dotazování a přístup k datům v externích databázích a katalogech bez migrace dat. Zvolte přístup na základě modelu přístupu, požadavků zásad správného řízení, potřeb zápisu a předvoleb výpočetních prostředků.

Volba přístupu

Následující tabulka porovnává federaci dotazů a federaci katalogu, aby vám pomohla zvolit správný přístup.

Description Provedení dotazu Podpora pro zápis Governance Nejvhodnější pro
Federace dotazů Spouštějte federované dotazy vůči externím relačním databázím pomocí JDBC s automatickým pushdownem dotazů a správou v Unity Catalogu prostřednictvím cizích katalogů. Přenesené do externí databáze pomocí JDBC. Dotaz běží na Azure Databricks i ve vzdáleném výpočetním prostředí. Nepodporováno (pouze pro čtení). Externí katalog Unity Catalog s řízením přístupu na úrovni tabulek Ad hoc reporting, BI a přístup k provozním databázím pro ověření konceptu.
Federace katalogu Připojte platformy externího katalogu (například Metastore Hive, AWS Glue nebo Snowflake), abyste se mohli dotazovat na jejich data přímo v úložišti objektů. Funguje přímo nad objektovým úložištěm pouze na výpočetních prostředcích Azure Databricks. Nákladově efektivnější a lépe optimalizované z hlediska výkonu než federace dotazů. Není podporováno (jen pro čtení). Externí katalog Unity Catalog s řízením přístupu na úrovni tabulek Migrace na katalog Unity přírůstkově nebo údržba dlouhodobého hybridního modelu s daty v externím katalogu

Lakehouse Federace

Lakehouse Federation je platforma Azure Databricks pro federaci dotazů. Poskytuje řízený přístup jen pro čtení k externím datům prostřednictvím cizích katalogů Katalogu Unity s automatickým odsdílením dotazů a jemně odstupňovanými řízeními přístupu na úrovni tabulky.

Existují dva typy federace Lakehouse: federace dotazů a federace katalogu.

Federace dotazů ve srovnání s federací katalogu

Následující tabulka popisuje klíčové rozdíly mezi federací dotazů a federací katalogu.

Dotazová cesta Případ použití Přehled kroků
Federace dotazů Dotazy katalogu Unity se odsílají do cizí databáze pomocí JDBC. Dotaz se spouští v Azure Databricks i pomocí vzdáleného výpočetního prostředí.
  • K provozním datům uloženým v externích databázích potřebujete ad hoc generování sestav nebo testování konceptu.
  • Chcete minimalizovat přesun dat a udržovat živý přístup k externím systémům.

Pokud váš zdroj podporuje Jak Lakehouse Federation, tak Lakeflow Connect, Azure Databricks doporučí službu Lakeflow Connect, pokud je prioritou vyšší objemy dat a nižší latence.
  • Vytvořte připojení v katalogu Unity pomocí přihlašovacích údajů pro přístup a adresy URL JDBC.
  • Vytvořte cizí katalog pomocí připojení.
  • Udělte uživatelům oprávnění k tabulkám v cizím katalogu.
  • Spouštět dotazy. Ty se odsunou do externí databáze.
Federace katalogu Dotazy katalogu Unity přímo přistupují k cizí tabulce v úložišti objektů. Federace katalogu je dostupná pro platformy, které podporují přímý přístup ke svým službám katalogu a úložiště. Dotaz se spouští pouze na výpočetních prostředcích Azure Databricks, což znamená, že federace katalogu je nákladově výhodnější a lépe optimalizovaná z hlediska výkonu než federace dotazů.
  • Migrujete na Unity Catalog, ale potřebujete postupně zavádět data spravovaná z externího katalogu.
  • Chcete dlouhodobý hybridní model, ve kterém některá data zůstanou v externím katalogu a některá data spravuje katalog Unity.
  • Vytvořte připojení v katalogu Unity pro přístup k externímu katalogu.
  • Vytvořte oprávnění pro úložiště a externí úložiště pro cesty k tabulkám.
  • Vytvořte cizí katalog pomocí připojení a externího umístění.
  • Udělte uživatelům oprávnění k tabulkám v cizím katalogu.
  • Spouštět dotazy. Tyto operace se spouští přímo proti úložišti objektů.

Podporované zdroje dat

Připojte se k následujícím zdrojům pomocí federace dotazů:

Připojte se k následujícím zdrojům pomocí federace katalogu:

Datové zdroje Spark

Rozhraní API zdroje dat Sparku umožňuje čtení a zápis do externích databází přímo z Azure Databricks. Použijte ho, když Lakehouse Federation nepodporuje váš zdroj, když potřebujete přístup k zápisu nebo když potřebujete větší kontrolu nad prováděním a paralelizací dotazů.

Databricks Runtime zahrnuje sbalené konektory pro běžné databáze, jako jsou PostgreSQL, SQL Server, MySQL, Snowflake a Redshift. Pro jakoukoli databázi kompatibilní s JDBC můžete použít připojení katalogu JDBC Unity k používání vlastního ovladače s centralizovanou správou přihlašovacích údajů. Konektory třetích stran můžete také nainstalovat do vyhrazených clusterů nebo sestavovat plně vlastní konektory v Python pomocí rozhraní API PySpark DataSource.

Pokyny k nastavení a úplné podrobnosti najdete v tématu Zdroje dat Sparku.

Dodatečné zdroje

  • Last updated on