Doporučení k sítím pro federaci Lakehouse

Tento článek obsahuje pokyny k nastavení přijatelné síťové cesty mezi clustery Azure Databricks nebo službami SQL Warehouse a externím databázovým systémem, ke kterému se připojujete pomocí federace Lakehouse.

Při nastavování síťového připojení pro federaci Lakehouse zvažte následující skutečnosti:

  • Veškerý síťový provoz pro federované dotazy je přímo mezi clustery Azure Databricks (nebo službami SQL Warehouse) a externím databázovým systémem. Ani Unity Catalog, ani řídicí rovina Azure Databricks se nenacházejí v síťové cestě.
  • Připojení, která používají OAuth, mají další požadavek. Když se připojení ověřuje pomocí OAuth, dojde k výměně tokenu OAuth z řídicí roviny Azure Databricks, nikoli z výpočetní roviny. Řídicí rovina musí být schopná připojit se ke koncovému bodu OAuth externího systému. Pouhé zařazení výpočetní vrstvy na seznam povolených pro tato připojení nestačí. Pokyny specifické pro konektory najdete v části sítě nebo omezení příslušné stránky připojení, jako jsou spouštění federovaných dotazů ve Snowflake (OAuth) nebo spouštění federovaných dotazů na Microsoft SQL Server. Připojení HTTP jsou výjimkou; směrují OAuth přes bezserverovou výpočetní rovinu místo řídicí roviny.
  • Výpočetní prostředky Azure Databricks (tj. clustery a SQL Warehouse) se vždy nasazují v cloudu, ale externí databázový systém může být místní nebo hostovaný na libovolném poskytovateli cloudu, pokud existuje možná síťová cesta mezi výpočetními prostředky Azure Databricks a externí databází.
  • Pokud máte omezení příchozí nebo odchozí sítě na výpočetním nebo externím databázovém systému Azure Databricks, projděte si následující části s obecnými pokyny, které vám pomůžou vytvořit funkční síťovou cestu.

Další informace o sítích v pracovních prostorech Azure Databricks najdete v tématu Sítě.

Databázový systém a výpočetní prostředky Azure Databricks jsou obojí přístupné z internetu.

Připojení by mělo fungovat bez jakékoli konfigurace.

Databázový systém má omezení přístupu k síti

Pokud má externí databázový systém omezení příchozího nebo odchozího přístupu k síti a cluster Azure Databricks nebo SQL Warehouse je přístupný z internetu, nakonfigurujte pro připojení z klasických výpočetních prostředků jedno z následujících síťových řešení:

  • Stabilní výchozí IP adresa ve výpočetních prostředcích Azure Databricks

    V klasické výpočetní rovině nastavte stabilní IP adresu s nástrojem pro vyrovnávání zatížení, službou NAT Gateway, internetovou bránou nebo ekvivalentem a připojte ji k podsíti, ve které je nasazené výpočetní prostředí Azure Databricks. Výpočetní prostředek tak může sdílet stabilní veřejnou IP adresu, kterou lze povolit na straně externí databáze.

  • Private Link (pouze pokud je externí databáze ve stejném cloudu jako výpočetní prostředky Azure Databricks)

    Z klasické výpočetní roviny nakonfigurujte připojení Private Link mezi sítí, ve které je databáze nasazená, a sítí, ve které je nasazené výpočetní prostředky Azure Databricks.

Z bezserverové výpočetní roviny se podporuje Azure Private Link pro konektor SQL Serveru. Viz Krok 3: Vytvoření pravidel soukromého koncového bodu.

Výpočetní prostředky Azure Databricks mají omezení přístupu k síti

Pokud je externí databázový systém přístupný z internetu a výpočetní prostředí Azure Databricks má omezení příchozího nebo odchozího přístupu k síti (což je možné jenom v případě, že jste v síti spravované zákazníkem), proveďte jednu z následujících konfigurací:

  • Povolte název hostitele externí databáze v pravidlech brány firewall podsítě, ve které je nasazené výpočetní prostředky Azure Databricks.

    Pokud se rozhodnete místo názvu hostitele povolit ip adresu externí databáze, ujistěte se, že má externí databáze stabilní IP adresu.

  • Private Link (pouze pokud je externí databáze ve stejném cloudu jako výpočetní prostředky Azure Databricks)

    Nakonfigurujte připojení Private Link mezi sítí, ve které je databáze nasazená, a sítí, ve které je nasazené výpočetní prostředky Azure Databricks.

Výpočetní prostředky Azure Databricks mají vlastní server DNS.

Pokud je externí databázový systém přístupný z internetu a výpočetní prostředky Azure Databricks mají vlastní server DNS (což je možné jenom v případě, že jste v síti spravované zákazníkem), přidejte název hostitele databázového systému na váš vlastní server DNS, aby se dal přeložit.

Požadavky na síť pro Snowflake

  • Pokud Azure Databricks výpočetní prostředky nemůžou kontaktovat respondenta Snowflake OCSP, může při ověřování certifikátu dojít k selhání pokusů o připojení. Preferujte povolení odchozího provozu do respondéru Snowflake OCSP. Pokud vaše nastavení s omezeným odchozím provozem nebo privátním připojením neumožňuje tento provoz, nastavte volbu připojení Snowflake disableOCSPChecks na true. Viz Rozšířené možnosti připojení.
  • Last updated on