Připojení pracovního prostoru Azure Databricks k vlastní místní síti

Tento článek ukazuje, jak vytvořit připojení z pracovního prostoru Azure Databricks k místní síti. Provoz se směruje přes tranzitní virtuální síť (VNet) do místní sítě s využitím následující topologie s centrálním uzlem.

Pokud potřebujete pomoc s tímto průvodcem, obraťte se na týmy účtů Microsoft a Databricks.

Požadavky

Váš pracovní prostor Azure Databricks musí být nasazený ve vaší vlastní virtuální síti, označované také jako injektáž virtuální sítě.

Krok 1: Nastavení tranzitní virtuální sítě s bránou virtuální sítě Azure Virtual Network

Potřebujete bránu virtuální sítě Azure (ExpressRoute nebo VPN) ve virtuální síti přenosu nakonfigurovanou pomocí jedné z těchto metod. Pokud už máte příslušnou bránu, přeskočte na Partnerský vztah virtuální sítě Azure Databricks s tranzitní virtuální sítí.

Pokud už máte nastavené ExpressRoute mezi místní sítí a Azure, postupujte podle pokynů v tématu Konfigurace brány virtuální sítě pro ExpressRoute pomocí Azure Portal.

Jinak postupujte podle kroků 1 až 5 v části Konfigurace připojení brány VPN typu VNet-to-VNet pomocí webu Azure Portal.

Pokud potřebujete pomoc, obraťte se na tým účtu Microsoft.

Krok 2: Propojte virtuální síť Azure Databricks s tranzitní virtuální sítí.

Pokud je váš pracovní prostor Azure Databricks ve stejné virtuální síti jako brána virtuální sítě, přeskočte k vytváření tras definovaných uživatelem a přidružte je k podsítím virtuální sítě Azure Databricks.

V opačném případě postupujte podle pokynů v partnerských virtuálních sítích a navazte partnerský vztah virtuální sítě Azure Databricks k tranzitní virtuální síti a vyberte následující možnosti:

• Použijte vzdálené brány na straně virtuální sítě Azure Databricks.
• Povolit průchod branou na straně Transit VNet.

Podrobnosti najdete v tématu Vytvoření peeringu.

Poznámka:

Pokud vaše místní síťové připojení k Azure Databricks nefunguje s výše uvedenými nastaveními, můžete také vybrat možnost Povolit přesměrovaný provoz na obou stranách peeringu a problém vyřešit.

Informace o konfiguraci průchodu bránou VPN pro propojování virtuálních sítí najdete v tématu Konfigurace průchodu bránou VPN pro propojování virtuálních sítí.

Krok 3: Vytvoření tras definovaných uživatelem a jejich přidružení k podsítím virtuální sítě Azure Databricks

Po propojení VNet Azure Databricks s tranzitní VNet Azure automaticky nakonfiguruje všechny trasy pomocí tranzitní VNet. Automatická konfigurace nezahrnuje návratovou trasu z uzlů clusteru do řídicí roviny Azure Databricks. Tyto vlastní trasy musíte vytvořit ručně pomocí uživatelsky definovaných tras.

1. Vytvoření směrovací tabulky, povolení šíření tras protokolu BGP.

   Poznámka:

   V některých případech šíření trasy protokolu BGP způsobí selhání při ověřování nastavení místního síťového připojení. Jako poslední možnost můžete zakázat šíření tras protokolu BGP.

2. Přidejte trasy definované uživatelem pro následující služby pomocí pokynů v části Vlastní trasy.

   Pokud je pro pracovní prostor povolené zabezpečené připojení clusteru (SCC), použijte místo IP adresy NAT řídicí roviny předávací IP adresu SCC.

   Zdroj	Předpona adresy	Typ dalšího směrování
   Výchozí	IP adresa NAT řídicí roviny &#xNAN; (Pouze v případě, že je SCC zakázaný)	internet
   Výchozí	IP adresa přenosu SCC &#xNAN; (Jenom v případě, že je povolená SCC)	internet
   Výchozí	IP adresa webové aplikace	internet
   Výchozí	IP adresa metastoru	internet
   Výchozí	IP adresa úložiště blob artefaktů	internet
   Výchozí	Úložiště protokolových objektů blob IP	internet
   Výchozí	IP adresa úložiště pracovního prostoru (ADLS)	internet
   Výchozí	IP adresa úložiště Blob pro pracovní prostory vytvořené před 6. březnem 2023.	internet
   Výchozí	Event Hubs IP	internet

   Pokud chcete získat IP adresy pro každou z těchto služeb, postupujte podle pokynů v nastavení trasy definované uživatelem pro azure Databricks.

   Pokud trasa založená na PROTOKOLU IP při ověřování nastavení selže, můžete vytvořit koncový bod služby pro Microsoft.Storage , který bude směrovat veškerý provoz úložiště pracovního prostoru přes páteřní síť Azure. Pokud použijete tento přístup, nemusíte vytvářet trasy definované uživatelem pro úložiště pracovního prostoru.

   Poznámka:

   Pokud chcete z Azure Databricks přistupovat k jiným datovým službám Azure PaaS, jako je Cosmos DB nebo Azure Synapse Analytics, musíte do směrovací tabulky přidat trasy definované uživatelem. Přeložte každý koncový bod na jeho IP adresu pomocí nslookup nebo ekvivalentního příkazu.

3. Přidružte směrovací tabulku k veřejným a soukromým podsítím Azure Databricks podle pokynů v Přidružení směrovací tabulky k podsíti.

   Po přidružení vlastní směrovací tabulky k vašim podsítím virtuální sítě Azure Databricks nemusíte upravovat pravidla zabezpečení odchozích přenosů ve skupině zabezpečení sítě. Například není nutné, aby pravidlo odchozích přenosů bylo konkrétnější, protože trasy budou řídit skutečné výchozí přenosy dat.

Krok 4: Ověření nastavení

Ověření nastavení:

1. Vytvořte cluster v pracovním prostoru Azure Databricks.

   Pokud se vytvoření clusteru nezdaří, projděte si pokyny k nastavení a zkuste alternativní možnosti konfigurace jednu po druhé.

   Pokud stále nemůžete vytvořit cluster, ověřte, že směrovací tabulka obsahuje všechny požadované trasy definované uživatelem. Pokud jste použili koncové body služby místo tras definovaných uživatelem pro ADLS (pro pracovní prostory vytvořené před 6. březnem 2023, Azure Blob Storage), zkontrolujte také tyto koncové body.

   Pokud stále nemůžete vytvořit cluster, požádejte o pomoc týmy účtů Microsoft a Databricks.

2. Pomocí následujícího příkazu odešlete příkaz ping na místní IP adresu z notebooku:

   %sh
   ping <IP>
   

Další pokyny k řešení potíží najdete v těchto zdrojích informací:

• Nasazení služby Azure Databricks ve vlastní virtuální síti Azure (injektáž virtuální sítě)
• Řešení problému

Volitelné kroky konfigurace

Možnost: Směrování provozu Azure Databricks pomocí virtuálního zařízení nebo brány firewall

Veškerý odchozí provoz z uzlů clusteru Azure Databricks můžete filtrovat pomocí brány firewall nebo zařízení ochrany před únikem informací, jako je Azure Firewall, Palo Alto nebo Barracuda. To umožňuje kontrolovat odchozí provoz, aby vyhovoval zásadám zabezpečení, a přidat jednu veřejnou IP adresu typu překladu adres (NAT) nebo CIDR pro všechny clustery do seznamu povolených adres.

Podle potřeby upravte tyto kroky pro vaše firewall nebo DLP zařízení.

1. Nastavte virtuální zařízení nebo firewall v rámci tranzitního virtuálního sítě pomocí pokynů v Vytvořte síťové virtuální zařízení.

   Pokud potřebujete jednu konfiguraci brány firewall pro více pracovních prostorů, můžete bránu firewall vytvořit v zabezpečené podsíti nebo podsíti DMZ ve virtuální síti Azure Databricks, která je oddělená od stávajících privátních a veřejných podsítí.

2. Vytvořte další trasu ve vlastní směrovací tabulce do 0.0.0.0/0.

   • Nastavte typ dalšího skoku na "Virtuální zařízení".

   • Nastavte adresu dalšího skoku.

     Neodebíjejte trasy, které jste vytvořili v kroku 3: Vytvořte trasy definované uživatelem a přidružte je k podsítím virtuální sítě Azure Databricks, s jednou výjimkou: Pokud se veškerý provoz objektů blob musí směrovat přes bránu firewall, můžete trasy pro provoz objektů blob odebrat.

3. Pokud používáte přístup k zabezpečené podsíti nebo podsíti DMZ, můžete vytvořit další směrovací tabulku přidruženou výhradně k podsíti DMZ. V této směrovací tabulce vytvořte trasu na 0.0.0.0.

   Nastavte typ dalšího směrování na internet, pokud je provoz určený pro veřejnou síť, nebo do brány virtuální sítě, pokud je provoz určený pro místní síť.

4. Nakonfigurujte pravidla povolení a zamítnutí v zařízení brány firewall.

   Pokud jste odebrali trasy pro Blob Storage, přidejte tyto trasy do seznamu povolených v bráně firewall.

   Pokud clustery závisí na veřejných úložištích, jako jsou úložiště operačního systému nebo registry kontejnerů, přidejte je do seznamu povolených.

   Informace o seznamech povolených adres najdete v tématu Nastavení trasy definované uživatelem pro Azure Databricks.

Možnost: Konfigurace vlastního DNS

Vlastní DNS můžete použít s pracovními prostory Azure Databricks nasazenými ve vlastní virtuální síti. Další informace o konfiguraci vlastního DNS pro virtuální síť Azure najdete v následujících článcích Microsoftu:

• Rozlišení názvů používající vlastní server DNS
• Určení serverů DNS

Důležité

Pokud chcete vyřešit IP adresy artefaktů Azure, musíte nakonfigurovat vlastní DNS pro předávání těchto požadavků rekurzivnímu resolveru Azure.