Ansluta din Azure Databricks-arbetsyta till ditt lokala nätverk

Den här artikeln visar hur du upprättar en anslutning från din Azure Databricks-arbetsyta till ditt lokala nätverk. Trafiken dirigeras via ett virtuellt överföringsnätverk (VNet) till det lokala nätverket med hjälp av följande topologi för nav och eker.

Om du behöver hjälp med att följa den här guiden kontaktar du dina Microsoft- och Databricks-kontoteam.

Behov

Din Azure Databricks-arbetsyta måste distribueras i ditt eget virtuella nätverk, även kallat VNet-inmatning.

Steg 1: Konfigurera ett virtuellt transitnätverk med Azure Virtual Network Gateway

Du behöver en Azure Virtual Network Gateway (ExpressRoute eller VPN) i ett virtuellt överföringsnätverk som konfigurerats med någon av dessa metoder. Om du redan har en lämplig gateway går du vidare till Peer-peer-nätverket för det virtuella Azure Databricks-nätverket med det virtuella överföringsnätverket.

Om du redan har konfigurerat ExpressRoute mellan ditt lokala nätverk och Azure följer du proceduren i Konfigurera en virtuell nätverksgateway för ExpressRoute med hjälp av Azure-portalen.

Annars följer du steg 1–5 i Konfigurera en VPN-gatewayanslutning mellan virtuella nätverk med hjälp av Azure-portalen.

Kontakta ditt Microsoft-kontoteam om du behöver hjälp.

Steg 2: Peer-koppla det virtuella Azure Databricks-nätverket till det virtuella överföringsnätverket

Om din Azure Databricks-arbetsyta finns i samma virtuella nätverk som den virtuella nätverksgatewayen går du vidare till Skapa användardefinierade vägar och associerar dem med dina virtuella Azure Databricks-nätverksundernät.

Annars följer du anvisningarna i Peer-virtuella nätverk för att peer-koppla det virtuella Azure Databricks-nätverket till det virtuella överföringsnätverket och välja följande alternativ:

• Använd fjärrgatewayer på azure Databricks VNet-sidan.
• Tillåt gatewayöverföring på den virtuella överföringssidan.

Mer information finns i Skapa en peering.

Kommentar

Om din lokala nätverksanslutning till Azure Databricks inte fungerar med ovanstående inställningar kan du också välja alternativet Tillåt vidarebefordrad trafik på båda sidor av peering för att lösa problemet.

Information om hur du konfigurerar VPN-gatewayöverföring för peering för virtuella nätverk finns i Konfigurera VPN Gateway-överföring för peering för virtuella nätverk.

Steg 3: Skapa användardefinierade vägar och associera dem med dina virtuella Azure Databricks-nätverksundernät

När du har peer-kopplat det virtuella Azure Databricks-nätverket med det virtuella överföringsnätverket konfigurerar Azure automatiskt alla vägar med hjälp av det virtuella överföringsnätverket. Den automatiska konfigurationen inkluderar inte returvägen från klusternoder till Azure Databricks-kontrollplanet. Du måste skapa dessa anpassade vägar manuellt med hjälp av användardefinierade vägar.

1. Skapa en routningstabell som aktiverar BGP-vägspridning.

   Kommentar

   I vissa fall orsakar BGP-routningsspridning fel vid validering av konfigurationen av den lokala nätverksanslutningen. Som en sista utväg kan du inaktivera BGP-vägspridning.

2. Lägg till användardefinierade vägar för följande tjänster med hjälp av anvisningarna i Anpassade vägar.

   Om säker klusteranslutning (SCC) är aktiverad för arbetsytan använder du SCC Relay IP i stället för kontrollplanets NAT IP.

   Källa	Adressprefix	Nästa hopptyp
   Standardvärde	NAT IP för kontrollplan (Endast om SCC är inaktiverat)	Internet
   Standardvärde	SCC relay IP (Endast om SCC är aktiverat)	Internet
   Standardvärde	Ip-adress för webbapp	Internet
   Standardvärde	Utökad infrastruktur-IP	Internet
   Standardvärde	IP-adress för metaarkiv	Internet
   Standardvärde	Ip-adress för Artifact Blob Storage	Internet
   Standardvärde	Ip-adress för Loggbloblagring	Internet
   Standardvärde	DBFS-rotlagrings-IP (ADLS)	Internet
   Standardvärde	DBFS-rotlagrings-IP (Blob) för arbetsytor som skapats före den 6 mars 2023.	Internet

   Om du vill hämta IP-adresserna för var och en av dessa tjänster följer du anvisningarna i Användardefinierade väginställningar för Azure Databricks.

   Om den IP-baserade vägen misslyckas när konfigurationen verifieras kan du skapa en tjänstslutpunkt för Microsoft.Storage för att dirigera all DBFS-rotlagringstrafik via Azure-stamnätet. Om du använder den här metoden behöver du inte skapa användardefinierade vägar för DBFS-rotlagring.

   Kommentar

   För att få åtkomst till andra PaaS Azure-datatjänster, till exempel Cosmos DB eller Azure Synapse Analytics från Azure Databricks, måste du lägga till användardefinierade vägar för dessa tjänster i routningstabellen. Lös varje slutpunkt till dess IP-adress med hjälp av nslookup eller ett motsvarande kommando.

3. Associera routningstabellen med dina offentliga och privata undernät i Azure Databricks VNet med hjälp av anvisningarna i Associera en routningstabell till ett undernät.

   När den anpassade routningstabellen är associerad med dina virtuella Azure Databricks-undernät behöver du inte redigera de utgående säkerhetsreglerna i nätverkssäkerhetsgruppen. Du behöver till exempel inte göra utgående regel mer specifik eftersom vägarna styr den faktiska utgående vägen.

Steg 4: Verifiera konfigurationen

Så här verifierar du konfigurationen:

1. Skapa ett kluster på din Azure Databricks-arbetsyta.

   Om det inte går att skapa ett kluster går du igenom installationsanvisningarna och provar de alternativa konfigurationsalternativen en i taget.

   Om du fortfarande inte kan skapa ett kluster kontrollerar du att routningstabellen innehåller alla nödvändiga användardefinierade vägar. Om du använde tjänstslutpunkter i stället för användardefinierade vägar för ADLS gen2 (för arbetsytor som skapades före den 6 mars 2023, Azure Blob Storage) kontrollerar du även dessa slutpunkter.

   Om du fortfarande inte kan skapa ett kluster kontaktar du dina Microsoft- och Databricks-kontoteam för att få hjälp.

2. Pinga en lokal IP-adress från en notebook-fil med följande kommando:

   %sh
   ping <IP>
   

Mer information om felsökning finns i följande resurser:

• Felsökning
• Lösa ett problem

Valfria konfigurationssteg

Alternativ: Dirigera Azure Databricks-trafik med hjälp av en virtuell installation eller brandvägg

Du kan filtrera all utgående trafik från Azure Databricks-klusternoder med hjälp av en brandvägg eller DLP-installation, till exempel Azure Firewall, Palo Alto eller Barracuda. På så sätt kan du inspektera utgående trafik för att uppfylla säkerhetsprinciper och lägga till en enda NAT-liknande offentlig IP-adress eller CIDR för alla kluster i en lista över tillåtna.

Justera de här stegen efter behov för brandväggen eller DLP-installationen:

1. Konfigurera en virtuell installation eller brandvägg i det virtuella överföringsnätverket med hjälp av anvisningarna i Skapa en NVA.

   Om du behöver en enda brandväggskonfiguration för flera arbetsytor kan du skapa brandväggen i ett säkert eller DMZ-undernät i det virtuella Azure Databricks-nätverket, som är skilt från befintliga privata och offentliga undernät.

2. Skapa ytterligare en väg i den anpassade routningstabellen till 0.0.0.0/0.

   • Ange typen Nästa hopp till "Virtuell installation".

   • Ange nästa hoppadress.

     Ta inte bort de vägar som du skapade i steg 3: Skapa användardefinierade vägar och associera dem med dina virtuella Azure Databricks-nätverksundernät, med ett undantag: Om all blobtrafik behöver dirigeras genom brandväggen kan du ta bort vägarna för Blob-trafik.

3. Om du använder metoden för säkert eller DMZ-undernät kan du skapa ytterligare en routningstabell som endast är associerad med DMZ-undernätet. Skapa en väg till 0.0.0.0 i routningstabellen.

   Ange nästa hopp-typ för vägen till Internet om trafiken är avsedd för ett offentligt nätverk eller till Virtuell nätverksgateway om trafiken är avsedd för ett lokalt nätverk.

4. Konfigurera tillåt och neka regler i brandväggsinstallationen.

   Om du har tagit bort vägarna för Blob Storage lägger du till dessa vägar i listan över tillåtna i brandväggen.

   Om dina kluster är beroende av offentliga lagringsplatser, till exempel operativsystemslagringsplatser eller containerregister, lägger du till dem i listan över tillåtna.

   Information om tillåtna listor finns i Användardefinierade väginställningar för Azure Databricks.

Alternativ: Konfigurera anpassad DNS

Du kan använda anpassad DNS med Azure Databricks-arbetsytor som distribueras i ditt eget virtuella nätverk. Mer information om hur du konfigurerar anpassad DNS för ett virtuellt Azure-nätverk finns i följande Microsoft-artiklar:

• Namnmatchning som använder din egen DNS-server
• Ange DNS-servrar

.. viktigt: För att lösa IP-adresserna för Azure-artefakter måste du konfigurera din anpassade DNS för att vidarebefordra dessa begäranden till den rekursiva Azure-matcharen.