De Azure Databricks-werkruimte verbinden met uw on-premises netwerk

In dit artikel wordt beschreven hoe u connectiviteit tot stand brengt vanuit uw Azure Databricks-werkruimte met uw on-premises netwerk. Verkeer wordt gerouteerd via een virtueel transitnetwerk (VNet) naar het on-premises netwerk, met behulp van de volgende hub-and-spoke-topologie.

Als u hulp nodig hebt bij het volgen van deze handleiding, neemt u contact op met uw Microsoft- en Databricks-accountteams.

Vereisten

Uw Azure Databricks-werkruimte moet worden geïmplementeerd in uw eigen virtuele netwerk, ook wel VNet-injectie genoemd.

Stap 1: Een virtueel transitnetwerk instellen met Azure Virtual Network Gateway

U hebt een Virtuele Azure-netwerkgateway (ExpressRoute of VPN) nodig in een transit-VNet, geconfigureerd met behulp van een van deze methoden. Als u al een geschikte gateway hebt, gaat u naar het virtuele Azure Databricks-netwerk peeren met het virtuele transitnetwerk.

Als u ExpressRoute al hebt ingesteld tussen uw on-premises netwerk en Azure, volgt u de procedure in Een gateway voor een virtueel netwerk configureren voor ExpressRoute met behulp van Azure Portal.

Volg anders stap 1-5 in Een VNet-naar-VNet-VPN-gatewayverbinding configureren met behulp van Azure Portal.

Neem contact op met uw Microsoft-accountteam als u hulp nodig hebt.

Stap 2: het virtuele Azure Databricks-netwerk koppelen aan het virtuele transitnetwerk

Als uw Azure Databricks-werkruimte zich in hetzelfde VNet bevindt als de gateway van het virtuele netwerk, gaat u verder met het maken van door de gebruiker gedefinieerde routes en koppelt u deze aan uw virtuele Azure Databricks-netwerksubnetten.

Volg anders de instructies in virtuele peernetwerken om het Azure Databricks-VNet te koppelen aan het transit-VNet, waarbij u de volgende opties selecteert:

• Gebruik externe gateways aan de kant van azure Databricks VNet.
• Gatewayoverdracht toestaan aan de zijde van het transit-VNet.

Zie Een peering maken voor meer informatie.

Notitie

Als uw on-premises netwerkverbinding met Azure Databricks niet werkt met de bovenstaande instellingen, kunt u ook de optie Doorgestuurd verkeer toestaan aan beide zijden van de peering selecteren om het probleem op te lossen.

Zie VPN-gatewayoverdracht configureren voor peering van virtuele netwerken voor peering van virtuele netwerken voor informatie over het configureren van VPN-gatewayoverdracht.

Stap 3: Door de gebruiker gedefinieerde routes maken en deze koppelen aan uw subnetten van uw virtuele Azure Databricks-netwerk

Nadat u het Azure Databricks-VNet met het transit-VNet hebt gekoppeld, configureert Azure automatisch alle routes met behulp van het transit-VNet. De automatische configuratie omvat niet de retourroute van clusterknooppunten naar het Azure Databricks-besturingsvlak. U moet deze aangepaste routes handmatig maken met behulp van door de gebruiker gedefinieerde routes.

1. Maak een routetabel en maak BGP-routedoorgifte in.

   Notitie

   In sommige gevallen veroorzaakt BGP-routedoorgifte fouten bij het valideren van de installatie van de on-premises netwerkverbinding. Als laatste redmiddel kunt u het doorgeven van BGP-routes uitschakelen.

2. Voeg door de gebruiker gedefinieerde routes toe voor de volgende services met behulp van de instructies in Aangepaste routes.

   Als beveiligde clusterconnectiviteit (SCC) is ingeschakeld voor de werkruimte, gebruikt u het IP-adres van de SCC-relay in plaats van het NAT-IP-adres van het besturingsvlak.

   Bron	Adresvoorvoegsel	Volgend hoptype
   Standaard	NAT IP-adres van besturingsvlak (Alleen als SCC is uitgeschakeld)	Internet
   Standaard	IP van SCC-relay (Alleen als SCC is ingeschakeld)	Internet
   Standaard	IP-adres van web-app	Internet
   Standaard	IP-adres van uitgebreide infrastructuur	Internet
   Standaard	Metastore IP	Internet
   Standaard	Ip-adres van artefact-blobopslag	Internet
   Standaard	IP-adres van logboekblobopslag	Internet
   Standaard	DBFS-HOOFDopslag-IP (ADLS)	Internet
   Standaard	DBFS-hoofdopslag-IP (Blob) voor werkruimten die vóór 6 maart 2023 zijn gemaakt.	Internet

   Volg de instructies in door de gebruiker gedefinieerde route-instellingen voor Azure Databricks om de IP-adressen voor elk van deze services op te halen.

   Als de op IP gebaseerde route mislukt bij het valideren van de installatie, kunt u een service-eindpunt voor Microsoft.Storage maken om alle DBFS-hoofdopslagverkeer via de Azure-backbone te routeren. Als u deze methode gebruikt, hoeft u geen door de gebruiker gedefinieerde routes te maken voor DBFS-hoofdopslag.

   Notitie

   Voor toegang tot andere PaaS Azure-gegevensservices, zoals Cosmos DB of Azure Synapse Analytics, moet u vanuit Azure Databricks door de gebruiker gedefinieerde routes voor deze services toevoegen aan de routetabel. Los elk eindpunt op in het IP-adres met behulp van nslookup of een equivalente opdracht.

3. Koppel de routetabel aan uw openbare en persoonlijke Azure Databricks-subnetten met behulp van de instructies in Een routetabel koppelen aan een subnet.

   Nadat de aangepaste routetabel is gekoppeld aan uw Azure Databricks VNet-subnetten, hoeft u de uitgaande beveiligingsregels in de netwerkbeveiligingsgroep niet te bewerken. U hoeft bijvoorbeeld de uitgaande regel niet specifieker te maken, omdat de routes het werkelijke uitgaand verkeer beheren.

Stap 4: De installatie valideren

De installatie valideren:

1. Maak een cluster in uw Azure Databricks-werkruimte.

   Als het maken van een cluster mislukt, voert u de installatie-instructies uit en probeert u de alternatieve configuratieopties één voor één.

   Als u nog steeds geen cluster kunt maken, controleert u of de routetabel alle vereiste door de gebruiker gedefinieerde routes bevat. Als u service-eindpunten hebt gebruikt in plaats van door de gebruiker gedefinieerde routes voor ADLS Gen2 (voor werkruimten die zijn gemaakt vóór 6 maart 2023, Azure Blob Storage), controleert u deze eindpunten ook.

   Als u nog steeds geen cluster kunt maken, neemt u contact op met uw Microsoft- en Databricks-accountteams voor hulp.

2. Ping een on-premises IP vanuit een notebook met behulp van de volgende opdracht:

   %sh
   ping <IP>
   

Zie de volgende bronnen voor meer hulp bij het oplossen van problemen:

• Problemen oplossen
• Een probleem oplossen

Optionele configuratiestappen

Optie: Azure Databricks-verkeer routeren met behulp van een virtueel apparaat of een firewall

U kunt al het uitgaande verkeer van Azure Databricks-clusterknooppunten filteren met behulp van een firewall of DLP-apparaat, zoals Azure Firewall, Palo Alto of Barracuda. Hiermee kunt u uitgaand verkeer inspecteren om te voldoen aan beveiligingsbeleid en om één NAT-achtig openbaar IP- of CIDR-adres toe te voegen voor alle clusters aan een acceptatielijst.

Pas deze stappen indien nodig aan voor uw firewall of DLP-apparaat:

1. Stel een virtueel apparaat of een firewall in het transit-VNet in met behulp van de instructies in Een NVA maken.

   Als u één firewallconfiguratie voor meerdere werkruimten nodig hebt, kunt u de firewall maken in een beveiligd of DMZ-subnet binnen het Azure Databricks-VNet, dat gescheiden is van bestaande privé- en openbare subnetten.

2. Maak een extra route in de aangepaste routetabel naar 0.0.0.0/0.

   • Stel het type Volgende hop in op 'Virtueel apparaat'.

   • Stel het adres van de volgende hop in.

     Verwijder de routes die u in stap 3 hebt gemaakt niet: maak door de gebruiker gedefinieerde routes en koppel ze aan uw subnetten van het virtuele Azure Databricks-netwerk, met één uitzondering: Als al het Blob-verkeer via de firewall moet worden gerouteerd, kunt u de routes voor Blob-verkeer verwijderen.

3. Als u de benadering van het beveiligde of DMZ-subnet gebruikt, kunt u een extra routetabel maken die uitsluitend is gekoppeld aan het DMZ-subnet. Maak in die routetabel een route naar 0.0.0.0.

   Stel het volgende hoptype van die route in op internet als verkeer is bestemd voor een openbaar netwerk of naar virtuele netwerkgateway als verkeer is bestemd voor een on-premises netwerk.

4. Configureer regels voor toestaan en weigeren in het firewallapparaat.

   Als u de routes voor Blob Storage hebt verwijderd, voegt u deze routes toe aan de acceptatielijst in de firewall.

   Als uw clusters afhankelijk zijn van openbare opslagplaatsen, zoals opslagplaatsen van besturingssystemen of containerregisters, voegt u deze toe aan de acceptatielijst.

   Zie Door de gebruiker gedefinieerde route-instellingen voor Azure Databricks voor meer informatie over acceptatielijsten.

Optie: Aangepaste DNS configureren

U kunt aangepaste DNS gebruiken met Azure Databricks-werkruimten die zijn geïmplementeerd in uw eigen virtuele netwerk. Zie de volgende Microsoft-artikelen voor meer informatie over het configureren van aangepaste DNS voor een virtueel Azure-netwerk:

• Naamomzetting waarbij je eigen DNS-server wordt gebruikt
• DNS-servers opgeven

.. belangrijk: Als u de IP-adressen voor Azure-artefacten wilt omzetten, moet u uw aangepaste DNS configureren om deze aanvragen door te sturen naar de Recursieve Resolver van Azure.