Användardefinierade väginställningar för Azure Databricks
Om din Azure Databricks-arbetsyta distribueras till ditt eget virtuella nätverk (VNet) kan du använda anpassade vägar, även kallade användardefinierade vägar (UDR) för att säkerställa att nätverkstrafiken dirigeras korrekt för din arbetsyta. Om du till exempel ansluter det virtuella nätverket till ditt lokala nätverk kan trafiken dirigeras via det lokala nätverket och kan inte nå Azure Databricks-kontrollplanet. Användardefinierade vägar kan lösa problemet.
Du behöver en UDR för varje typ av utgående anslutning från det virtuella nätverket. Du kan använda både Azure-tjänsttaggar och IP-adresser för att definiera nätverksåtkomstkontroller på dina användardefinierade vägar. Databricks rekommenderar att du använder Azure-tjänsttaggar för att förhindra avbrott i tjänsten på grund av IP-ändringar.
Konfigurera användardefinierade vägar med Azure-tjänsttaggar
Databricks rekommenderar att du använder Azure-tjänsttaggar, som representerar en grupp IP-adressprefix från en viss Azure-tjänst. Microsoft hanterar adressprefixen som omfattas av tjänsttaggen och uppdaterar automatiskt tjänsttaggen när adresserna ändras. Detta hjälper till att förhindra avbrott i tjänsten på grund av IP-ändringar och tar bort behovet av att regelbundet söka upp dessa IP-adresser och uppdatera dem i routningstabellen. Men om organisationens principer inte tillåter tjänsttaggar kan du ange vägarna som IP-adresser.
Med hjälp av tjänsttaggar bör dina användardefinierade vägar använda följande regler och associera routningstabellen med det virtuella nätverkets offentliga och privata undernät.
| Källa | Adressprefix | Nästa hopptyp |
|---|---|---|
| Standardvärde | Azure Databricks-tjänsttagg | Internet |
| Standardvärde | Azure SQL-tjänsttagg | Internet |
| Standardvärde | Azure Storage-tjänsttagg | Internet |
| Standardvärde | Tjänsttagg för Azure Event Hub | Internet |
Kommentar
Du kan välja att lägga till tjänsttaggen Microsoft Entra ID (tidigare Azure Active Directory) för att underlätta Microsoft Entra-ID-autentisering från Azure Databricks-kluster till Azure-resurser.
Om Azure Private Link är aktiverat på din arbetsyta krävs inte Azure Databricks-tjänsttaggen.
Azure Databricks-tjänsttaggen representerar IP-adresser för de utgående anslutningar som krävs till Azure Databricks-kontrollplanet, den säkra klusteranslutningen (SCC) och Azure Databricks-webbprogrammet.
Azure SQL-tjänsttaggen representerar IP-adresser för de utgående anslutningar som krävs till Azure Databricks-metaarkivet, och Azure Storage-tjänsttaggen representerar IP-adresser för bloblagring och bloblagring för artefakter. Azure Event Hub-tjänsttaggen representerar de utgående anslutningar som krävs för loggning till Azure Event Hub.
Vissa tjänsttaggar tillåter mer detaljerad kontroll genom att begränsa IP-intervall till en angiven region. En routningstabell för en Azure Databricks-arbetsyta i regionerna USA, västra kan till exempel se ut så här:
| Name | Adressprefix | Nästa hopptyp |
|---|---|---|
| adb-servicetag | AzureDatabricks | Internet |
| adb-metaarkiv | Sql.WestUS | Internet |
| adb-storage | Storage.WestUS | Internet |
| adb-eventhub | EventHub.WestUS | Internet |
Information om hur du hämtar de tjänsttaggar som krävs för användardefinierade vägar finns i Tjänsttaggar för virtuellt nätverk.
Konfigurera användardefinierade vägar med IP-adresser
Databricks rekommenderar att du använder Azure-tjänsttaggar, men om organisationens principer inte tillåter tjänsttaggar kan du använda IP-adresser för att definiera nätverksåtkomstkontroller på dina användardefinierade vägar.
Informationen varierar beroende på om säker klusteranslutning (SCC) är aktiverad för arbetsytan:
- Om säker klusteranslutning är aktiverad för arbetsytan behöver du en UDR för att tillåta att klustren ansluter till det säkra klusteranslutningsreläet i kontrollplanet. Se till att inkludera de system som har markerats som SCC Relay IP för din region.
- Om säker klusteranslutning är inaktiverad för arbetsytan finns det en inkommande anslutning från kontrollplanets NAT, men den lågnivå-TCP SYN-ACK till den anslutningen är tekniskt sett utgående data som kräver en UDR. Se till att inkludera de system som har markerats som KONTROLLplans-NAT IP för din region.
Dina användardefinierade vägar bör använda följande regler och associera routningstabellen med det virtuella nätverkets offentliga och privata undernät.
| Källa | Adressprefix | Nästa hopptyp |
|---|---|---|
| Standardvärde | NAT IP för kontrollplanet (om SCC är inaktiverat) | Internet |
| Standardvärde | SCC Relay IP (om SCC är aktiverat) | Internet |
| Standardvärde | Ip-adress för webbapp | Internet |
| Standardvärde | IP-adress för metaarkiv | Internet |
| Standardvärde | Ip-adress för Artifact Blob Storage | Internet |
| Standardvärde | Ip-adress för Loggbloblagring | Internet |
| Standardvärde | DBFS-rotlagrings-IP – Blob Storage-slutpunkt | Internet |
| Standardvärde | DBFS-rotlagrings-IP – ADLS gen2-slutpunkt (dfs) |
Internet |
| Standardvärde | Ip-adress för händelsehubb | Internet |
Om Azure Private Link är aktiverat på din arbetsyta bör dina användardefinierade vägar använda följande regler och associera routningstabellen med det virtuella nätverkets offentliga och privata undernät.
| Källa | Adressprefix | Nästa hopptyp |
|---|---|---|
| Standardvärde | IP-adress för metaarkiv | Internet |
| Standardvärde | Ip-adress för Artifact Blob Storage | Internet |
| Standardvärde | Ip-adress för Loggbloblagring | Internet |
| Standardvärde | Ip-adress för händelsehubb | Internet |
Om du vill hämta de IP-adresser som krävs för användardefinierade vägar använder du tabellerna och instruktionerna i Azure Databricks-regioner, särskilt: