Impostazioni di route definite dall'utente per Azure Databricks

  • Articolo

Se l'area di lavoro di Azure Databricks viene distribuita nella propria rete virtuale, è possibile usare route personalizzate, note anche come route definite dall'utente ,per assicurarsi che il traffico di rete venga instradato correttamente per l'area di lavoro. Ad esempio, se si connette la rete virtuale alla rete locale, il traffico potrebbe essere instradato attraverso la rete locale e non è possibile raggiungere il piano di controllo di Azure Databricks. Le route definite dall'utente possono risolvere il problema.

È necessaria una route definita dall'utente per ogni tipo di connessione in uscita dalla rete virtuale. È possibile usare sia i tag del servizio di Azure che gli indirizzi IP per definire i controlli di accesso alla rete nelle route definite dall'utente. Databricks consiglia di usare i tag del servizio di Azure per evitare interruzioni del servizio a causa di modifiche IP.

Configurare le route definite dall'utente con i tag del servizio di Azure

Databricks consiglia di usare i tag del servizio di Azure, che rappresentano un gruppo di prefissi di indirizzi IP da un determinato servizio di Azure. Microsoft gestisce i prefissi di indirizzo inclusi nel tag del servizio e aggiorna automaticamente il tag del servizio man mano che cambiano gli indirizzi. Ciò consente di evitare interruzioni del servizio a causa di modifiche IP e rimuove la necessità di cercare periodicamente questi INDIRIZZI IP e aggiornarli nella tabella di route. Tuttavia, se i criteri dell'organizzazione non consentono tag di servizio, è possibile specificare facoltativamente le route come indirizzi IP.

Usando i tag di servizio, le route definite dall'utente devono usare le regole seguenti e associare la tabella di route alle subnet pubbliche e private della rete virtuale.

Fonte Prefisso indirizzo Tipo hop successivo
Predefinito Tag del servizio Azure Databricks Internet
Predefinito IP dell'infrastruttura estesa Internet
Predefinito tag del servizio Azure SQL Internet
Predefinito Tag del servizio archiviazione di Azure Internet
Predefinito Tag del servizio Hub eventi di Azure Internet

Il tag del servizio Azure Databricks rappresenta gli indirizzi IP per le connessioni in uscita necessarie al piano di controllo di Azure Databricks, alla connettività sicura del cluster (SCC) e all'applicazione Web Azure Databricks. Non include l'indirizzo IP per la connessione outboard all'infrastruttura estesa di Azure Databricks, usata per l'infrastruttura di Azure Databricks di standby per migliorare la stabilità dei servizi Databricks. È necessario aggiungere una route definita dall'utente per gli indirizzi IP dell'infrastruttura estesa, a meno che non siano supportati nell'area. È possibile trovare gli intervalli di indirizzi IP dell'infrastruttura estesa per l'area in NAT, webapp e domini estesi dell'infrastruttura.

Il tag del servizio Azure SQL rappresenta gli indirizzi IP per le connessioni in uscita necessarie al metastore di Azure Databricks e il tag del servizio di archiviazione di Azure rappresenta gli indirizzi IP per l'archiviazione BLOB degli artefatti e l'archiviazione BLOB di log. Il tag del servizio Hub eventi di Azure rappresenta le connessioni in uscita necessarie per la registrazione all'hub eventi di Azure.

Alcuni tag di servizio consentono un controllo più granulare limitando gli intervalli IP a un'area specificata. Ad esempio, una tabella di route per un'area di lavoro di Azure Databricks nelle aree Stati Uniti occidentali potrebbe essere simile alla seguente:

Nome Prefisso indirizzo Tipo hop successivo
adb-servicetag AzureDatabricks Internet
adb-extinfra 13.91.84.96/28 Internet
adb-metastore Sql.WestUS Internet
adb-storage Storage.WestUS Internet
adb-eventhub EventHub.WestUS Internet

Per ottenere i tag del servizio necessari per le route definite dall'utente, vedere Tag del servizio di rete virtuale.

Configurare route definite dall'utente con indirizzi IP

Databricks consiglia di usare i tag del servizio di Azure, ma se i criteri dell'organizzazione non consentono tag di servizio, è possibile usare gli indirizzi IP per definire i controlli di accesso di rete nelle route definite dall'utente.

I dettagli variano a seconda che la connettività sicura del cluster sia abilitata per l'area di lavoro:

  • Se la connettività sicura del cluster è abilitata per l'area di lavoro, è necessaria una route definita dall'utente per consentire ai cluster di connettersi all'inoltro di connettività del cluster sicuro nel piano di controllo. Assicurarsi di includere i sistemi contrassegnati come IP di inoltro SCC per l'area.
  • Se la connettività del cluster sicura è disabilitata per l'area di lavoro, è presente una connessione in ingresso dal protocollo NAT del piano di controllo, ma il protocollo TCP SYN-ACK di basso livello a tale connessione è tecnicamente dati in uscita che richiedono una route definita dall'utente. Assicurarsi di includere i sistemi contrassegnati come IP NAT del piano di controllo per l'area.

Le route definite dall'utente devono usare le regole seguenti e associare la tabella di route alle subnet pubbliche e private della rete virtuale.

Fonte Prefisso indirizzo Tipo hop successivo
Predefinito IP NAT del piano di controllo (se SCC è disabilitato) Internet
Predefinito IP di inoltro SCC (se SCC è abilitato) Internet
Predefinito IP dell'app Web Internet
Predefinito IP dell'infrastruttura estesa Internet
Predefinito Metastore IP Internet
Predefinito IP dell'archiviazione BLOB degli artefatti Internet
Predefinito IP dell'archiviazione BLOB di log Internet
Predefinito IP dell'archiviazione radice DBFS - Endpoint di archiviazione BLOB Internet
Predefinito IP dell'archiviazione radice DBFS - Endpoint di ADLS gen2 (dfs) Internet
Predefinito IP dell'hub eventi Internet

Per ottenere gli indirizzi IP necessari per le route definite dall'utente, usare le tabelle e le istruzioni nelle aree di Azure Databricks, in particolare: