Impostazioni di route definite dall'utente per Azure Databricks

  • Articolo

Se l'area di lavoro di Azure Databricks viene distribuita nella propria rete virtuale, è possibile usare route personalizzate, note anche come route definite dall'utente (UDR) per assicurarsi che il traffico di rete venga instradato correttamente per l'area di lavoro. Ad esempio, se si connette la rete virtuale alla rete locale, il traffico potrebbe essere instradato attraverso la rete locale e non è in grado di raggiungere il piano di controllo di Azure Databricks. Per risolvere il problema, usare route definite dall'utente.

È necessaria una route definita dall'utente per ogni tipo di connessione in uscita dalla rete virtuale. È possibile usare sia i tag del servizio di Azure che gli indirizzi IP per definire i controlli di accesso di rete nelle route definite dall'utente. Databricks consiglia di usare i tag del servizio di Azure per evitare interruzioni del servizio a causa di modifiche IP.

Configurare le route definite dall'utente con i tag del servizio di Azure

Databricks consiglia di usare i tag del servizio di Azure, che rappresentano un gruppo di prefissi di indirizzi IP da un determinato servizio di Azure. I prefissi di indirizzo inclusi nel tag di servizio sono gestiti da Microsoft, che aggiorna automaticamente il tag in caso di modifica degli indirizzi. Ciò consente di evitare interruzioni del servizio a causa di modifiche IP e rimuove la necessità di cercare periodicamente questi INDIRIZZI IP e aggiornarli nella tabella di route. Tuttavia, se i criteri dell'organizzazione non consentono tag di servizio, è possibile specificare facoltativamente le route come indirizzi IP.

Usando i tag di servizio, le route definite dall'utente devono usare le regole seguenti e associare la tabella di route alle subnet pubbliche e private della rete virtuale.

Origine Prefisso indirizzo Tipo hop successivo
Predefinito Tag del servizio Azure Databricks Internet
Default Tag del servizio SQL di Azure Internet
Default tag del servizio Archiviazione di Azure Internet
Default Tag del servizio Hub eventi di Azure Internet

Nota

È possibile scegliere di aggiungere il tag del servizio Microsoft Entra ID (in precedenza Azure Active Directory) per facilitare l'autenticazione con ID Microsoft Entra dai cluster di Azure Databricks alle risorse di Azure.

Se collegamento privato di Azure è abilitato nell'area di lavoro, il tag del servizio Azure Databricks non è obbligatorio.

Il tag del servizio Azure Databricks rappresenta gli indirizzi IP per le connessioni in uscita necessarie al piano di controllo di Azure Databricks, la connettività sicura del cluster (SCC) e l'applicazione Web Azure Databricks.

Il tag del servizio SQL di Azure rappresenta gli indirizzi IP per le connessioni in uscita necessarie al metastore di Azure Databricks e il tag del servizio Archiviazione di Azure rappresenta gli indirizzi IP per l'archiviazione BLOB degli artefatti e l'archiviazione BLOB di log. Il tag del servizio Hub eventi di Azure rappresenta le connessioni in uscita necessarie per la registrazione all'hub eventi di Azure.

Alcuni tag di servizio consentono un controllo più granulare limitando gli intervalli IP a un'area specificata. Ad esempio, una tabella di route per un'area di lavoro di Azure Databricks nelle aree Stati Uniti occidentali potrebbe essere simile alla seguente:

Nome Prefisso indirizzo Tipo hop successivo
adb-servicetag AzureDatabricks Internet
adb-metastore Sql.WestUS Internet
adb-storage Archiviazione. WestUS Internet
adb-eventhub EventHub.WestUS Internet

Per ottenere i tag di servizio necessari per le route definite dall'utente, vedere Tag del servizio di rete virtuale.

Configurare route definite dall'utente con indirizzi IP

Databricks consiglia di usare i tag del servizio di Azure, ma se i criteri dell'organizzazione non consentono tag di servizio, è possibile usare gli indirizzi IP per definire i controlli di accesso di rete nelle route definite dall'utente.

I dettagli variano a seconda che la connettività sicura del cluster (SCC) sia abilitata per l'area di lavoro:

  • Se la connettività sicura del cluster è abilitata per l'area di lavoro, è necessaria una route definita dall'utente per consentire ai cluster di connettersi all'inoltro di connettività del cluster sicuro nel piano di controllo. Assicurarsi di includere i sistemi contrassegnati come IP di inoltro SCC per l'area.
  • Se la connettività del cluster sicura è disabilitata per l'area di lavoro, è presente una connessione in ingresso dal protocollo NAT del piano di controllo, ma il protocollo TCP SYN-ACK di basso livello a tale connessione è tecnicamente dati in uscita che richiedono una route definita dall'utente. Assicurarsi di includere i sistemi contrassegnati come IP NAT del piano di controllo per l'area.

Le route definite dall'utente devono usare le regole seguenti e associare la tabella di route alle subnet pubbliche e private della rete virtuale.

Origine Prefisso indirizzo Tipo hop successivo
Predefinito IP NAT del piano di controllo (se SCC è disabilitato) Internet
Default IP dell'inoltro SCC (se SCC è abilitato) Internet
Default IP dell'app Web Internet
Default Metastore IP Internet
Default IP dell'archivio BLOB artefatto Internet
Default IP di archiviazione BLOB del log Internet
Default IP dell'archiviazione radice DBFS - Endpoint Archiviazione BLOB Internet
Default IP dell'archiviazione radice DBFS - Endpoint di ADLS Gen2 (dfs) Internet
Default IP dell'hub eventi Internet

Se collegamento privato di Azure è abilitato nell'area di lavoro, le route definite dall'utente devono usare le regole seguenti e associare la tabella di route alle subnet pubbliche e private della rete virtuale.

Origine Prefisso indirizzo Tipo hop successivo
Predefinito Metastore IP Internet
Default IP dell'archivio BLOB artefatto Internet
Default IP di archiviazione BLOB del log Internet
Default IP dell'hub eventi Internet

Per ottenere gli indirizzi IP necessari per le route definite dall'utente, usare le tabelle e le istruzioni nelle aree di Azure Databricks, in particolare: