Configurare la connettività privata per le risorse di Azure

Questo articolo descrive come configurare la connettività privata di calcolo serverless utilizzando l'interfaccia utente della console dell'account Azure Databricks. È anche possibile usare l'API configurazioni di connettività di rete.

Se si configura la risorsa Azure in modo che accetti solo le connessioni da endpoint privati, qualsiasi connessione alla risorsa dalle risorse di calcolo di Databricks classiche deve usare anche endpoint privati.

Per configurare un firewall di Archiviazione di Azure per l'accesso al calcolo serverless utilizzando le subnet, vedere Configurare un firewall per l'accesso al calcolo serverless (legacy). Per gestire le regole degli endpoint privati esistenti, vedere Gestire le regole dell'endpoint privato.

Nota

Azure Databricks addebita i costi di rete quando i carichi di lavoro serverless si connettono alle risorse dei clienti. Vedere Informazioni sui costi di rete serverless di Databricks.

Panoramica della connettività privata per il calcolo serverless

La connettività di rete serverless viene gestita con le configurazioni di connettività di rete (NCC). Gli amministratori degli account creano NCC nella console dell'account e un singolo NCC può essere collegato a uno o più workspace.

Quando si aggiunge un endpoint privato in un NCC, Azure Databricks crea una richiesta di endpoint privato alla risorsa Azure. Dopo che il proprietario della risorsa approva la richiesta, Azure Databricks usa tale endpoint privato per accedere alle risorse dal piano di calcolo serverless. L'endpoint privato è dedicato all'account Azure Databricks e accessibile solo dalle aree di lavoro autorizzate.

Gli endpoint privati NCC sono supportati da sql warehouse, processi, notebook, pipeline dichiarative di Lakeflow Spark e endpoint di gestione dei modelli.

Nota

• Gli endpoint privati NCC sono supportati per le origini dati che gestisci e per l'account di archiviazione dell'area di lavoro. Per informazioni dettagliate sulla configurazione degli endpoint privati per l'account di archiviazione dell'area di lavoro, vedere Abilitare il supporto del firewall per l'account di archiviazione dell'area di lavoro.

• L'erogazione del modello utilizza il percorso di Archiviazione BLOB di Azure per scaricare gli artefatti del modello, quindi crea un endpoint privato per il BLOB con ID della sottorisorsa. Avrai bisogno di DFS per registrare i modelli in Unity Catalog dai notebook senza server.

Per altre informazioni sui controller di rete, vedere Che cos'è una configurazione della connessione di rete(NCC)?.

Azzurro

Requisiti

• L'account e l'area di lavoro devono essere nel piano Premium.
• È necessario essere un amministratore dell'account Azure Databricks.
• Ogni account Azure Databricks può avere fino a 10 NCC per regione.
• Ogni regione può avere 100 endpoint privati, distribuiti in base alle esigenze tra 1 e 10 NCC.
• Ogni NCC può essere collegato a un massimo di 50 aree di lavoro.

Passaggio 1: Creare una configurazione di connettività di rete

Databricks consiglia di condividere un NCC tra aree di lavoro nella stessa business unit e area. Ad esempio, se alcune aree di lavoro usano collegamento privato e altre aree di lavoro usano firewall enablement, usare controller di rete separati per tali casi d'uso.

1. In qualità di amministratore dell'account, passare alla console dell'account.
2. Nella barra laterale fare clic su Sicurezza.
3. Fare clic su Configurazioni di connettività di rete.
4. Fare clic su Aggiungi configurazione di rete.
5. Inserisci un nome per il NCC.
6. Seleziona l'area. Deve corrispondere alla regione dell'area di lavoro.
7. Fare clic su Aggiungi.

Passaggio 2: Collegare un NCC a un'area di lavoro

1. Nella barra laterale della console dell'account fare clic su Aree di lavoro.
2. Fare clic sul nome dell'area di lavoro.
3. Fare clic su Aggiorna area di lavoro.
4. Nel campo Configurazioni di connettività di rete selezionare il NCC. Se non è visibile, verificare di aver selezionato la stessa area Azure sia per l'area di lavoro che per il NCC.
5. Clicca su Aggiorna.
6. Attendere 10 minuti affinché le modifiche abbiano effetto.
7. Riavviare tutti i servizi serverless in esecuzione nell'area di lavoro.

Passaggio 3: Creare regole di endpoint privato

È necessario creare una regola dell'endpoint privato nel NCC per ogni risorsa Azure.

1. Ottieni un elenco di ID delle risorse di Azure per tutte le tue destinazioni.
   1. In un'altra scheda del browser, usare il portale di Azure e passare ai servizi Azure della tua origine dati.
   2. Nella pagina Panoramica, cerca nella sezione Informazioni di base.
   3. Fare clic sul link Visualizzazione JSON. L'ID risorsa per il servizio è mostrato nella parte superiore della pagina.
   4. Copia l'ID risorsa in un'altra posizione. Ripetere per tutte le destinazioni. Per ulteriori informazioni sulla ricerca dell'ID risorsa, vedere valori della zona DNS privata di Azure Private Endpoint.
2. Torna alla scheda del browser della console per l'account.
3. Nella barra laterale fare clic su Sicurezza.
4. Fare clic su Configurazioni di connettività di rete.
5. Selezionare il NCC creato nel passaggio 1.
6. In Regole degli endpoint privati, fare clic su Aggiungi regola endpoint privato.
7. Nel campo ID risorsa di destinazione di Azure, incollare l'ID della risorsa per la risorsa.
8. Nel campo Azure ID di sottorisorsa specificare l'ID di destinazione e il tipo di sottorisorsa. Ogni regola dell'endpoint privato deve usare un ID di sottorisorsa diverso. Per un elenco dei tipi di sottorisorsa supportati, vedere Risorse supportate.
9. Fare clic su Aggiungi.
10. Attendere alcuni minuti finché tutte le regole dell'endpoint hanno lo stato PENDING.

Passaggio 4: Approva i nuovi endpoint privati per le risorse

Gli endpoint non diventano effettivi finché un amministratore non li approva sul lato risorsa. Per approvare l'uso del portale di Azure:

1. Nel portale di Azure, vai alla tua risorsa.

2. Nella barra laterale fare clic su Rete.

3. Fare clic su Connessioni endpoint privati.

4. Fare clic sulla scheda Accesso privato.

5. In base a le connessioni degli endpoint privati, controllare l'elenco degli endpoint privati.

6. Fare clic sulla casella di controllo accanto a ogni elemento da approvare, quindi fare clic sul pulsante Approva sopra l'elenco.

7. Torna al NCC in Azure Databricks e aggiorna la pagina del browser finché tutte le regole dell'endpoint non hanno lo stato ESTABLISHED.

   

(Facoltativo) Passaggio 5: Impostare le risorse per impedire l'accesso alla rete pubblica

Se le risorse non sono già state limitate solo alle reti consentite, è possibile farlo ora.

1. Passare al portale di Azure.
2. Accedi al tuo account di archiviazione per la sorgente dati.
3. Nella barra laterale fare clic su Rete.
4. Controllare il valore nel campo Accesso alla rete pubblica. Per impostazione predefinita, il valore è Abilitato da tutte le reti. Impostare questa opzione su Disabilitato

Configurare Collegamento Privato per app Azure Gateway v2

Se configuri un collegamento privato per una risorsa di app Azurelication Gateway v2, devi utilizzare l'API REST Configurazioni di connettività di rete anziché l'interfaccia utente della console dell'account. app Azure Gateway v2 richiede parametri aggiuntivi: ID risorsa, ID gruppo e nomi di dominio.

1. Usare la seguente chiamata API per creare una regola dell'endpoint privato con la configurazione del nome di dominio:

   curl --location 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <TOKEN>' \
   --data '{
      "domain_names": [
         "<YOUR_DOMAIN_HERE>"
      ],
      "resource_id": "<YOUR_APP_GATEWAY_RESOURCE_ID_HERE>",
      "group_id": "<GROUP_ID>"
   }'
   

2. Se è necessario modificare i nomi di dominio per una regola dell'endpoint privato esistente, utilizzare la seguente richiesta PATCH.

   curl --location --request PATCH 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules/<PRIVATE_ENDPOINT_RULE_ID>?update_mask=domain_names' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <TOKEN>' \
   --data '{
      "domain_names": [
         "<YOUR_DOMAIN_HERE>"
      ]
   }'
   

3. Per elencare, visualizzare o eliminare le regole dell'endpoint privato del gateway app, usare le operazioni API di configurazione della connettività di rete standard documentate nell'API configurazioni di connettività di rete.

Passaggio 7: Riavviare le risorse del piano di calcolo serverless e testare la connessione

1. Attendere cinque minuti per la propagazione delle modifiche.
2. Riavviare eventuali risorse del piano di calcolo serverless in esecuzione negli spazi di lavoro a cui è collegato il vostro NCC. Se non hai ancora risorse nel piano di calcolo serverless in esecuzione, comincia ad avviarne una ora.
3. Verificare che tutte le risorse siano state avviate correttamente.
4. Esegui almeno una query sulla tua origine dati per confermare che il serverless SQL Warehouse possa raggiungere l'origine dati.

Passaggi successivi

• Gestire le regole degli endpoint privati: aggiornare, esaminare e rimuovere le regole dell'endpoint privato. Consulta Gestione delle regole dell'endpoint privato.
• Configurare un firewall per l'accesso al calcolo serverless: configurare le regole del firewall di rete per controllare l'accesso ai servizi Azure usando subnet anziché endpoint privati. Vedere Configurare un firewall per l'accesso di calcolo serverless (legacy).
• Configurare i criteri di rete: implementare controlli e criteri di sicurezza di rete aggiuntivi per gestire la connettività di calcolo serverless. Vedere Che cos'è il controllo in uscita serverless?.
• La sicurezza della rete serverless: scopri le opzioni di sicurezza di rete per l'elaborazione serverless. Vedere Rete per il piano di calcolo senza server.

Azure China

Requisiti di Azure China

• L'account e l'area di lavoro devono essere nel piano Premium.
• È necessario essere un amministratore dell'account Azure Databricks.
• Ogni account Azure Databricks può avere fino a 10 NCC per regione.
• Ogni account può avere fino a 20 endpoint privati in Azure Cina.
• Ogni NCC può essere collegato a un massimo di 50 aree di lavoro.

Nota

In Azure Cina, il supporto per i centri di controllo di rete è disponibile solo nella regione Cina Nord 3. Poiché un NCC può essere collegato solo a un'area di lavoro nella stessa area, l'area di lavoro deve trovarsi anche in Cina settentrionale 3.

P 1: Creare una configurazione di connettività di rete (Azure Cina)

Databricks consiglia di condividere un NCC tra aree di lavoro nella stessa business unit e area. Ad esempio, se alcune aree di lavoro usano collegamento privato e altre aree di lavoro usano configurazioni di connettività diverse, usare controller di rete separati per tali casi d'uso.

Nota

L'abilitazione del firewall (accesso basato su subnet) non è disponibile in Azure Cina. Gli endpoint privati sono l'unico metodo di connettività supportato per il calcolo serverless in Azure Cina.

1. In qualità di amministratore dell'account, passare alla console dell'account.
2. Nella barra laterale fare clic su Sicurezza.
3. Fare clic su Configurazioni di connettività di rete.
4. Fare clic su Aggiungi configurazione di rete.
5. Inserisci un nome per il NCC.
6. Scegliere Cina settentrionale 3 come area. Deve corrispondere alla regione dell'area di lavoro.
7. Fare clic su Aggiungi.

P 2: Collegare un NCC a un'area di lavoro (Azure Cina)

1. Nella barra laterale della console dell'account fare clic su Aree di lavoro.
2. Fare clic sul nome dell'area di lavoro.
3. Fare clic su Aggiorna area di lavoro.
4. Nel campo Configurazioni di connettività di rete selezionare il NCC. Se non è visibile, verificare di aver selezionato Cina settentrionale 3 come area Azure sia per l'area di lavoro che per il NCC.
5. Clicca su Aggiorna.
6. Attendere 10 minuti affinché le modifiche abbiano effetto.
7. Riavviare tutti i servizi serverless in esecuzione nell'area di lavoro.

Passaggio 3: Creare regole di endpoint privato (Azure Cina)

È necessario creare una regola dell'endpoint privato nel NCC per ogni risorsa Azure. Per l'elenco delle risorse supportate in Azure Cina, vedere Risorse supportate.

1. Ottieni un elenco di ID delle risorse di Azure per tutte le tue destinazioni.
   1. In un'altra scheda del browser, usare il portale di Azure e passare ai servizi Azure della tua origine dati.
   2. Nella pagina Panoramica, cerca nella sezione Informazioni di base.
   3. Fare clic sul link Visualizzazione JSON. L'ID risorsa per il servizio è mostrato nella parte superiore della pagina.
   4. Copia l'ID risorsa in un'altra posizione. Ripetere per tutte le destinazioni. Per ulteriori informazioni sulla ricerca dell'ID risorsa, vedere valori della zona DNS privata di Azure Private Endpoint.
2. Torna alla scheda del browser della console per l'account.
3. Nella barra laterale fare clic su Sicurezza.
4. Fare clic su Configurazioni di connettività di rete.
5. Selezionare il NCC creato nel passaggio 1.
6. In Regole degli endpoint privati, fare clic su Aggiungi regola endpoint privato.
7. Nel campo ID risorsa di destinazione di Azure, incollare l'ID della risorsa per la risorsa.
8. Nel campo Azure ID di sottorisorsa specificare l'ID di destinazione e il tipo di sottorisorsa. Ogni regola dell'endpoint privato deve usare un ID di sottorisorsa diverso.
9. Fare clic su Aggiungi.
10. Attendere alcuni minuti finché tutte le regole dell'endpoint hanno lo stato PENDING.

Passaggio 4: approvare i nuovi endpoint privati nelle risorse (Azure Cina)

Gli endpoint non diventano effettivi finché un amministratore non li approva sul lato risorsa. Per approvare l'uso del portale di Azure:

1. Nel portale di Azure, vai alla tua risorsa.

2. Nella barra laterale fare clic su Rete.

3. Fare clic su Connessioni endpoint privati.

4. Fare clic sulla scheda Accesso privato.

5. In base a le connessioni degli endpoint privati, controllare l'elenco degli endpoint privati.

6. Fare clic sulla casella di controllo accanto a ogni elemento da approvare, quindi fare clic sul pulsante Approva sopra l'elenco.

7. Torna al NCC in Azure Databricks e aggiorna la pagina del browser finché tutte le regole dell'endpoint non hanno lo stato ESTABLISHED.

   

(facoltativo) Passaggio 5: Impostare le risorse per impedire l'accesso alla rete pubblica (Azure Cina)

Se le risorse non sono già state limitate solo alle reti consentite, è possibile farlo ora.

1. Passare al portale di Azure.
2. Accedi al tuo account di archiviazione per la sorgente dati.
3. Nella barra laterale fare clic su Rete.
4. Controllare il valore nel campo Accesso alla rete pubblica. Per impostazione predefinita, il valore è Abilitato da tutte le reti. Impostare questa opzione su Disabilitato

Configurare il collegamento privato per app Azure Gateway v2 (Azure Cina)

Se configuri un collegamento privato per una risorsa di app Azurelication Gateway v2, devi utilizzare l'API REST Configurazioni di connettività di rete anziché l'interfaccia utente della console dell'account. app Azure Gateway v2 richiede parametri aggiuntivi: ID risorsa, ID gruppo e nomi di dominio.

1. Usare la seguente chiamata API per creare una regola dell'endpoint privato con la configurazione del nome di dominio:

   curl --location 'https://accounts.databricks.azure.cn/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <TOKEN>' \
   --data '{
      "domain_names": [
         "<YOUR_DOMAIN_HERE>"
      ],
      "resource_id": "<YOUR_APP_GATEWAY_RESOURCE_ID_HERE>",
      "group_id": "<GROUP_ID>"
   }'
   

2. Se è necessario modificare i nomi di dominio per una regola dell'endpoint privato esistente, utilizzare la seguente richiesta PATCH.

   curl --location --request PATCH 'https://accounts.databricks.azure.cn/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules/<PRIVATE_ENDPOINT_RULE_ID>?update_mask=domain_names' \
   --header 'Content-Type: application/json' \
   --header 'Authorization: Bearer <TOKEN>' \
   --data '{
      "domain_names": [
         "<YOUR_DOMAIN_HERE>"
      ]
   }'
   

3. Per elencare, visualizzare o eliminare le regole dell'endpoint privato del gateway app, usare le operazioni API di configurazione della connettività di rete standard documentate nell'API configurazioni di connettività di rete.

P 7: riavviare le risorse del piano di calcolo serverless e testare la connessione (Azure Cina)

1. Attendere cinque minuti per la propagazione delle modifiche.
2. Riavviare eventuali risorse del piano di calcolo serverless in esecuzione negli spazi di lavoro a cui è collegato il vostro NCC. Se non hai ancora risorse nel piano di calcolo serverless in esecuzione, comincia ad avviarne una ora.
3. Verificare che tutte le risorse siano state avviate correttamente.
4. Esegui almeno una query sulla tua origine dati per confermare che il serverless SQL Warehouse possa raggiungere l'origine dati.

Passaggi successivi (Azure Cina)

• Gestire le regole degli endpoint privati: aggiornare, esaminare e rimuovere le regole dell'endpoint privato. Consulta Gestione delle regole dell'endpoint privato.
• Comprendere la sicurezza della rete serverless: Informazioni sulle opzioni di sicurezza di rete per il calcolo serverless. Vedere Rete per il piano di calcolo senza server.