Configurare un firewall per l'accesso di calcolo serverless

Nota

Se i firewall di archiviazione sono stati configurati usando ID subnet dalla documentazione di Azure Databricks prima del 31 ottobre 2023, Databricks consiglia di aggiornare le aree di lavoro seguendo la procedura descritta in questo articolo o usando un endpoint privato. Se si sceglie di non aggiornare le aree di lavoro esistenti, continuano a funzionare senza modifiche.

Questo articolo descrive come configurare un firewall di archiviazione di Azure per il calcolo serverless usando l'interfaccia utente della console dell'account Di Azure Databricks. È anche possibile usare l'API Configurazioni connettività di rete.

Per configurare un endpoint privato per l'accesso al calcolo serverless, vedere Configurare la connettività privata dall'ambiente di calcolo serverless.

Nota

Attualmente non sono previsti costi di rete per le funzionalità serverless. In una versione successiva, è possibile che venga addebitato un addebito. Azure Databricks fornirà una notifica anticipata per le modifiche ai prezzi di rete.

Panoramica dell'abilitazione del firewall per il calcolo serverless

La connettività di rete serverless viene gestita con configurazioni di connettività di rete. Gli amministratori account creano controller di rete nella console dell'account e un NCC può essere collegato a una o più aree di lavoro

Un NCC contiene un elenco di identità di rete per un tipo di risorsa di Azure come regole predefinite. Quando un NCC è collegato a un'area di lavoro, il calcolo serverless in tale area di lavoro usa una di queste reti per connettere la risorsa di Azure. È possibile consentire tali reti nel firewall delle risorse di Azure. Se sono presenti firewall delle risorse di Azure non di archiviazione, contattare il team dell'account per informazioni su come usare gli indirizzi IP NAT stabili di Azure Databricks.

L'abilitazione del firewall NCC è supportata da data warehouse SQL serverless, processi, notebook, pipeline di tabelle live Delta e modelli che servono endpoint CPU.

Facoltativamente, è possibile configurare l'accesso di rete all'account di archiviazione dell'area di lavoro solo da reti autorizzate, incluso il calcolo serverless. Vedere Abilitare il supporto del firewall per l'account di archiviazione dell'area di lavoro. Quando un NCC è collegato a un'area di lavoro, le regole di rete vengono aggiunte automaticamente all'account di archiviazione di Azure per l'account di archiviazione dell'area di lavoro.

Per altre informazioni sui controller di rete, vedere Che cos'è una configurazione di connettività di rete(NCC)?.

Implicazioni dei costi dell'accesso all'archiviazione tra aree

Il firewall si applica solo quando le risorse di Azure si trovano nella stessa area dell'area di lavoro di Azure Databricks. Per il traffico tra aree da calcolo serverless di Azure Databricks(ad esempio, l'area di lavoro si trova nell'area Stati Uniti orientali e l'archiviazione ADLS si trova in Europa occidentale), Azure Databricks instrada il traffico attraverso un servizio gateway NAT di Azure.

Importante

Attualmente non sono previsti addebiti per l'uso di questa funzionalità. In una versione successiva, è possibile che vengano addebitati addebiti per l'utilizzo. Per evitare addebiti tra aree, Databricks consiglia di creare un'area di lavoro nella stessa area di archiviazione.

Requisiti

• L'area di lavoro deve essere nel piano Premium.

• È necessario essere un amministratore dell'account Azure Databricks.

• Ogni NCC può essere collegato a un massimo di 50 aree di lavoro.

• Ogni account Azure Databricks può avere fino a 10 controller di rete per area.

• È necessario avere WRITE accesso alle regole di rete dell'account di archiviazione di Azure.

Passaggio 1: Creare una configurazione di connettività di rete e copiare gli ID subnet

Databricks consiglia di condividere controller di rete tra aree di lavoro nella stessa business unit e quelle che condividono la stessa area e le stesse proprietà di connettività. Ad esempio, se alcune aree di lavoro usano il firewall di archiviazione e altre aree di lavoro usano l'approccio alternativo di collegamento privato, usare controller di rete separati per tali casi d'uso.

1. In qualità di amministratore dell'account, passare alla console dell'account.
2. Nella barra laterale fare clic su Risorse cloud.
3. Fare clic su Configurazione connettività di rete.
4. Fare clic su Aggiungi configurazioni di connettività di rete.
5. Digitare un nome per NCC.
6. Scegliere l'area. Deve corrispondere all'area dell'area di lavoro.
7. Fare clic su Aggiungi.
8. Nell'elenco dei controller di rete fare clic sul nuovo NCC.
9. In Regole predefinite in Identità di rete fare clic su Visualizza tutto.
10. Nella finestra di dialogo fare clic sul pulsante Copia subnet .
11. Fare clic su Close.

Passaggio 2: Collegare un NCC alle aree di lavoro

È possibile collegare un NCC a un massimo di 50 aree di lavoro nella stessa area del NCC.

Per usare l'API per collegare un NCC a un'area di lavoro, vedere l'API Aree di lavoro account.

1. Nella barra laterale della console dell'account fare clic su Aree di lavoro.
2. Fare clic sul nome dell'area di lavoro.
3. Fare clic su Aggiorna area di lavoro.
4. Nel campo Configurazione connettività di rete selezionare il NCC. Se non è visibile, verificare di aver selezionato la stessa area sia per l'area di lavoro che per il NCC.
5. Fai clic su Aggiorna.
6. Attendere 10 minuti per rendere effettiva la modifica.
7. Riavviare tutte le risorse di calcolo serverless in esecuzione nell'area di lavoro.

Se si usa questa funzionalità per connettersi all'account di archiviazione dell'area di lavoro, la configurazione è completata. Le regole di rete vengono aggiunte automaticamente all'account di archiviazione dell'area di lavoro. Per altri account di archiviazione, continuare con il passaggio successivo.

Passaggio 3: Bloccare l'account di archiviazione

Se non è già stato limitato l'accesso all'account di archiviazione di Azure solo alle reti consentite, eseguire questa operazione. Non è necessario eseguire questo passaggio per l'account di archiviazione dell'area di lavoro.

La creazione di un firewall di archiviazione influisce anche sulla connettività dal piano di calcolo classico alle risorse. È anche necessario aggiungere regole di rete per connettersi agli account di archiviazione dalle risorse di calcolo classiche.

1. Vai al portale di Azure.
2. Passare all'account di archiviazione per l'origine dati.
3. Nel riquadro di spostamento a sinistra fare clic su Rete.
4. Nel campo Accesso alla rete pubblica controllare il valore. Per impostazione predefinita, il valore è Abilitato da tutte le reti. Impostare questa opzione su Abilitato da reti virtuali e indirizzi IP selezionati.

Passaggio 4: Aggiungere regole di rete dell'account di archiviazione di Azure

Non è necessario eseguire questo passaggio per l'account di archiviazione dell'area di lavoro.

1. Aggiungere una regola di rete dell'account di archiviazione di Azure per ogni subnet. A tale scopo, è possibile usare l'interfaccia della riga di comando di Azure, PowerShell, Terraform o altri strumenti di automazione. Si noti che questo passaggio non può essere eseguito nell'interfaccia utente del portale di Azure.

   L'esempio seguente usa l'interfaccia della riga di comando di Azure:

   az storage account network-rule add --subscription "<sub>" \
       --resource-group "<res>" --account-name "<account>" --subnet "<subnet>"
   

   • Sostituire <sub> con il nome della sottoscrizione di Azure per l'account di archiviazione.
   • Sostituire <res> con il gruppo di risorse dell'account di archiviazione.
   • Sostituire <account> con il nome dell'account di archiviazione
   • Sostituire <subnet> con l'ID risorsa ARM (resourceId) della subnet di calcolo serverless.

   Dopo aver eseguito tutti i comandi, è possibile usare il portale di Azure per visualizzare l'account di archiviazione e verificare che sia presente una voce nella tabella Rete virtuale s che rappresenta la nuova subnet. Tuttavia, non è possibile apportare modifiche alle regole di rete nel portale di Azure.

   Suggerimento

   • Assicurarsi di usare le informazioni più recenti del NCC per configurare il set corretto di risorse di rete.
   • Evitare di archiviare le informazioni NCC in locale.
   • Ignorare la menzione "Autorizzazioni insufficienti" nella colonna stato dell'endpoint o nell'avviso sotto l'elenco di rete. Indicano solo che non si dispone dell'autorizzazione per leggere le subnet di Azure Databricks, ma non interferisce con la possibilità per la subnet serverless di Azure Databricks di contattare l'archiviazione di Azure.

   

2. Ripetere questo comando una volta per ogni subnet.

3. Per verificare che l'account di archiviazione usi queste impostazioni dal portale di Azure, passare a Rete nell'account di archiviazione.

   Verificare che l'accesso alla rete pubblica sia impostato su Abilitato da reti virtuali selezionate e indirizzi IP e reti consentite sono elencati nella sezione Rete virtuale s.