Configurare un firewall per l'accesso di calcolo serverless

Articolo
05/03/2024

Nota

Se i firewall di archiviazione sono stati configurati usando ID subnet dalla documentazione di Azure Databricks prima del 31 ottobre 2023, Databricks consiglia di aggiornare le aree di lavoro seguendo la procedura descritta in questo articolo o usando un endpoint privato. Se si sceglie di non aggiornare le aree di lavoro esistenti, continuano a funzionare senza modifiche.

Questo articolo descrive come configurare un firewall di archiviazione di Azure per il calcolo serverless usando l'interfaccia utente della console dell'account Di Azure Databricks. È anche possibile usare l'API Network Connessione ivity Configurations.

Per configurare un endpoint privato per l'accesso al calcolo serverless, vedere Configurare la connettività privata dall'ambiente di calcolo serverless.

Panoramica dell'abilitazione del firewall per il calcolo serverless

La connettività di rete serverless viene gestita con configurazioni di connettività di rete. Gli amministratori account creano controller di rete nella console dell'account e un NCC può essere collegato a una o più aree di lavoro

Un NCC contiene un elenco di identità di rete per un tipo di risorsa di Azure come regole predefinite. Quando un NCC è collegato a un'area di lavoro, il calcolo serverless in tale area di lavoro usa una di queste reti per connettere la risorsa di Azure. È possibile consentire l'elenco di tali reti nel firewall delle risorse di Azure.

L'abilitazione del firewall NCC è supportata solo dai data warehouse serverless per le origini dati gestite. Non è supportato da altre risorse di calcolo nel piano di calcolo serverless.

Facoltativamente, è possibile configurare l'accesso di rete all'account di archiviazione dell'area di lavoro solo da reti autorizzate, inclusi i data warehouse SQL serverless. Vedere Abilitare il supporto del firewall per l'account di archiviazione dell'area di lavoro. Quando un NCC è collegato a un'area di lavoro, le regole di rete vengono aggiunte automaticamente all'account di archiviazione di Azure per l'account di archiviazione dell'area di lavoro.

Per altre informazioni sui controller di rete, vedere Che cos'è una configurazione di connettività di rete(NCC)?.

Implicazioni dei costi dell'accesso all'archiviazione tra aree

Per il traffico tra aree da azure Databricks serverless SQL Warehouse (ad esempio, l'area di lavoro si trova nell'area Stati Uniti orientali e l'archiviazione ADLS si trova in Europa occidentale), Azure Databricks instrada il traffico attraverso un servizio gateway NAT di Azure.

Importante

Attualmente non sono previsti addebiti per l'uso di questa funzionalità. In una versione successiva, è possibile che vengano addebitati addebiti per l'utilizzo. Per evitare questi addebiti, Databricks consiglia di creare un'area di lavoro nella stessa area di archiviazione.

Requisiti

L'area di lavoro deve essere nel piano Premium.
È necessario essere un amministratore dell'account Azure Databricks.
Ogni NCC può essere collegato a un massimo di 50 aree di lavoro.
Ogni account Azure Databricks può avere fino a 10 controller di rete per area.
- È necessario avere WRITE accesso alle regole di rete dell'account di archiviazione di Azure.

Passaggio 1: Creare una configurazione di connettività di rete e copiare gli ID subnet

Databricks consiglia di condividere controller di rete tra aree di lavoro nella stessa business unit e quelle che condividono la stessa area e le stesse proprietà di connettività. Ad esempio, se alcune aree di lavoro usano il firewall di archiviazione e altre aree di lavoro usano l'approccio alternativo di collegamento privato, usare controller di rete separati per tali casi d'uso.

In qualità di amministratore dell'account, passare alla console dell'account.
Nella barra laterale fare clic su Risorse cloud.
Fare clic su Configurazione Connessione ivity di rete.
Fare clic su Aggiungi configurazioni di Connessione ivity di rete.
Digitare un nome per NCC.
Scegliere l'area. Deve corrispondere all'area dell'area di lavoro.
Fare clic su Aggiungi.
Nell'elenco dei controller di rete fare clic sul nuovo NCC.
In Regole predefinite in Identità di rete fare clic su Visualizza tutto.
Nella finestra di dialogo fare clic sul pulsante Copia subnet e salvare l'elenco di subnet.
Fare clic su Close.

Passaggio 3: Collegare un NCC alle aree di lavoro

È possibile collegare un NCC a un massimo di 50 aree di lavoro nella stessa area del NCC.

Per usare l'API per collegare un NCC a un'area di lavoro, vedere l'API Aree di lavoro account.

Nella barra laterale della console dell'account fare clic su Aree di lavoro.
Fare clic sul nome dell'area di lavoro.
Fare clic su Aggiorna area di lavoro.
Nel campo Network Connessione ivity Config (Configurazione rete Connessione ivity) selezionare il NCC. Se non è visibile, verificare di aver selezionato la stessa area sia per l'area di lavoro che per il NCC.
Fai clic su Aggiorna.
Attendere 10 minuti per rendere effettiva la modifica.
Riavviare tutti i warehouse SQL serverless in esecuzione nell'area di lavoro.

Se si usa questa funzionalità per connettersi all'account di archiviazione dell'area di lavoro, la configurazione è completata. Le regole di rete vengono aggiunte automaticamente all'account di archiviazione dell'area di lavoro. Per altri account di archiviazione, continuare con il passaggio successivo.

Passaggio 3: Bloccare l'account di archiviazione

Se non è già stato limitato l'accesso all'account di archiviazione di Azure solo alle reti consentite, eseguire questa operazione. Non è necessario eseguire questo passaggio per l'account di archiviazione dell'area di lavoro.

La creazione di un firewall di archiviazione influisce anche sulla connettività dal piano di calcolo classico alle risorse. È anche necessario aggiungere regole di rete per connettersi agli account di archiviazione dalle risorse di calcolo classiche.

Vai al portale di Azure.
Passare all'account di archiviazione per l'origine dati.
Nel riquadro di spostamento a sinistra fare clic su Rete.
Nel campo Accesso alla rete pubblica controllare il valore. Per impostazione predefinita, il valore è Abilitato da tutte le reti. Impostare questa opzione su Abilitato da reti virtuali e indirizzi IP selezionati.

Passaggio 4: Aggiungere regole di rete dell'account di archiviazione di Azure

Non è necessario eseguire questo passaggio per l'account di archiviazione dell'area di lavoro.

Aggiungere una regola di rete dell'account di archiviazione di Azure per ogni subnet. A tale scopo, è possibile usare l'interfaccia della riga di comando di Azure, PowerShell, Terraform o altri strumenti di automazione. Si noti che questo passaggio non può essere eseguito nell'interfaccia utente del portale di Azure.

L'esempio seguente usa l'interfaccia della riga di comando di Azure:
```
az storage account network-rule add --subscription "<sub>" \
    --resource-group "<res>" --account-name "<account>" --subnet "<subnet>"
```
- Sostituire <sub> con il nome della sottoscrizione di Azure per l'account di archiviazione.
- Sostituire <res> con il gruppo di risorse dell'account di archiviazione.
- Sostituire <account> con il nome dell'account di archiviazione
- Sostituire <subnet> con l'ID risorsa ARM (resourceId) della subnet di SQL Warehouse serverless.
Dopo aver eseguito tutti i comandi, è possibile usare il portale di Azure per visualizzare l'account di archiviazione e verificare che sia presente una voce nella tabella Rete virtuale s che rappresenta la nuova subnet. Tuttavia, non è possibile apportare modifiche alle regole di rete nel portale di Azure.

Suggerimento

Ignorare la menzione "Autorizzazioni insufficienti" nella colonna stato dell'endpoint o nell'avviso sotto l'elenco di rete. Indicano solo che non si dispone dell'autorizzazione per leggere le subnet di Azure Databricks, ma non interferisce con la possibilità per la subnet serverless di Azure Databricks di contattare l'archiviazione di Azure.
Ripetere questo comando una volta per ogni subnet. Facoltativamente, è possibile automatizzare il processo di creazione delle regole di rete. Vedere Automatizzare la creazione di regole di rete.
Per verificare che l'account di archiviazione usi queste impostazioni dal portale di Azure, passare a Rete nell'account di archiviazione.

Verificare che l'accesso alla rete pubblica sia impostato su Abilitato da reti virtuali selezionate e indirizzi IP e reti consentite sono elencati nella sezione Rete virtuale s.

Automatizzare la creazione di regole di rete

È possibile automatizzare la creazione di regole di rete per l'account di archiviazione usando l'interfaccia della riga di comando di Azure o PowerShell.

Questo esempio dell'interfaccia della riga di comando di Azure usa due subnet in un elenco che è possibile usare con un ciclo per eseguire il comando per ogni subnet. In questo esempio, mystorage-rg è il gruppo di risorse ed myaccount è l'account di archiviazione.

#!/bin/bash
SUBNETS=(/subscriptions/8453a5d5-9e9e-40c7-87a4-0ab4cc197f48/resourceGroups/prod-azure-eastusc3-nephos2/providers/Microsoft.Network/virtualNetworks/kaas-vnet/subnets/worker-subnet /subscriptions/8453a5d5-9e9e-40c7-87a4-0ab4cc197f48/resourceGroups/prod-azure-eastusc3-nephos3/providers/Microsoft.Network/virtualNetworks/kaas-vnet/subnets/worker-subnet)
for SUBNET in ${SUBNETS[@]}
do
  az storage account network-rule add --subscription 9999999-1ff3-43f4-b91e-d0ceb97111111 --resource-group mystorage-rg --account-name myaccount --subnet ${SUBNET}
done

Per usare PowerShell, usare il comando seguente:

Add-AzStorageAccountNetworkRule -ResourceGroupName <resource group name> -Name <storage account name> -VirtualNetworkResourceId <subnets>

Replace:

<resource group name> con il gruppo di risorse dell'account di archiviazione.
<storage account name> con il nome dell'account di archiviazione.
<subnets> con un elenco degli ID risorsa subnet separati da virgole.