Configurer un pare-feu pour l’accès au calcul serverless

Article
05/09/2024

Remarque

Si vous avez configuré les pare-feux de stockage en utilisant les ID de sous-réseau à partir de la documentation Azure Databricks avant le 31 octobre 2023, Databricks vous recommande de mettre à jour les espaces de travail en suivant les étapes de cet article ou en utilisant un point de terminaison privé. Si vous choisissez de ne pas mettre à jour les espaces de travail existants, ils continuent à fonctionner sans modification.

Cet article décrit comment configurer un pare-feu de stockage Azure pour le calcul serverless à l'aide de l'interface utilisateur de la console de compte Azure Databricks. Vous pouvez également utiliser l’API Configurations de connectivité réseau.

Pour configurer un point de terminaison privé pour l’accès au calcul serverless, consultez Configurer la connectivité privée à partir du calcul serverless.

Remarque

Il n’existe actuellement aucun frais de mise en réseau pour les fonctionnalités serverless. Dans une version ultérieure, vous pourriez être facturé. Azure Databricks vous informera à l’avance de toutes modifications de la tarification de mise en réseau.

Vue d’ensemble de l’activation du pare-feu pour le calcul serverless

La connectivité réseau serverless est gérée avec des configurations de connectivité réseau (CCN). Les administrateurs de compte créent des CCN dans la console de compte et une CCN peut être attachée à un ou plusieurs espaces de travail

Une CCN contient une liste d’identités réseau pour un type de ressource Azure en tant que règles par défaut. Lorsqu’une CCN est attachée à un espace de travail, le calcul serverless dans cet espace de travail utilise l’un de ces réseaux pour connecter la ressource Azure. Vous pouvez autoriser la liste de ces réseaux sur votre pare-feu de ressources Azure.

L'activation du pare-feu NCC n'est prise en charge qu'à partir des entrepôts SQL serverless pour les sources de données que vous gérez. Elle n’est pas prise en charge à partir d’autres ressources de calcul dans le plan de calcul serverless.

Vous pouvez éventuellement configurer l’accès réseau à votre compte de stockage d’espace de travail à partir de réseaux autorisés uniquement, notamment les entrepôts SQL serverless. Consultez Activer la prise en charge du pare-feu pour votre compte de stockage d’espace de travail. Quand une configuration NCC est attachée à un espace de travail, les règles réseau sont automatiquement ajoutées au compte Stockage Azure du compte de stockage d’espace de travail.

Pour plus d’informations sur les contrôleurs de réseau, consultez Qu’est-ce qu’une configuration de connectivité réseau ?.

Implications des coûts de l’accès au stockage inter-régions

Pour le trafic interrégion à partir d’entrepôts SQL serverless Azure Databricks (par exemple, l’espace de travail se trouve dans la région USA Est et le stockage ADLS est en Europe Ouest), Azure Databricks achemine le trafic via un service de passerelle NAT Azure.

Important

Il n’existe actuellement aucun frais pour utiliser cette fonctionnalité. Dans une version ultérieure, vous pouvez être facturé pour l’utilisation. Pour éviter ces frais, Databricks vous recommande de créer un espace de travail dans la même région que votre stockage.

Spécifications

Votre espace de travail doit être sur le plan Premium.
Vous devez être administrateur de compte Azure Databricks.
Chaque configuration de connectivité réseau peut être attachée à jusqu’à 50 espaces de travail.
Chaque compte Azure Databricks peut avoir jusqu’à 10 configurations de connectivité réseau par région.
- Vous devez avoir WRITE accès aux règles réseau de votre compte de stockage Azure.

Étape 1 : créer une configuration de connectivité réseau et copier des identifiants de sous-réseau

Databricks recommande de partager des NCC entre des espaces de travail dans la même unité commerciale et ceux qui partagent les mêmes régions et propriétés de connectivité. Par exemple, si certains espaces de travail utilisent le pare-feu de stockage et d’autres espaces de travail utilisent l’approche alternative de Private Link, utilisez des NCC distincts pour ces cas d’usage.

En tant qu’administrateur de compte, accédez à la console de compte.
Dans la barre latérale, cliquez sur Ressources cloud.
Cliquez sur Configuration de connectivité réseau.
Cliquez sur Ajouter des configurations de connectivité réseau.
Entrez un nom pour la configuration de connectivité réseau.
Choisissez la région. Cela doit correspondre à votre région d’espace de travail.
Cliquez sur Ajouter.
Dans la liste des NCC, cliquez sur votre nouveau NCC.
Dans Règles par défaut sous Identités réseau, cliquez sur Afficher tout.
Dans la boîte de dialogue, cliquez sur le bouton Copier les sous-réseaux et enregistrez la liste des sous-réseaux.
Cliquez sur Fermer.

Étape 3 : Attacher une configuration NCC aux espaces de travail

Vous pouvez attacher un NCC à un maximum de 50 espaces de travail dans la même région que le NCC.

Pour utiliser l’API pour attacher une CCN à un espace de travail, consultez l’API Espaces de travail de compte.

Dans la barre latérale de la console de compte, cliquez sur Espaces de travail.
Cliquez sur le nom de votre espace de travail.
Cliquez sur Mettre à jour l’espace de travail.
Dans le champ Configuration de connectivité réseau, sélectionnez votre configuration de connectivité réseau. Si elle n’est pas visible, vérifiez que vous avez sélectionné la même région pour l’espace de travail et pour la configuration de connectivité réseau.
Cliquez sur Update.
Attendez 10 minutes pour que la modification prenne effet.
Redémarrez les entrepôts SQL serverless en cours d’exécution dans l’espace de travail.

Si vous utilisez cette fonctionnalité pour vous connecter au compte de stockage d’espace de travail, la configuration est terminée. Les règles réseau sont automatiquement ajoutées au compte de stockage d’espace de travail. Pour les comptes de stockage supplémentaires, passez à l’étape suivante.

Étape 3 : Verrouiller votre compte de stockage

Si vous n’avez pas encore limité l’accès au compte de stockage Azure à des réseaux répertoriés uniquement, faites-le maintenant. Vous n’avez pas besoin d’effectuer cette étape pour le compte de stockage d’espace de travail.

La création d’un pare-feu de stockage affecte également la connectivité entre le plan de calcul classique et vos ressources. Vous devez également ajouter des règles réseau pour vous connecter à vos comptes de stockage à partir de ressources de calcul classiques.

Accédez au portail Azure.
Accédez à votre compte de stockage pour la source de données.
Dans le volet de navigation gauche, cliquez sur mise en réseau.
Dans le champ accès au réseau public, vérifiez la valeur. Par défaut, la valeur est activée à partir de tous les réseaux. Remplacez cette option par activée à partir de réseaux virtuels et d’adresses IP sélectionnés.

Étape 4 : Ajouter des règles de réseau de compte de stockage Azure

Vous n’avez pas besoin d’effectuer cette étape pour le compte de stockage d’espace de travail.

Ajoutez une règle réseau de compte de stockage Azure pour chaque sous-réseau. Pour ce faire, vous pouvez utiliser Azure CLI, PowerShell, Terraform ou d’autres outils d’automatisation. Notez que cette étape ne peut pas être effectuée dans l’interface utilisateur du portail Azure.

L’exemple suivant utilise Azure CLI :
```
az storage account network-rule add --subscription "<sub>" \
    --resource-group "<res>" --account-name "<account>" --subnet "<subnet>"
```
- Remplacez <sub> par le nom de votre abonnement Azure pour le compte de stockage.
- Remplacez <res> par le groupe de ressources de votre compte de stockage.
- Remplacez <account> par le nom de votre compte de stockage.
- Remplacez <subnet> par l’ID de ressource ARM (resourceId) du sous-réseau d’entrepôt SQL serverless.
Après avoir exécuté toutes les commandes, vous pouvez utiliser le portail Azure pour afficher votre compte de stockage et confirmer qu’il existe une entrée dans la table Réseaux virtuels qui représente le nouveau sous-réseau. Toutefois, vous ne pouvez pas modifier les règles réseau dans le portail Azure.

Conseil

Ignorez la mention des « autorisations insuffisantes » dans la colonne d’état du point de terminaison ou l’avertissement sous la liste réseau. Ils indiquent uniquement que vous n’êtes pas autorisé à lire les sous-réseaux Azure Databricks, mais qu’il n’interfèrepas avec la possibilité pour ce sous-réseau serverless Azure Databricks de contacter votre stockage Azure.
Répétez cette commande une fois pour chaque sous-réseau. Vous pouvez éventuellement automatiser le processus de création de règles de réseau. Consultez Automatiser la création de votre règle réseau.
Pour vérifier que votre compte de stockage utilise ces paramètres à partir du Portail Microsoft Azure, accédez à Mise en réseau dans votre compte de stockage.

Vérifiez que l’accès au réseau public est défini sur Activé à partir de réseaux virtuels et d’adresses IP sélectionnés et que les réseaux autorisés sont répertoriés dans la section Réseaux virtuels.

Automatiser la création de votre règle réseau

Vous pouvez automatiser la création de règles réseau pour votre compte de stockage à l’aide d’Azure CLI ou de PowerShell.

Cet exemple Azure CLI est basé sur deux sous-réseaux dans une liste que vous pouvez utiliser avec une boucle afin d’exécuter la commande pour chaque sous-réseau. Dans cet exemple, mystorage-rg est le groupe de ressources et myaccount est le compte de stockage.

#!/bin/bash
SUBNETS=(/subscriptions/8453a5d5-9e9e-40c7-87a4-0ab4cc197f48/resourceGroups/prod-azure-eastusc3-nephos2/providers/Microsoft.Network/virtualNetworks/kaas-vnet/subnets/worker-subnet /subscriptions/8453a5d5-9e9e-40c7-87a4-0ab4cc197f48/resourceGroups/prod-azure-eastusc3-nephos3/providers/Microsoft.Network/virtualNetworks/kaas-vnet/subnets/worker-subnet)
for SUBNET in ${SUBNETS[@]}
do
  az storage account network-rule add --subscription 9999999-1ff3-43f4-b91e-d0ceb97111111 --resource-group mystorage-rg --account-name myaccount --subnet ${SUBNET}
done

Pour utiliser PowerShell, exécutez la commande suivante :

Add-AzStorageAccountNetworkRule -ResourceGroupName <resource group name> -Name <storage account name> -VirtualNetworkResourceId <subnets>

Remplacez :

<resource group name> avec le groupe de ressources de votre compte de stockage.
<storage account name> par le nom de votre compte de stockage.
<subnets> avec une liste des ID de ressource de sous-réseau séparés par des virgules.

Share via