Configurer un pare-feu pour l’accès au calcul serverless

Article
06/25/2024

Remarque

Si vous avez configuré les pare-feux de stockage en utilisant les ID de sous-réseau à partir de la documentation Azure Databricks avant le 31 octobre 2023, Databricks vous recommande de mettre à jour les espaces de travail en suivant les étapes de cet article ou en utilisant un point de terminaison privé. Si vous choisissez de ne pas mettre à jour les espaces de travail existants, ils continuent à fonctionner sans modification.

Cet article décrit comment configurer un pare-feu de stockage Azure pour le calcul serverless à l'aide de l'interface utilisateur de la console de compte Azure Databricks. Vous pouvez également utiliser l’API Configurations de connectivité réseau.

Pour configurer un point de terminaison privé pour l’accès au calcul serverless, consultez Configurer la connectivité privée à partir du calcul serverless.

Remarque

Il n’existe actuellement aucun frais de mise en réseau pour les fonctionnalités serverless. Dans une version ultérieure, il est possible que vous fassiez l’objet d’une facturation. Azure Databricks vous informera à l’avance de toutes modifications de la tarification de mise en réseau.

Vue d’ensemble de l’activation du pare-feu pour le calcul serverless

La connectivité réseau serverless est gérée avec des configurations de connectivité réseau (CCN). Les administrateurs de compte créent des CCN dans la console de compte et une CCN peut être attachée à un ou plusieurs espaces de travail

Une CCN contient une liste d’identités réseau pour un type de ressource Azure en tant que règles par défaut. Lorsqu’une CCN est attachée à un espace de travail, le calcul serverless dans cet espace de travail utilise l’un de ces réseaux pour connecter la ressource Azure. Vous pouvez ajouter ces réseaux à une liste d’autorisation sur votre pare-feu de ressources Azure. Si vous avez des pare-feux de ressources Azure hors stockage, contactez l’équipe en charge de votre compte pour obtenir des informations sur la façon d’utiliser les adresses IP NAT stables d’Azure Databricks.

L’activation du pare-feu NCC est prise en charge à partir d’entrepôts SQL serverless, de workflows, de notebooks, de pipelines Delta Live Tables et de points de terminaison de processeur de service de modèles.

Vous pouvez éventuellement configurer l’accès réseau à votre compte de stockage d’espace de travail à partir de réseaux autorisés uniquement, notamment le calcul serverless. Consultez Activer la prise en charge du pare-feu pour votre compte de stockage d’espace de travail. Quand une configuration NCC est attachée à un espace de travail, les règles réseau sont automatiquement ajoutées au compte Stockage Azure du compte de stockage d’espace de travail.

Pour plus d’informations sur les contrôleurs de réseau, consultez Qu’est-ce qu’une configuration de connectivité réseau ?.

Implications des coûts de l’accès au stockage inter-régions

Le pare-feu s’applique uniquement lorsque les ressources Azure se trouvent dans la même région que l’espace de travail Azure Databricks. Pour le trafic inter-région à partir du calcul serverless Azure Databricks (par exemple, l’espace de travail est dans la région USA Est et le stockage ADLS est dans la région Europe Ouest), Azure Databricks achemine le trafic via un service Azure NAT Gateway.

Important

Il n’existe actuellement aucun frais pour utiliser cette fonctionnalité. Dans une version ultérieure, vous pouvez être facturé pour l’utilisation. Pour éviter ces frais inter-régions, Databricks vous recommande de créer un espace de travail dans la même région que votre stockage.

Spécifications

Votre espace de travail doit être sur le plan Premium.
Vous devez être administrateur de compte Azure Databricks.
Chaque configuration de connectivité réseau peut être attachée à jusqu’à 50 espaces de travail.
Chaque compte Azure Databricks peut avoir jusqu’à 10 configurations de connectivité réseau par région.
Vous devez avoir WRITE accès aux règles réseau de votre compte de stockage Azure.

Étape 1 : créer une configuration de connectivité réseau et copier des identifiants de sous-réseau

Databricks recommande de partager des NCC entre des espaces de travail dans la même unité commerciale et ceux qui partagent les mêmes régions et propriétés de connectivité. Par exemple, si certains espaces de travail utilisent le pare-feu de stockage et d’autres espaces de travail utilisent l’approche alternative de Private Link, utilisez des NCC distincts pour ces cas d’usage.

En tant qu’administrateur de compte, accédez à la console de compte.
Dans la barre latérale, cliquez sur Ressources cloud.
Cliquez sur Configuration de connectivité réseau.
Cliquez sur Ajouter des configurations de connectivité réseau.
Entrez un nom pour la configuration de connectivité réseau.
Choisissez la région. Cela doit correspondre à votre région d’espace de travail.
Cliquez sur Ajouter.
Dans la liste des NCC, cliquez sur votre nouveau NCC.
Dans Règles par défaut sous Identités réseau, cliquez sur Afficher tout.
Dans la boîte de dialogue, cliquez sur le bouton Copier des sous-réseaux.
Cliquez sur Fermer.

Étape 2 : attacher un CCN à des espaces de travail

Vous pouvez attacher un NCC à un maximum de 50 espaces de travail dans la même région que le NCC.

Pour utiliser l’API pour attacher une CCN à un espace de travail, consultez l’API Espaces de travail de compte.

Dans la barre latérale de la console de compte, cliquez sur Espaces de travail.
Cliquez sur le nom de votre espace de travail.
Cliquez sur Mettre à jour l’espace de travail.
Dans le champ Configuration de connectivité réseau, sélectionnez votre configuration de connectivité réseau. Si elle n’est pas visible, vérifiez que vous avez sélectionné la même région pour l’espace de travail et pour la configuration de connectivité réseau.
Cliquez sur Update.
Attendez 10 minutes pour que la modification prenne effet.
Redémarrez les ressources de calcul serverless en cours d’exécution dans l’espace de travail.

Si vous utilisez cette fonctionnalité pour vous connecter au compte de stockage d’espace de travail, la configuration est terminée. Les règles réseau sont automatiquement ajoutées au compte de stockage d’espace de travail. Pour les comptes de stockage supplémentaires, passez à l’étape suivante.

Étape 3 : Verrouiller votre compte de stockage

Si vous n’avez pas encore limité l’accès au compte de stockage Azure à des réseaux répertoriés uniquement, faites-le maintenant. Vous n’avez pas besoin d’effectuer cette étape pour le compte de stockage d’espace de travail.

La création d’un pare-feu de stockage affecte également la connectivité entre le plan de calcul classique et vos ressources. Vous devez également ajouter des règles réseau pour vous connecter à vos comptes de stockage à partir de ressources de calcul classiques.

Accédez au portail Azure.
Accédez à votre compte de stockage pour la source de données.
Dans le volet de navigation gauche, cliquez sur mise en réseau.
Dans le champ accès au réseau public, vérifiez la valeur. Par défaut, la valeur est activée à partir de tous les réseaux. Remplacez cette option par activée à partir de réseaux virtuels et d’adresses IP sélectionnés.

Étape 4 : Ajouter des règles de réseau de compte de stockage Azure

Vous n’avez pas besoin d’effectuer cette étape pour le compte de stockage d’espace de travail.

Ajoutez une règle réseau de compte de stockage Azure pour chaque sous-réseau. Pour ce faire, vous pouvez utiliser Azure CLI, PowerShell, Terraform ou d’autres outils d’automatisation. Notez que cette étape ne peut pas être effectuée dans l’interface utilisateur du portail Azure.

L’exemple suivant utilise Azure CLI :
```
az storage account network-rule add --subscription "<sub>" \
    --resource-group "<res>" --account-name "<account>" --subnet "<subnet>"
```
- Remplacez <sub> par le nom de votre abonnement Azure pour le compte de stockage.
- Remplacez <res> par le groupe de ressources de votre compte de stockage.
- Remplacez <account> par le nom de votre compte de stockage.
- Remplacez <subnet> par l’ID de ressource ARM (resourceId) du sous-réseau de calcul serverless.
Après avoir exécuté toutes les commandes, vous pouvez utiliser le portail Azure pour afficher votre compte de stockage et confirmer qu’il existe une entrée dans la table Réseaux virtuels qui représente le nouveau sous-réseau. Toutefois, vous ne pouvez pas modifier les règles réseau dans le portail Azure.
Conseil
- Vérifiez que vous utilisez les dernières informations de la configuration NCC pour configurer l’ensemble correct de ressources réseau.
- Évitez de stocker les informations de la configuration NCC localement.
- Ignorez la mention des « autorisations insuffisantes » dans la colonne d’état du point de terminaison ou l’avertissement sous la liste réseau. Ils indiquent uniquement que vous n’êtes pas autorisé à lire les sous-réseaux Azure Databricks, mais qu’il n’interfèrepas avec la possibilité pour ce sous-réseau serverless Azure Databricks de contacter votre stockage Azure.
Répétez cette commande une fois pour chaque sous-réseau.
Pour vérifier que votre compte de stockage utilise ces paramètres à partir du Portail Microsoft Azure, accédez à Mise en réseau dans votre compte de stockage.

Vérifiez que l’accès au réseau public est défini sur Activé à partir de réseaux virtuels et d’adresses IP sélectionnés et que les réseaux autorisés sont répertoriés dans la section Réseaux virtuels.

Partager via