Configurer la connectivité privée aux ressources Azure

Cet article explique comment configurer la connectivité privée à partir d’un calcul serverless à l’aide de l’interface utilisateur de la console de compte Azure Databricks. Vous pouvez également utiliser l’API configurations de connectivité réseau.

Si vous configurez votre ressource Azure pour accepter uniquement les connexions à partir de points de terminaison privés, toute connexion à la ressource à partir de vos ressources de calcul Databricks classiques doit également utiliser des points de terminaison privés.

Pour configurer un pare-feu stockage Azure pour l’accès au calcul serverless à l’aide de sous-réseaux, consultez Configurer un pare-feu pour l’accès au calcul serverless (hérité). Pour gérer les règles de point de terminaison privé existantes, veuillez consulter la section Gérer les règles de point de terminaison privé.

Note

Azure Databricks facture les frais de réseau lorsque les charges de travail sans serveur se connectent aux ressources des clients. Consultez Comprendre les coûts de mise en réseau sans serveur de Databricks.

Vue d’ensemble de la connectivité privée pour le calcul serverless

La connectivité réseau sans serveur est gérée via des configurations de connectivité réseau (NCC). Les administrateurs de compte créent des NCC dans la console de compte, et un seul NCC peut être attaché à un ou plusieurs espaces de travail.

Lorsque vous ajoutez un point de terminaison privé dans une CCN, Azure Databricks crée une demande de point de terminaison privé à votre ressource Azure. Une fois que le propriétaire de la ressource approuve la demande, Azure Databricks utilise ce point de terminaison privé pour accéder aux ressources à partir du plan de calcul serverless. Le point de terminaison privé est dédié à votre compte Azure Databricks et accessible uniquement à partir d’espaces de travail autorisés.

Les points de terminaison privés de NCC sont pris en charge à partir d’entrepôts SQL, de travaux, de notebooks, de pipelines déclaratifs Spark Lakeflow et de points de terminaison de service de modèles.

Note

  • Les points de terminaison privés de NCC sont pris en charge pour les sources de données dont vous êtes responsable ainsi que pour le compte de stockage de l'espace de travail. Pour plus d’informations sur la configuration des points de terminaison privés pour le compte de stockage d’espace de travail, consultez Activer la prise en charge du pare-feu pour votre compte de stockage d’espace de travail.

  • Le service de modèle utilise le chemin de stockage Blob Azure pour télécharger des artefacts de modèle. Donc, créez un point de terminaison privé pour votre objet Blob avec l'ID de sous-ressource. Vous aurez besoin de DFS pour journaliser les modèles dans Unity Catalog à partir des notebooks serverless.

Pour en savoir plus sur les NCC, veuillez consulter la section Qu’est-ce qu’une configuration de connectivité réseau (NCC) ?

Azur

Spécifications

  • Votre compte et votre espace de travail doivent se trouver sur le plan Premium.
  • Vous devez être administrateur de compte Azure Databricks.
  • Chaque compte Azure Databricks peut avoir jusqu’à 10 NCC par région.
  • Chaque région peut avoir 100 points de terminaison privés, répartis selon les besoins entre 1 et 10 NCC.
  • Chaque NCC peut être associé à jusqu’à 50 espaces de travail.

Étape 1 : Créer une configuration de connectivité réseau

Databricks recommande de partager une CCN entre les espaces de travail dans la même unité commerciale et la même région. Par exemple, si certains espaces de travail utilisent des liens privés et d’autres espaces de travail utilisent activation du pare-feu, utilisez des NCC distincts pour ces cas d'utilisation.

  1. En tant qu’administrateur du compte, rendez-vous dans la console du compte.
  2. Dans la barre latérale, cliquez sur Sécurité.
  3. Cliquez sur Configurations de connectivité réseau.
  4. Cliquez sur Ajouter une configuration réseau.
  5. Saisissez un nom pour la NCC.
  6. Choisissez la région. Celle-ci doit correspondre à la région de votre espace de travail.
  7. Cliquez sur Add.

Étape 2 : Associer une NCC à un espace de travail

  1. Dans la barre latérale de la console du compte, cliquez sur Workspaces (Espaces de travail).
  2. Cliquez sur le nom de votre espace de travail.
  3. Cliquez sur Update workspace (Mettre à jour l’espace de travail).
  4. Dans le champ Configurations de connectivité réseau , sélectionnez votre CCN. S'il n'est pas visible, vérifiez que vous avez sélectionné la même région Azure pour l'espace de travail et la CCN.
  5. Cliquez sur Update.
  6. Attendez 10 minutes pour que le changement prenne effet.
  7. Redémarrez tous les services serverless en cours d’exécution dans l’espace de travail.

Étape 3 : créer des règles de point de terminaison privé

Vous devez créer une règle de point de terminaison privé dans votre CCN pour chaque ressource Azure.

  1. Obtenez la liste des ID de ressource Azure pour toutes vos destinations.
    1. Dans un autre onglet de navigateur, utilisez le portail Azure accédez aux services Azure de votre source de données.
    2. Sur la page Overview (vue d’ensemble), consultez la section Essentials.
    3. Cliquez sur le lien JSON View (affichage JSON). L’ID de ressource du service s’affiche en haut de la page.
    4. Copiez cet ID de ressource dans un autre emplacement. Répétez l’opération pour toutes les destinations. Pour plus d’informations sur la recherche de votre ID de ressource, consultez Valeurs de zone DNS privée du point de terminaison Azure Private Endpoint.
  2. Revenez à l’onglet de votre navigateur avec la console du compte.
  3. Dans la barre latérale, cliquez sur Sécurité.
  4. Cliquez sur Configurations de connectivité réseau.
  5. Sélectionnez la NCC que vous avez créée à l’étape 1.
  6. Dans Private endpoint rules (Règles de point de terminaison privé), cliquez sur Add private endpoint rule (Ajouter une règle de point de terminaison privé).
  7. Dans le champ Destination Azure ID de ressource, collez l’ID de ressource de votre ressource.
  8. Dans le champ Azure id de sous-source, spécifiez l’ID de destination et le type de sous-source. Chaque règle de point de terminaison privé doit utiliser un ID de sous-ressource différent. Pour obtenir la liste des types de sous-ressources pris en charge, consultez Ressources prises en charge.
  9. Cliquez sur Add.
  10. Attendez quelques minutes jusqu’à ce que toutes les règles de point de terminaison aient le statut PENDING.

Étape 4 : approuver les nouveaux points de terminaison privés sur vos ressources

Les points de terminaison ne prennent pas effet tant qu’un administrateur ne les approuve pas côté ressource. Pour approuver l’utilisation du portail Azure :

  1. Dans le portail Azure, accédez à votre ressource.

  2. Dans la barre latérale, cliquez sur Networking.

  3. Cliquez sur Private endpoint connections (Connexions de point de terminaison privé).

  4. Cliquez sur l’onglet Private access (Accès privé).

  5. Sous Private endpoint connections (Connexions de point de terminaison privé), examinez la liste des points de terminaison privés.

  6. Cochez la case en regard de chacun pour les approuver, puis cliquez sur le bouton Approve au-dessus de la liste.

  7. Revenez à votre CCN dans Azure Databricks et actualisez la page du navigateur jusqu’à ce que toutes les règles de point de terminaison aient l’état ESTABLISHED.

    Liste des points de terminaison privés

(Facultatif) Étape 5 : Définir vos ressources pour interdire l’accès au réseau public

Si vous n’avez pas encore limité vos ressources aux réseaux listés uniquement, vous pouvez le faire maintenant.

  1. Accédez au portail Azure.
  2. Accédez à votre compte de stockage pour la source de données.
  3. Dans la barre latérale, cliquez sur Networking.
  4. Dans le champ Public network access (accès au réseau public), vérifiez la valeur. Par défaut, la valeur est Enabled from all networks (activée à partir de tous les réseaux). Modifiez-la en Disabled (désactivé)

Configurer Private Link pour Azure Application Gateway v2

Si vous configurez Private Link sur une ressource Azure App Gateway v2, vous devez utiliser l'API REST Configurations de connectivité réseau au lieu de l'interface utilisateur de la console de compte. Azure App Gateway v2 nécessite des paramètres supplémentaires : ID de ressource, ID de groupe et noms de domaine.

  1. Utilisez l’appel d’API suivant pour établir une règle de point de terminaison privé avec la configuration du nom de domaine : 
    curl --location 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer <TOKEN>' \
--data '{
   "domain_names": [
      "<YOUR_DOMAIN_HERE>"
   ],
   "resource_id": "<YOUR_APP_GATEWAY_RESOURCE_ID_HERE>",
   "group_id": "<GROUP_ID>"
}'
  2. Si vous devez modifier les noms de domaine pour une règle de point de terminaison privé existante, utilisez la requête PATCH suivante : 
    curl --location --request PATCH 'https://accounts.azuredatabricks.net/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules/<PRIVATE_ENDPOINT_RULE_ID>?update_mask=domain_names' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer <TOKEN>' \
--data '{
   "domain_names": [
      "<YOUR_DOMAIN_HERE>"
   ]
}'
  3. Pour répertorier, afficher ou supprimer des règles de point de terminaison privé App Gateway, utilisez les opérations standard de l’API Configurations de connectivité réseau documentées dans l’API configurations de connectivité réseau.

Étape 7 : Redémarrer les ressources du plan de calcul serverless et tester la connexion

  1. Patientez cinq minutes supplémentaires pour que les modifications se propagent.
  2. Redémarrez toutes les ressources du plan de calcul serverless en cours d’exécution dans les espaces de travail associés à votre NCC. Si vous n’avez pas de ressources de plan de calcul serverless en cours d’exécution, démarrez-en une maintenant.
  3. Vérifiez que toutes les ressources démarrent correctement.
  4. Exécutez au moins une requête sur votre source de données pour confirmer que l’entrepôt SQL serverless peut accéder à votre source de données.

Étapes suivantes

Azure China

Exigences Azure en Chine

  • Votre compte et votre espace de travail doivent se trouver sur le plan Premium.
  • Vous devez être administrateur de compte Azure Databricks.
  • Chaque compte Azure Databricks peut avoir jusqu’à 10 NCC par région.
  • Chaque compte peut avoir jusqu’à 20 points de terminaison privés dans Azure Chine.
  • Chaque NCC peut être associé à jusqu’à 50 espaces de travail.

Note

Dans Azure Chine, les NCC ne sont pris en charge que dans la région Chine Nord 3. Étant donné qu’une CCN ne peut être attachée qu’à un espace de travail dans la même région, votre espace de travail doit également être en Chine Nord 3.

Step 1 : Créer une configuration de connectivité réseau (Azure Chine)

Databricks recommande de partager une CCN entre les espaces de travail dans la même unité commerciale et la même région. Par exemple, si certains espaces de travail utilisent des Private Link et d’autres espaces de travail utilisent différentes configurations de connectivité, utilisez des contrôleurs de réseau distincts pour ces cas d’usage.

Note

L’activation du pare-feu (accès en fonction du sous-réseau) n’est pas disponible en Chine Azure. Les points de terminaison privés sont la seule méthode de connectivité prise en charge pour le calcul serverless dans Azure Chine.

  1. En tant qu’administrateur du compte, rendez-vous dans la console du compte.
  2. Dans la barre latérale, cliquez sur Sécurité.
  3. Cliquez sur Configurations de connectivité réseau.
  4. Cliquez sur Ajouter une configuration réseau.
  5. Saisissez un nom pour la NCC.
  6. Choisissez Chine Nord 3 comme région. Celle-ci doit correspondre à la région de votre espace de travail.
  7. Cliquez sur Add.

Step 2 : Attacher une CCN à un espace de travail (Azure Chine)

  1. Dans la barre latérale de la console du compte, cliquez sur Workspaces (Espaces de travail).
  2. Cliquez sur le nom de votre espace de travail.
  3. Cliquez sur Update workspace (Mettre à jour l’espace de travail).
  4. Dans le champ Configurations de connectivité réseau , sélectionnez votre CCN. S'il n'est pas visible, vérifiez que vous avez sélectionné Chine Nord 3 comme région Azure pour l'espace de travail et la CCN.
  5. Cliquez sur Update.
  6. Attendez 10 minutes pour que le changement prenne effet.
  7. Redémarrez tous les services serverless en cours d’exécution dans l’espace de travail.

Step 3 : Créer des règles de point de terminaison privé (Azure Chine)

Vous devez créer une règle de point de terminaison privé dans votre CCN pour chaque ressource Azure. Pour obtenir la liste des ressources prises en charge dans Azure Chine, consultez Ressources prises en charge.

  1. Obtenez la liste des ID de ressource Azure pour toutes vos destinations.
    1. Dans un autre onglet de navigateur, utilisez le portail Azure accédez aux services Azure de votre source de données.
    2. Sur la page Overview (vue d’ensemble), consultez la section Essentials.
    3. Cliquez sur le lien JSON View (affichage JSON). L’ID de ressource du service s’affiche en haut de la page.
    4. Copiez cet ID de ressource dans un autre emplacement. Répétez l’opération pour toutes les destinations. Pour plus d’informations sur la recherche de votre ID de ressource, consultez Valeurs de zone DNS privée du point de terminaison Azure Private Endpoint.
  2. Revenez à l’onglet de votre navigateur avec la console du compte.
  3. Dans la barre latérale, cliquez sur Sécurité.
  4. Cliquez sur Configurations de connectivité réseau.
  5. Sélectionnez la NCC que vous avez créée à l’étape 1.
  6. Dans Private endpoint rules (Règles de point de terminaison privé), cliquez sur Add private endpoint rule (Ajouter une règle de point de terminaison privé).
  7. Dans le champ Destination Azure ID de ressource, collez l’ID de ressource de votre ressource.
  8. Dans le champ Azure id de sous-source, spécifiez l’ID de destination et le type de sous-source. Chaque règle de point de terminaison privé doit utiliser un ID de sous-ressource différent.
  9. Cliquez sur Add.
  10. Attendez quelques minutes jusqu’à ce que toutes les règles de point de terminaison aient le statut PENDING.

Step 4 : Approuver les nouveaux points de terminaison privés sur vos ressources (Azure Chine)

Les points de terminaison ne prennent pas effet tant qu’un administrateur ne les approuve pas côté ressource. Pour approuver l’utilisation du portail Azure :

  1. Dans le portail Azure, accédez à votre ressource.

  2. Dans la barre latérale, cliquez sur Networking.

  3. Cliquez sur Private endpoint connections (Connexions de point de terminaison privé).

  4. Cliquez sur l’onglet Private access (Accès privé).

  5. Sous Private endpoint connections (Connexions de point de terminaison privé), examinez la liste des points de terminaison privés.

  6. Cochez la case en regard de chacun pour les approuver, puis cliquez sur le bouton Approve au-dessus de la liste.

  7. Revenez à votre CCN dans Azure Databricks et actualisez la page du navigateur jusqu’à ce que toutes les règles de point de terminaison aient l’état ESTABLISHED.

    Liste des points de terminaison privés

(Facultatif) Étape 5 : Définissez vos ressources pour interdire l’accès au réseau public (Azure Chine)

Si vous n’avez pas encore limité vos ressources aux réseaux listés uniquement, vous pouvez le faire maintenant.

  1. Accédez au portail Azure.
  2. Accédez à votre compte de stockage pour la source de données.
  3. Dans la barre latérale, cliquez sur Networking.
  4. Dans le champ Public network access (accès au réseau public), vérifiez la valeur. Par défaut, la valeur est Enabled from all networks (activée à partir de tous les réseaux). Modifiez-la en Disabled (désactivé)

Configurer le lien privé vers Azure App Gateway v2 (Azure Chine)

Si vous configurez Private Link sur une ressource Azure App Gateway v2, vous devez utiliser l'API REST Configurations de connectivité réseau au lieu de l'interface utilisateur de la console de compte. Azure App Gateway v2 nécessite des paramètres supplémentaires : ID de ressource, ID de groupe et noms de domaine.

  1. Utilisez l’appel d’API suivant pour établir une règle de point de terminaison privé avec la configuration du nom de domaine : 
    curl --location 'https://accounts.databricks.azure.cn/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer <TOKEN>' \
--data '{
   "domain_names": [
      "<YOUR_DOMAIN_HERE>"
   ],
   "resource_id": "<YOUR_APP_GATEWAY_RESOURCE_ID_HERE>",
   "group_id": "<GROUP_ID>"
}'
  2. Si vous devez modifier les noms de domaine pour une règle de point de terminaison privé existante, utilisez la requête PATCH suivante : 
    curl --location --request PATCH 'https://accounts.databricks.azure.cn/api/2.0/accounts/<ACCOUNT_ID>/network-connectivity-configs/<NCC_ID>/private-endpoint-rules/<PRIVATE_ENDPOINT_RULE_ID>?update_mask=domain_names' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer <TOKEN>' \
--data '{
   "domain_names": [
      "<YOUR_DOMAIN_HERE>"
   ]
}'
  3. Pour répertorier, afficher ou supprimer des règles de point de terminaison privé App Gateway, utilisez les opérations standard de l’API Configurations de connectivité réseau documentées dans l’API configurations de connectivité réseau.

Step 7 : Redémarrer les ressources du plan de calcul serverless et tester la connexion (Azure Chine)

  1. Patientez cinq minutes supplémentaires pour que les modifications se propagent.
  2. Redémarrez toutes les ressources du plan de calcul serverless en cours d’exécution dans les espaces de travail associés à votre NCC. Si vous n’avez pas de ressources de plan de calcul serverless en cours d’exécution, démarrez-en une maintenant.
  3. Vérifiez que toutes les ressources démarrent correctement.
  4. Exécutez au moins une requête sur votre source de données pour confirmer que l’entrepôt SQL serverless peut accéder à votre source de données.

Étapes suivantes (Azure Chine)

  • Last updated on