Partager via

Configurer l’emplacement de stockage des résultats du notebook

  • Article

Il est possible que les exigences de confidentialité de votre organisation nécessitent que vous stockiez tous les résultats des notebooks interactifs dans le compte de stockage d’espace de travail de votre compte cloud, plutôt qu’à l’emplacement par défaut du plan de contrôle managé par Databricks où sont stockés certains résultats de commande de notebooks.

Le résultat de la commande Notebook est stocké différemment en fonction de la façon dont vous exécutez le notebook.

Quand vous exécutez un notebook de manière interactive en cliquant sur Exécuter dans le notebook :

  • Si les résultats sont peu volumineux, ils sont stockés dans le plan de contrôle Azure Databricks, avec le contenu et les métadonnées de la commande du notebook.
  • Les résultats plus volumineux sont stockés dans le compte de stockage d’espace de travail dans votre abonnement Azure. Azure Databricks crée automatiquement le compte de stockage d’espace de travail. Azure Databricks utilise cette zone de stockage pour les données système de l’espace de travail et la racine DBFSde votre espace de travail. Les résultats des notebooks sont stockés dans le stockage des données système de l’espace de travail, qui n’est pas accessible aux utilisateurs. Voir Compte de stockage d’espace de travail.

Lorsque vous exécutez un notebook en tant que projet, en le planifiant ou en cliquant sur Run now sur la page Projets, tous les résultats sont stockés dans le compte de stockage d’espace de travail dans votre compte.

Vous pouvez configurer votre espace de travail pour stocker tous les résultats interactifs du notebook dans votre compte Cloud, quelle que soit la taille des résultats.

Configuration de l’emplacement de stockage des résultats de notebooks interactifs

Vous pouvez configurer votre espace de travail pour stocker tous les notebooks interactifs dans votre abonnement Azure, plutôt que dans le plan de contrôle. Vous pouvez activer cette fonctionnalité en utilisant la page des paramètres d’administrateur ou de l’API REST. Cette configuration n’a aucun effet sur les notebooks exécutés en tant que travaux, dont les résultats sont déjà stockés dans votre abonnement Azure par défaut.

Rappelez-vous des points suivants :

  • Les modifications apportées à cette configuration sont effectives uniquement pour les nouveaux résultats. Les résultats existants du notebook ne sont pas déplacés.
  • Certaines métadonnées relatives aux résultats, telles que les noms des colonnes de graphique, continuent à être stockées dans le plan de contrôle.
  • Des coûts de stockage plus élevés peuvent être facturés sur votre fournisseur de cloud.
  • Une latence accrue du réseau et des E/S peut se produire lors de la lecture et de l’écriture des résultats.

Stocker tous les résultats de notebooks dans votre compte en utilisant la page des paramètres administrateur

En tant qu’administrateur d’espace de travail :

  1. Accédez à la page des paramètres.
  2. Cliquez sur l’onglet Security .
  3. Cliquez sur le bouton bascule Stocker les résultats du notebook interactif dans le compte client.

Stocker tous les résultats de notebooks dans votre compte en utilisant l’API REST

Pour configurer votre espace de travail afin de stocker tous les résultats du notebook dans votre abonnement Azure à l’aide de l’API REST :

  • Vous devez être administrateur de l’espace de travail.
  • Vous devez avoir un jeton d'accès personnel. Les instructions suivantes supposent que vous avez configuré un fichier .netrc avec votre jeton d’accès personnel pour pouvoir utiliser l’option dans les commandes -n et curl. Pour plus d’informations, consultez l’article référencé ci-dessus.

Pour récupérer le paramètre actuel, appelez le point de terminaison GET /workspace-conf et définissez keys sur storeInteractiveNotebookResultsInCustomerAccount :

curl -n --request GET \
  'https://<databricks-instance>/api/2.0/workspace-conf?keys=storeInteractiveNotebookResultsInCustomerAccount'

Pour permettre à votre espace de travail de stocker des résultats de notebook interactifs dans votre abonnement Azure, appelez le point de terminaison PATCH /workspace-conf et définissez storeInteractiveNotebookResultsInCustomerAccount sur true dans le corps de la demande :

curl -n --request PATCH \
 'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "true"
}'

Pour désactiver la fonctionnalité, définissez le même indicateur sur false :

curl -n --request PATCH \
  'https://<databricks-instance>/api/2.0/workspace-conf' \
 --header 'Content-Type: text/plain' \
 --data-raw '{
    "storeInteractiveNotebookResultsInCustomerAccount": "false"
}'