Gérer les environnements de base des espaces de travail serverless

Important

Cette fonctionnalité est disponible en préversion publique.

Cette page explique comment créer et gérer des environnements de base serverless dans un espace de travail.

Permissions

• Seuls les administrateurs d’espace de travail peuvent créer et gérer les environnements de base d’un espace de travail.
• Tous les utilisateurs de l’espace de travail ont accès aux environnements de base d’un espace de travail.
• Tous les utilisateurs de l’espace de travail peuvent créer des spécifications d’environnement serverless personnalisées.

Fonctionnement des environnements de base dans Azure Databricks

Dans Azure Databricks, un environnement de base est une spécification YAML partageable qui définit une version d’environnement serverless et un ensemble de dépendances Python supplémentaires pour les notebooks serverless. Les administrateurs d’espace de travail créent et gèrent des environnements de base afin que les utilisateurs puissent rapidement démarrer à partir d’un environnement cohérent, mis en cache et éventuellement ajouter leurs propres bibliothèques.

Utiliser des environnements de base d’espace de travail

Les utilisateurs peuvent sélectionner un environnement de base d’espace de travail dans la liste déroulante De l’environnement de base dans le panneau latéral Environnement . Les environnements de base de l’espace de travail apparaissent dans la liste déroulante en même temps que d’autres options telles que Standard, IA et Custom.

Lorsqu’un environnement de base d’espace de travail est sélectionné, l’environnement mis en cache prédéfini se charge rapidement, ce qui réduit le temps de démarrage des notebooks et des travaux. Pour les travaux, l’utilisation d’environnements de base d’espace de travail améliore les performances, car les dépendances sont déjà mises en cache.

Utiliser des environnements de base d’espace de travail

Les utilisateurs peuvent sélectionner un environnement de base d’espace de travail pour un bloc-notes à l’aide du paramètre d’environnement de base dans le panneau latéral Environnement du bloc-notes.

Lorsqu’un environnement de base d’espace de travail est sélectionné, l’environnement mis en cache prédéfini se charge rapidement, ce qui réduit le temps de démarrage des notebooks et des travaux. Pour les tâches de notebook dans les travaux, l’utilisation d’environnements de base d’espace de travail améliore les performances, car les dépendances sont déjà mises en cache.

Pour obtenir des instructions sur la configuration des environnements de base dans des notebooks, consultez Sélectionner un environnement de base.

Créer et exporter une spécification d’environnement

La façon la plus simple de créer une spécification YAML valide consiste à générer l’environnement dans le panneau latéral Environnement , puis à utiliser le bouton Exporter l’environnement pour télécharger le fichier YAML.

1. Ouvrez un notebook et connectez-vous au calcul serverless.
2. Cliquez sur Bouton dans le volet latéral du bloc-notes.Environment icon.
3. Sous Environnement de base, sélectionnez Standard ou utilisez Plus pour choisir une version d’environnement spécifique. Databricks recommande d’utiliser la dernière version d’environnement serverless prise en charge par votre espace de travail.
4. Dans le champ Dépendances , ajoutez les dépendances que vous souhaitez avoir dans l’environnement de base. Cliquez sur Ajouter une dépendance après avoir entré chaque dépendance. Pour plus d’instructions sur l’ajout de dépendances, consultez Ajouter des dépendances au notebook.
5. Cliquez sur Appliquer en bas du panneau d’environnement pour vérifier que la spécification est valide.
6. Cliquez sur l’icône de menu En bas du panneau d’environnement, cliquez sur Exporter l’environnement.
7. Donnez au fichier YAML un nom et ajoutez-y un dossier d’espace de travail ou un volume de catalogue Unity.

Exemple de spécification d’environnement

L’exemple YAML suivant est basé sur la spécification de l’environnement des projets MLflow. Il définit un environnement de base avec quelques dépendances de bibliothèque :

environment_version: '4'
dependencies:
  - --index-url https://pypi.org/simple
  - -r "/Workspace/Shared/requirements.txt"
  - my-library==6.1
  - /Workspace/Shared/Path/To/simplejson-3.19.3-py3-none-any.whl
  - git+https://github.com/databricks/databricks-cli

Ajouter un environnement de base à votre espace de travail

Pour ajouter la spécification d’environnement en tant qu’environnement de base à l’espace de travail :

1. Dans l’espace de travail, accédez à Paramètres.
2. Sous Administrateur de l’espace de travail, sélectionnez Calcul.
3. En regard des environnements de base pour le calcul serverless, cliquez sur Gérer.
4. Cliquez sur Créer un environnement.
5. Donnez un nom à votre environnement de base. Il s’agit du nom que les utilisateurs verront dans le menu déroulant De l’environnement de base .
6. Sélectionnez le fichier YAML de spécification d’environnement à l’aide du sélecteur de fichiers. Vous pouvez parcourir les fichiers d’espace de travail ou les volumes catalogue Unity.
7. Cliquez sur Créer.

L’environnement de base commence à générer. Vérifiez la colonne État dans la liste des environnements de base. Il passe à Prêt à utiliser quand il est prêt.

Concevoir pour le calcul GPU sans serveur

Important

Cette fonctionnalité est en version bêta. Les administrateurs d’espace de travail peuvent contrôler l’accès à cette fonctionnalité à partir de la page Aperçus . Consultez Gérer les préversions d’Azure Databricks.

Lors de la création d’un environnement de base, vous pouvez éventuellement activer la case à cocher Calcul GPU sans serveur pour configurer l’environnement pour des tâches GPU. Cela crée une version compatible GPU de l’environnement de base qui apparaît sous l’onglet GPU .

La page de gestion des environnements de base comporte deux onglets :

• PROCESSEUR : répertorie les environnements de base pour le calcul serverless (charges de travail non GPU).
• GPU : répertorie les environnements de base pour le calcul GPU serverless. Cet onglet affiche également les lignes d’environnement IA qui correspondent aux environnements de base IA. Pour plus d’informations, consultez l’environnement IA.

Standard Latest fait référence à la dernière version stable de l’environnement de base standard fournie par Databricks.

Note

Les enregistrements d’utilisation associés à la création et à l’actualisation des environnements de base ont la colonne billing_origin_product définie à BASE_ENVIRONMENTS. En outre, l’ID d’environnement de base spécifique est renseigné dans la usage_metadata.base_environment_id colonne.

Définir l’environnement de base par défaut de l’espace de travail

Par défaut, les notebooks serverless d’un espace de travail n’utilisent pas d’environnement de base. Les administrateurs d’espace de travail peuvent sélectionner un environnement de base à appliquer à tous les nouveaux notebooks par défaut.

1. Dans l’espace de travail, accédez à Paramètres.
2. Sous Administrateur de l’espace de travail, sélectionnez Calcul.
3. En regard des environnements de base pour le calcul serverless, cliquez sur Gérer.
4. Cliquez sur l’icône en étoile en regard de l’environnement de base pour la définir comme valeur par défaut.

Tous les nouveaux notebooks serverless sont désormais par défaut dans l’environnement de base sélectionné.

Mettre à jour un environnement de base

Vous pouvez modifier le fichier d’environnement de base pour mettre à jour les numéros de version ou ajouter ou supprimer des dépendances.

Dans la liste des environnements de base, cliquez sur le chemin du fichier YAML de l’environnement de base que vous souhaitez mettre à jour. Cela ouvre le fichier dans un nouvel onglet. Vous pouvez consulter ou mettre à jour le contenu du fichier. Les modifications sont enregistrées automatiquement.

Après avoir mis à jour la spécification YAML, vous devez actualiser l’environnement de base afin que les notebooks et les travaux récupèrent la dernière configuration.

1. En regard de l’environnement de base que vous souhaitez actualiser, cliquez sur puis sélectionnez Actualiser.
2. Cliquez sur Confirmer.

Les nouvelles sessions utilisent désormais l’environnement de base mis à jour. Les sessions de notebook existantes doivent être redémarrées pour obtenir les mises à jour.

Limites

Les environnements de base présentent les limitations suivantes :

• Les environnements de base personnalisés sont pris en charge uniquement pour les types de tâches sans serveur, de roue Python et de notebook Python. Les autres types de tâches ne sont pas pris en charge.
• Les environnements de base d’espace de travail ne sont pas pris en charge dans les travaux. La seule exception est les tâches de notebook, qui peuvent utiliser des environnements de base d’espace de travail uniquement lorsque l’environnement est configuré directement dans les paramètres d’environnement du notebook.
• Les pipelines déclaratifs Spark Lakeflow ne sont pas compatibles avec les environnements de base.
• Seules les dépendances pertinentes sont installées au moment de l’exécution.
• L’environnement serverless version 1 n’est pas pris en charge. Utilisez la version 2 ou ultérieure.
• Les environnements de base sont disponibles pour tous les utilisateurs de l’espace de travail.
• Les espaces de travail sont limités à 10 environnements de base.