Utilisez Shared Serverless pour les dossiers et bundles Git

Important

Cette fonctionnalité est en version bêta. Pour l’utiliser, un administrateur d’espace de travail doit activer Project-Scoped Shared Compute depuis la page des Aperçus. Consultez Gérer les préversions d’Azure Databricks.

Avec Shared Serverless, les notebooks et fichiers dans le même dossier Git ou bundle partagent le calcul serverless et un environnement Python dans l’éditeur. Pour personnaliser l’environnement, ajoutez un fichier pyproject.toml à la racine du dossier. Choisissez l’option de traitement pour votre dossier ou bundle Git :

• Dossiers Git, avec Shared Serverless pour les dossiers Git.
• Packs d’automatisation déclarative, avec Serverless partagé pour les bundles d’assets.

Requirements

• Votre espace de travail doit répondre aux exigences de calcul sans serveur.
• Ouvrez votre dossier Git ou votre bundle dans l’éditeur de dossiers Git ou l’éditeur de bundles. Voir Créer et gérer les dossiers Git et les bundles de création dans l’espace de travail.
• Shared Serverless nécessite un environnement serverless version 5 ou supérieure.

Calcul partagé et environnement

• Les notebooks et fichiers dans le même dossier Git ou bundle partagent le calcul et un environnement Python dans l’éditeur. Un fichier optionnel pyproject.toml à la racine du dossier définit l’environnement partagé.
• Seuls les notebooks et fichiers situés dans le dossier ou le bundle Git associé peuvent être attachés à sa ressource de calcul partagée.
• Les ressources de calcul partagées sont isolées par utilisateur. Seul l’utilisateur qui est le premier à associer un notebook ou un fichier à une ressource de calcul partagée peut exécuter des charges de travail dessus.
• L’exécution sur le notebook reste isolée. Les variables Python définies dans un carnet ne sont pas disponibles dans un autre carnet.
• Un terminal web ouvert depuis un carnet ou un fichier attaché s’exécute sur la même ressource de calcul.

Serverless partagé pour les dossiers Git

Utilisez Shared Serverless pour les dossiers Git afin de travailler avec des notebooks et fichiers dans un dossier Git.

Attachez les notebooks et fichiers dans l’éditeur de dossiers Git

1. Dans la barre latérale de l’espace de travail, cliquez sur Espace de travail et allez dans le dossier Git.

2. Cliquez sur Ouvrir dans l’éditeur.

3. Ouvrez un carnet ou un fichier dans le dossier Git.

4. Cliquez sur le menu déroulant Compute.

5. Sélectionnez Shared Serverless for Git Folders.

   

6. Exécutez le carnet ou le fichier pour lancer la ressource de calcul.

Pour utiliser le même compute depuis un autre notebook ou fichier, ouvrez-le dans le même dossier Git et sélectionnez Shared Serverless pour les dossiers Git.

Collaborer avec Git

Databricks recommande que chaque collaborateur clone le dépôt dans un dossier Git dans son dossier personnel de travail. Chaque collaborateur obtient alors une ressource de calcul et un environnement distincts pour son clone.

Utilisez des branches, des commits, des pushes et des pulls pour échanger des modifications via le dépôt Git distant. Voir Collaborer dans les dossiers Git.

Serverless partagé pour les groupes de ressources

Utilisez Shared Serverless pour les Asset Bundles afin de travailler avec des notebooks et des fichiers dans un bundle dans l’espace de travail. La racine du package contient databricks.yml et peut contenir un fichier pyproject.toml qui définit l’environnement partagé.

Attachez les notebooks et fichiers dans l’éditeur de bundles

1. Dans la barre latérale de l’espace de travail, cliquez sur Espace de travail et allez dans le bundle.
2. À droite du nom du bundle, cliquez sur Ouvrir dans l’éditeur.
3. Ouvrez un notebook ou un fichier dans le bundle.
4. Cliquez sur le menu déroulant Compute.
5. Sélectionnez Serverless partagé pour les lots de ressources.
6. Exécutez le carnet ou le fichier pour lancer la ressource de calcul.

Pour utiliser le même calcul depuis un autre notebook ou fichier, ouvrez-le dans le même bundle et sélectionnez Shared Serverless for Asset Bundles.

Pour collaborer via Git, faites en sorte que chaque collaborateur clone le dépôt dans un dossier Git dans son dossier d’espace de travail personnel. Consultez Collaborer via Git.

Gérer l’environnement avec pyproject.toml

Shared Serverless utilise le fichier pyproject.toml à la racine du dossier Git ou du bundle pour gérer les dépendances Python du projet. Les notebooks serverless standard utilisent des dépendances configurées pour chaque notebook dans le volet latéral « Environnement ».

Créez le fichier racine pyproject.toml et définissez la version de son environnement serverless avant de gérer ses dépendances. Voir pyproject.tomlCréer et modifier. Vous pouvez alors ajouter des dépendances avec des commandes notebook ou modifier directement le fichier.

Utiliser les commandes du carnet

1. Ouvrez un notebook attaché à Shared Serverless pour les dossiers Git ou Shared Serverless pour les Asset Bundles.

2. Exécutez %uv add <package> pour ajouter une dépendance au fichier racine pyproject.toml . Par exemple:

   %uv add cowsay
   

La commande met à jour pyproject.toml, uv.lock, et l’environnement partagé. Vous n’avez pas besoin d’exécuter %uv sync après %uv add. Utilisez %uv sync pour appliquer les modifications apportées directement à pyproject.toml.

Créer et modifier pyproject.toml

1. Ouvrez un notebook attaché à Shared Serverless pour les dossiers Git ou Shared Serverless pour les Asset Bundles.

2. Ouvre le volet latéral Environnement.

3. Dans la carte Géré par pyproject.toml, cliquez sur Créez pyproject.toml pour créer le fichier racine. Si le fichier existe déjà, cliquez sur Voir pyproject.toml. Le fichier s’ouvre dans l’éditeur.

   

4. Modifie la liste dependencies. Gardez la section générée [tool.databricks.environment] , ou ajoutez-la si elle manque. Réglez environment_version sur une version prise en charge (5 et plus). Par exemple:

   [project]
   name = "my-project"
   version = "0.1.0"
   dependencies = [
     "simplejson==3.18.1",
   ]
   
   [tool.databricks.environment]
   environment_version = "5"
   

5. Cliquez sur Appliquer en haut de l’éditeur pyproject.toml de fichiers.

   

L’environnement mis à jour est disponible pour les carnets et fichiers attachés à la même ressource de calcul partagée. Pour inspecter l’environnement, ouvrez la vitre latérale de l’Environnement . Voir Configurer l’environnement serverless pour des informations sur les versions et dépendances installées de l’environnement serverless.

Planifiez un bloc-notes

Lorsque vous planifiez un notebook attaché à Shared Serverless depuis le dossier Git ou l'éditeur de bundles, Azure Databricks utilise le fichier racine pyproject.toml comme environnement de projet du job si le fichier existe. Déploie le paquet comme décrit dans les étapes suivantes.

1. Dans le dossier Git ou l’éditeur de bundles, ouvrez un notebook attaché à Shared Serverless.
2. Si le dossier Git ou le bundle possède un fichier racine pyproject.toml , vérifiez qu’il déclare les dépendances nécessaires à la tâche.
3. Cliquez sur Planifier.
4. Dans la liste déroulante Compute, sélectionnez le calcul sans serveur.
5. Configurez le programme et cliquez sur Créer.

Après avoir cliqué sur Créer, vérifiez la configuration de la tâche :

• Dossier Git : Si le dossier Git contient un fichier pyproject.toml à la racine, vérifiez que l’environnement du projet dans la configuration de la tâche y pointe. Pour modifier la sélection, voir Configurer l’environnement pour les tâches de travail.

• Bundle : L’éditeur de bundle ouvre un fichier YAML de travail généré dans le dossier resources/.

  1. Si le bundle possède un fichier racine pyproject.toml, vérifiez que project_environment sous le spec de l’environnement pointe vers celui-ci, par rapport au fichier YAML généré. Voir Configurer un environnement de projet dans un bundle.
  2. Déployez le lot pour créer la tâche.

  Les plannings sont mis en pause par défaut en mode développement. ** Consultez les modes de déploiement des ensembles d'automatisation déclarative.

Pour les options de planification des notebooks, voir Créer et gérer les tâches de notebooks planifiées.

Limitations

• Le partage des ressources de calcul est limité à une politique d’utilisation sans serveur. Les notebooks et fichiers dans le même dossier Git ou bundle qui utilisent des politiques d’utilisation différentes se voient attribuer des ressources de calcul distinctes au lieu d’en partager une.

Ressources additionnelles

• Informatique sans serveur pour ordinateurs portables
• Configuration de l'environnement serverless
• Créer et gérer des dossiers Git
• Exécutez les commandes shell dans le terminal web
• Ensembles d'automatisation déclarative