Bibliothèques de cluster
Les bibliothèques de cluster peuvent être utilisées par tous les notebooks et tâches s’exécutant sur un cluster. Cet article décrit en détail l’utilisation de l’interface utilisateur Installer la bibliothèque dans l’espace de travail Azure Databricks.
Remarque
Si vous créez une capacité de calcul à l’aide d’une stratégie qui applique des installations de bibliothèque, vous ne pouvez pas installer ou désinstaller des bibliothèques sur votre calcul. Les administrateurs de l’espace de travail contrôlent la gestion de toutes les bibliothèques au niveau de la stratégie.
Vous pouvez installer des bibliothèques sur un cluster à l’aide des approches suivantes :
Installer une bibliothèque destinée à être utilisée uniquement avec un cluster spécifique.
Installez une bibliothèque avec l’API REST. Consultez l’API Bibliothèques.
Installez une bibliothèque avec l’interface CLI Databricks. Consultez Qu’est-ce que l’interface CLI Databricks ?.
Installez une bibliothèque à l’aide de Terraform. Consultez le fournisseur Terraform Databricks et databricks_library.
Installez une bibliothèque en créant un cluster avec une stratégie qui définit des installations de bibliothèque. Consultez Ajouter des bibliothèques à une stratégie.
(Non conseillé) Installez une bibliothèque à l’aide d’un script d’initialisation qui s’exécute pendant la création du cluster. Consultez Installer une bibliothèque avec un script init (hérité).
Installer une bibliothèque sur un cluster
Pour installer une bibliothèque sur un cluster :
- Cliquez sur
Calcul dans la barre latérale. - Cliquez sur le nom d’un cluster.
- Cliquez sur l’onglet Bibliothèques.
- Cliquez sur Installer.
- La boîte de dialogue Installer la bibliothèque s’affiche.
- Sélectionnez l’une des options Source de la bibliothèque, suivez les instructions qui s’affichent, puis cliquez sur Installer.
Important
Vous pouvez également installer les bibliothèques à partir de DBFS lors de l’utilisation de Databricks Runtime 14.3 LTS et versions antérieures. Toutefois, tout utilisateur de l’espace de travail peut modifier les bibliothèques de codes stockées dans DBFS. Pour améliorer la sécurité des bibliothèques dans un espace de travail Azure Databricks, le stockage des bibliothèques de codes dans la racine DBFS est déconseillé et désactivé par défaut dans Databricks Runtime 15.1 et versions ultérieures. Consultez Le stockage des bibliothèques dans la racine DBFS est déconseillé et désactivé par défaut.
Au lieu de cela, Databricks recommande de charger toutes les bibliothèques, notamment les bibliothèques Python, les fichiers JAR et les connecteurs Spark, dans des fichiers d’espace de travail ou des volumes du catalogue Unity, ou d’utiliser des référentiels de packages de bibliothèques. Si votre charge de travail ne prend pas en charge ces modèles, vous pouvez également utiliser des bibliothèques stockées dans le stockage d’objets cloud.
Tous les modes d’accès au cluster ne prennent pas en charge toutes les configurations de bibliothèque. Consultez Bibliothèques à l’échelle d’un cluster.
| Source de la bibliothèque | Instructions |
|---|---|
| Espace de travail | Sélectionnez un fichier de l’espace de travail ou chargez un fichier Whl, wheelhouse compressé, JAR, ZIP, tar ou requirements.txt. Consultez Installer les bibliothèques à partir de fichiers d’espace de travail |
| Volumes | Dans un volume, sélectionnez un fichier Whl, JAR ou requirements.txt. Consultez Installer des bibliothèques à partir d’un volume. |
| Chemin de fichier/ADLS | Sélectionnez le type de bibliothèque et fournissez l’URI complet de l’objet de bibliothèque (par exemple /Workspace/path/to/library.whl, /Volumes/path/to/library.whlou abfss://container-name@storage-account-name.dfs.core.windows.net/path/to/library.whl). Consultez Installer des bibliothèques à partir du stockage d’objets. |
| PyPI | Entrez un nom de package PyPI. Consultez Package PyPI. |
| Maven | Spécifiez une coordonnée Maven. Consultez Package Maven ou Spark. |
| CRAN | Entrez le nom d’un package. Consultez Package CRAN. |
| DBFS (Non recommandé) | Chargez un fichier JAR ou Whl à la racine DBFS. Cela n’est pas recommandé, car des fichiers stockés dans DBFS peuvent être modifiés par n’importe quel utilisateur de l’espace de travail. |
Lorsque vous installez une bibliothèque sur un cluster, un notebook déjà attaché à ce cluster ne verra pas immédiatement la nouvelle bibliothèque. Vous devez d’abord détacher, puis rattacher le notebook au cluster.
Remarque
Une bibliothèque dont l’installation a pris plus de 2 heures est marquée comme ayant échoué.
Installer une bibliothèque à l’aide d’une stratégie
Si vous créez un cluster à l’aide d’une stratégie qui applique l’installation d’une bibliothèque, les bibliothèques spécifiées s’installent automatiquement sur votre cluster. Vous ne pouvez installer aucune bibliothèque supplémentaire ou en désinstaller.
Les administrateurs de l’espace de travail peuvent ajouter des bibliothèques à des stratégies, ce qui leur permet de gérer et d’appliquer des installations de bibliothèque sur tous les calculs utilisant la stratégie. Pour obtenir des instructions de l’administrateur, consultez Ajouter des bibliothèques à une stratégie.
Désinstaller une bibliothèque d’un cluster
Notes
Lorsque vous désinstallez une bibliothèque d’un cluster, la bibliothèque est supprimée uniquement lorsque vous redémarrez le cluster. Tant que vous n’avez pas redémarré le cluster, l’état de la bibliothèque désinstallée apparaît comme Désinstallation en attente de redémarrage.
Pour désinstaller une bibliothèque, vous pouvez utiliser l’interface utilisateur du cluster :
- Cliquez sur Calcul dans la barre latérale.
- Cliquez sur le nom d’un cluster.
- Cliquez sur l’onglet Bibliothèques.
- Cochez la case à côté du cluster à partir duquel vous souhaitez désinstaller la bibliothèque et cliquez sur Désinstaller, puis sur Confirmer. L’état passe à Désinstallation en attente de redémarrage.
Cliquez sur Redémarrer et Confirmer pour désinstaller la bibliothèque. La bibliothèque est supprimée de l’onglet Bibliothèques du cluster.
Afficher les bibliothèques installées sur un cluster
- Cliquez sur Calcul dans la barre latérale.
- Cliquez sur le nom du cluster.
- Cliquez sur l’onglet Bibliothèques. Pour chaque bibliothèque, l’onglet affiche le nom et la version, le type, l’état d’installation et, s’il a été chargé, le fichier source.
Mettre à jour une bibliothèque installée sur un cluster
Pour mettre à jour une bibliothèque installée sur un cluster, désinstallez l’ancienne version de la bibliothèque et installez une nouvelle version.
Remarque
Les fichiers requirements.txt ne nécessitent pas de désinstallation et de redémarrage. Si vous avez modifié le contenu d’un fichier requirements.txt, vous pouvez simplement le réinstaller pour mettre à jour le contenu du fichier installé.