Gérer les bibliothèques Python dans Microsoft Fabric

  • Article

Les bibliothèques fournissent du code réutilisable que vous pouvez inclure dans vos programmes ou projets. Chaque espace de travail est fourni avec un ensemble préinstallé de bibliothèques disponibles dans l’exécution de Spark et disponibles pour être utilisées immédiatement dans le notebook ou la définition de travail Spark. Nous les appelons bibliothèques intégrées. Toutefois, vous devrez peut-être inclure des bibliothèques supplémentaires pour votre scénario de Machine Learning. Ce document décrit comment vous pouvez utiliser Microsoft Fabric pour installer des bibliothèques Python pour vos workflows de science des données.

Bibliothèques Python dans Microsoft Fabric

Dans Fabric, il existe 2 méthodes pour ajouter des bibliothèques Python supplémentaires.

  • Bibliothèque de flux : les bibliothèques de flux font référence à celles résidant dans des sources ou des dépôts publics. Nous prenons actuellement en charge les bibliothèques de flux Python à partir de PyPI et Conda. Vous pouvez spécifier la source dans les portails de gestion des bibliothèques.

  • Bibliothèque personnalisée : les bibliothèques personnalisées sont le code créé par vous ou par votre organization. .whl et .jar peuvent être gérés via les portails de gestion des bibliothèques.

Vous pouvez en savoir plus sur les flux et les bibliothèques personnalisées en accédant à la documentation Gérer les bibliothèques dans Fabric.

Installer des bibliothèques d’espace de travail

Les bibliothèques au niveau de l’espace de travail permettent aux scientifiques des données de standardiser les ensembles de bibliothèques et de versions sur tous les utilisateurs de leur espace de travail. Les paramètres de la bibliothèque d’espace de travail définissent l’environnement de travail pour l’ensemble de l’espace de travail. Les bibliothèques installées au niveau de l’espace de travail sont disponibles pour tous les notebooks et définitions de travaux Spark dans cet espace de travail. Étant donné que ces bibliothèques sont mises à disposition entre les sessions, il est préférable d’utiliser des bibliothèques d’espace de travail lorsque vous souhaitez configurer un environnement partagé pour toutes les sessions d’un espace de travail.

Important

Seul l’administrateur de l’espace de travail a accès pour mettre à jour les paramètres au niveau de l’espace de travail.

Vous pouvez utiliser les paramètres de l’espace de travail pour installer à la fois le flux Python et les bibliothèques personnalisées. Pour en savoir plus, vous pouvez visiter Gérer les bibliothèques dans Fabric.

Utiliser les paramètres de l’espace de travail pour gérer les bibliothèques de flux

Dans certains cas, vous souhaiterez peut-être préinstaller certaines bibliothèques de flux Python à partir de PyPI ou Conda sur toutes vos sessions de notebook. Pour ce faire, vous pouvez accéder à votre espace de travail et gérer ces bibliothèques via les paramètres de l’espace de travail Python.

À partir du paramètre Espace de travail, vous pouvez effectuer les opérations suivantes :

  • Afficher et rechercher la bibliothèque de flux : la liste des bibliothèques installées s’affiche lorsque vous ouvrez le panneau de gestion de bibliothèque. Dans cette vue, vous pouvez voir le nom de la bibliothèque, la version et les dépendances associées. Vous pouvez également rechercher rapidement une bibliothèque dans cette liste.
  • Ajouter une nouvelle bibliothèque de flux : vous pouvez ajouter une nouvelle bibliothèque de flux Python à partir de PyPI ou Conda. Une fois la source d’installation sélectionnée, vous pouvez sélectionner le + bouton et une nouvelle ligne s’affiche. Pour ajouter une bibliothèque, vous devez fournir le nom de la bibliothèque et, éventuellement, spécifier la version dans la ligne suivante. Pour charger une liste de bibliothèques en même temps, vous pouvez charger un .yml fichier contenant les dépendances requises.

Utiliser les paramètres de l’espace de travail pour gérer les bibliothèques personnalisées

À l’aide du paramètre Espace de travail, vous pouvez également rendre des fichiers Python .whl personnalisés disponibles pour tous les notebooks de votre espace de travail. Une fois les modifications enregistrées, Fabric installe vos bibliothèques personnalisées et leurs dépendances associées.

Installation en ligne

Lors du développement d’un modèle Machine Learning ou de l’analyse ad hoc des données, vous devrez peut-être installer rapidement une bibliothèque pour votre session Apache Spark. Pour ce faire, vous pouvez utiliser les fonctionnalités d’installation en ligne pour commencer rapidement à utiliser de nouvelles bibliothèques.

Notes

L’installation en ligne affecte uniquement la session de notebook en cours. Cela signifie qu’une nouvelle session n’inclut pas les packages installés dans les sessions précédentes.

Nous vous recommandons de placer toutes les commandes en ligne qui ajoutent, suppriment ou mettent à jour les packages Python dans la première cellule de votre notebook. La modification des packages Python sera effective après le redémarrage de l’interpréteur Python. Les variables définies avant l’exécution de la cellule de commande seront perdues.

Installer des bibliothèques de flux Python dans un notebook

La %pip commande dans Microsoft Fabric est équivalente à la commande pip couramment utilisée dans de nombreux workflows de science des données. La section suivante montre des exemples d’utilisation %pip des commandes pour installer des bibliothèques de flux directement dans votre notebook.

  1. Exécutez les commandes suivantes dans une cellule de code notebook pour installer la bibliothèque altair et vega_datasets :

    %conda install altair          # install latest version through conda command
%conda install vega_datasets   # install latest version through conda command

    Le journal dans la sortie de cellule indique le résultat de l’installation.

  2. Importez le package et le jeu de données en exécutant les codes suivants dans une autre cellule Notebook :

    import altair as alt
from vega_datasets import data

Notes

Lors de l’installation de nouvelles bibliothèques Python, la commande %conda install prend normalement plus de temps que l’installation de %pip, car elle case activée les dépendances complètes pour détecter les conflits. Vous pouvez utiliser %conda install pour éviter les problèmes potentiels. Utilisez %pip install lorsque vous êtes certain que la bibliothèque que vous essayez d’installer n’a aucun conflit avec les bibliothèques préinstallées dans l’environnement d’exécution.

Conseil

Toutes les commandes en ligne Python disponibles et ses clarifications sont disponibles : commandes %pip et commandes %conda

Gérer les bibliothèques Python personnalisées via l’installation en ligne

Dans certains cas, vous pouvez avoir une bibliothèque personnalisée que vous souhaitez installer rapidement pour une session de notebook. Pour ce faire, vous pouvez charger votre bibliothèque Python personnalisée dans votre dossier Lakehouse File attaché au notebook.

Pour ce faire :

  1. Accédez à votre Lakehouse et sélectionnez ... dans le dossier Fichier .

  2. Ensuite, chargez votre bibliothèque Ou Python jarwheel personnalisé.

  3. Après avoir chargé le fichier, vous pouvez utiliser la commande suivante pour installer la bibliothèque personnalisée dans votre session de notebook :

    # install the .whl through pip command
%pip install /lakehouse/default/Files/wheel_file_name.whl

Étapes suivantes