Gestion des bibliothèques dans l’environnement Fabric

Les environnements Microsoft Fabric fournissent des configurations flexibles pour l’exécution de vos tâches Spark. Les bibliothèques fournissent du code réutilisable que les développeurs souhaitent inclure dans leur travail. À l’exception des bibliothèques intégrées qui sont livrées avec chaque runtime Spark, vous pouvez installer des bibliothèques publiques et personnalisées dans vos environnements Fabric. Vous pouvez facilement attacher des environnements à vos notebooks et à vos définitions de tâches Spark.

Remarque

Accédez à l’espace de travail où se trouve votre environnement, sélectionnez vos options de gestion d’environnement et de bibliothèque sous l’onglet Bibliothèques . Si vous n’avez pas d’environnement créé, consultez Créer, configurer et utiliser un environnement dans Fabric.

Bibliothèques intégrées

Dans Fabric, chaque version du runtime est préchargée avec un ensemble organisé de bibliothèques intégrées optimisées pour les performances, la compatibilité et la sécurité dans Python, R, Java et Scala. La section Bibliothèques intégrées dans l’environnement vous permet de parcourir et de rechercher ces bibliothèques préinstallées en fonction du runtime sélectionné.

Pour afficher la liste des packages préinstallés et leurs versions pour chaque runtime, consultez les runtimes Apache Spark dans Fabric.

Important

Fabric prend en charge différentes façons de gérer les packages. Pour plus d’options et de meilleures pratiques pour la gestion des bibliothèques dans Fabric, consultez Gérer les bibliothèques Apache Spark dans Fabric Lorsque votre espace de travail dispose de fonctionnalités de mise en réseau telles que la protection d’accès sortant de l’espace de travail ou les réseaux virtuels managés, l’accès aux référentiels publics tels que PyPI est bloqué. Suivez les instructions de Gérer les bibliothèques avec un accès réseau limité dans Fabric pour gérer efficacement les bibliothèques dans l’Environnement.

Référentiels externes

Dans la section Dépôts externes, vous pouvez ajouter des bibliothèques à partir de bibliothèques publiques telles que PyPI et Conda, ainsi que vos référentiels privés, tels qu’Azure Artifact Feed.

Remarque

L’installation de bibliothèques à partir d’Azure Artifact Feed est actuellement prise en charge dans Spark 3.5 et NON prise en charge dans les espaces de travail de protection d’accès sortant ou de liaison privée.

Ajouter une nouvelle bibliothèque à partir de référentiels publics

Pour ajouter une nouvelle bibliothèque à partir du référentiel public, c’est-à-dire PyPI ou conda, sélectionnez Ajouter une bibliothèque à partir du référentiel public. Entrez le nom de la bibliothèque dans la zone de recherche. Lorsque vous tapez, la zone de recherche suggère des bibliothèques populaires, mais la liste est limitée. Si vous ne voyez pas votre bibliothèque, entrez son nom complet.

• Si le nom de la bibliothèque est valide, vous voyez les versions disponibles.
• Si le nom de la bibliothèque n’est pas valide, vous recevez un avertissement indiquant que la bibliothèque n’existe pas.

Ajouter une nouvelle bibliothèque à partir de référentiels privés

Configurer la connexion pour votre flux Azure Artifact

Dans Fabric, le stockage direct des informations d’identification est interdit. Les connexions doivent être configurées dans Data Factory Connector. Voici un guide pas à pas pour configurer la connexion pour le flux Azure Artifact. En savoir plus sur le flux Azure Artifact.

1. Étape 1 : Dans les paramètres de votre espace de travail, accédez à Gérer les connexions et les passerelles.

   

2. Étape 2 : Créer une connexion. Sélectionnez Cloud comme type et choisissez Flux Azure Artifact (préversion) comme type de connexion. Entrez l’URL et le jeton utilisateur dans les champs respectifs, puis veillez à vérifier Autoriser Code-First Artefact ... pour accéder à cette connexion (préversion).

   

3. Étape 3 : Enregistrez l’ID de connexion après la création, cela est nécessaire pour utiliser la connexion dans les environnements Fabric.

Ajouter des bibliothèques à partir du flux Azure Artifact

Pour installer des bibliothèques à partir de votre flux Azure Artifact, préparez un fichier YML qui inclut les informations de connexion de bibliothèque appropriées et de dépôt privé. Un fichier YML classique contient l’URL du flux Azure Artifact et les détails de l’authentification. Toutefois, pour que Fabric reconnaisse correctement la connexion, vous devez remplacer l’URL et les informations d’identification par l’ID de connexion créé dans Data Factory Connector.

Voici un exemple :

# Regular YAML
dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <URL_TO_THE_AZURE_ARTIFACT_FEED_WITH_AUTH>

# Replace the Azure Artifact Feed URL with connection ID
dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <YOUR_CONNECTION_ID> 

Avec le fichier YML préparé, vous pouvez le charger directement ou basculer vers la vue de l’éditeur YML pour coller le contenu dans l’éditeur dans les environnements Fabric. Lorsque vous publiez l’environnement, le système lit les packages à partir de votre référentiel privé et les conserve dans Fabric. Si vous mettez à jour des packages dans votre flux Azure Artifact, veillez à republier l’environnement pour appliquer les dernières modifications.

Remarque

• Dans l’affichage Liste, vous pouvez uniquement ajouter ou supprimer ou modifier des bibliothèques à partir de référentiels privés existants. Pour ajouter, supprimer ou modifier une connexion de référentiel privé, basculez vers la vue de l’éditeur YML et mettez à jour le fichier YML directement.
• La recherche de bibliothèques dans des référentiels privés lorsque vous tapez n’est actuellement pas prise en charge. Veillez à entrer le nom et la version de la bibliothèque avec précision lors de l’ajout de bibliothèques à partir de référentiels privés. Les informations de package incorrectes entraînent l’échec de la publication de l’environnement.
• Vous pouvez spécifier plusieurs référentiels dans le fichier YML. Lors de l’installation des bibliothèques, Fabric les recherche dans l’ordre indiqué jusqu’à ce que le package soit trouvé. Les dépôts publics tels que PyPI et Conda sont recherchés automatiquement, même s’ils ne sont pas inclus dans le fichier YML.

Filtrer les bibliothèques externes

Vous pouvez utiliser le nom du package comme mot clé pour filtrer la liste des bibliothèques externes.

Mettre à jour des bibliothèques externes

Vous pouvez mettre à jour le nom, la version et le type de source de la bibliothèque en mode Liste. En mode Éditeur YML, vous pouvez également mettre à jour ces détails avec l’ID de connexion du flux Azure Artifact.

Supprimer des bibliothèques externes

L’option Supprimer pour chaque bibliothèque s’affiche lorsque vous pointez sur sa ligne. Pour supprimer plusieurs bibliothèques externes, sélectionnez-les, puis cliquez sur Supprimer. Vous pouvez également supprimer des bibliothèques à l’aide de la vue de l’éditeur YML.

Afficher une dépendance

Chaque bibliothèque externe à partir de référentiels publics peut avoir des dépendances. L’option Afficher les dépendances s’affiche lorsque vous pointez sur la ligne correspondante. Cliquez sur ce bouton pour extraire l’arborescence des dépendances à partir de référentiels publics. Si la bibliothèque est introuvable dans les référentiels publics, par exemple, il s’agit d’une bibliothèque privée dans votre flux Azure Artifact, ses informations de dépendance ne seront pas disponibles.

Exporter vers .yml

Fabric offre la possibilité d’exporter la liste complète des bibliothèques externes vers un .yml fichier et de la télécharger dans votre répertoire local.

Bibliothèques personnalisées

Les bibliothèques personnalisées se réfèrent au code créé par vous ou par votre organisation. Fabric prend en charge les fichiers de bibliothèque personnalisés dans .whl, .py, .jaret .tar.gz les formats.

Remarque

Fabric ne prend en charge que les fichiers .tar.gz pour le langage R. Utilisez le format de fichier .whl et .py pour le langage Python.

Charger la bibliothèque personnalisée

Vous pouvez charger des bibliothèques personnalisées à partir de votre répertoire local dans l’environnement Fabric.

Supprimer la bibliothèque personnalisée

L’option de corbeille de chaque bibliothèque s’affiche lorsque vous passez votre souris sur la ligne correspondante. Pour supprimer plusieurs bibliothèques personnalisées, sélectionnez-les, puis sélectionnez Supprimer.

Télécharger toutes les bibliothèques personnalisées

Sélectionnez des bibliothèques personnalisées pour les télécharger une par une dans votre répertoire de téléchargement par défaut local.

Contenu connexe

• Créer, configurer et utiliser un environnement dans Fabric
• Gérer des bibliothèques Apache Spark dans Fabric