Verwalten von Python-Bibliotheken in Microsoft Fabric

Artikel
05/24/2023

Bibliotheken stellen wiederverwendbaren Code bereit, den Sie in Ihre Programme oder Projekte einbinden können. Jeder Arbeitsbereich enthält einen vorinstallierten Satz von Bibliotheken, die in der Spark-Laufzeit verfügbar sind und sofort in der Notebook- oder Spark-Auftragsdefinition verwendet werden können. Wir bezeichnen diese als integrierte Bibliotheken. Möglicherweise müssen Sie jedoch zusätzliche Bibliotheken für Ihr Machine Learning-Szenario einschließen. In diesem Dokument wird beschrieben, wie Sie Mithilfe von Microsoft Fabric Python-Bibliotheken für Ihre Data Science-Workflows installieren können.

Python-Bibliotheken in Microsoft Fabric

Innerhalb von Fabric gibt es zwei Methoden zum Hinzufügen zusätzlicher Python-Bibliotheken.

Feedbibliothek: Feedbibliotheken beziehen sich auf diejenigen, die sich in öffentlichen Quellen oder Repositorys befinden. Derzeit unterstützen wir Python-Feedbibliotheken von PyPI und Conda. Die Quelle kann in Bibliotheksverwaltungsportalen angegeben werden.
Benutzerdefinierte Bibliothek: Benutzerdefinierte Bibliotheken sind der Code, der von Ihnen oder Ihrem organization erstellt wurde. WHL und JAR können über Bibliotheksverwaltungsportale verwaltet werden.

Weitere Informationen zu Feed und benutzerdefinierten Bibliotheken finden Sie in der Fabric-Dokumentation zum Verwalten von Bibliotheken.

Installieren von Arbeitsbereichsbibliotheken

Bibliotheken auf Arbeitsbereichsebene ermöglichen Es Data Scientists, die Bibliotheken und Versionen für alle Benutzer in ihrem Arbeitsbereich zu standardisieren. Die Arbeitsbereichsbibliothekseinstellungen definieren die Arbeitsumgebung für den gesamten Arbeitsbereich. Die auf Arbeitsbereichsebene installierten Bibliotheken sind für alle Notebooks und Spark-Auftragsdefinitionen unter diesem Arbeitsbereich verfügbar. Da diese Bibliotheken sitzungsübergreifend zur Verfügung gestellt werden, empfiehlt es sich, Arbeitsbereichsbibliotheken zu verwenden, wenn Sie eine freigegebene Umgebung für alle Sitzungen in einem Arbeitsbereich einrichten möchten.

Wichtig

Nur der Arbeitsbereichsadministrator hat Zugriff, um die Einstellungen auf Arbeitsbereichsebene zu aktualisieren.

Sie können die Arbeitsbereichseinstellungen verwenden, um sowohl Python-Feed als auch benutzerdefinierte Bibliotheken zu installieren. Weitere Informationen finden Sie unter Verwalten von Bibliotheken in Fabric.

Verwenden von Arbeitsbereichseinstellungen zum Verwalten von Feedbibliotheken

In einigen Fällen können Sie bestimmte Python-Feedbibliotheken von PyPI oder Conda für alle Ihre Notebooksitzungen vorab installieren. Dazu können Sie zu Ihrem Arbeitsbereich navigieren und diese Bibliotheken über die Python-Arbeitsbereichseinstellungen verwalten.

In der Arbeitsbereichseinstellung können Sie die folgenden Schritte ausführen:

Ansichts- und Suchfeedbibliothek: Die liste der installierten Bibliotheken wird angezeigt, wenn Sie den Bibliotheksverwaltungsbereich öffnen. In dieser Ansicht sehen Sie den Bibliotheksnamen, die Version und die zugehörigen Abhängigkeiten. Sie können auch suchen, um schnell nach einer Bibliothek aus dieser Liste zu suchen.
Neue Feedbibliothek hinzufügen: Sie können eine neue Python-Feedbibliothek über PyPI oder Conda hinzufügen. Sobald die Installationsquelle ausgewählt ist, können Sie die + Schaltfläche auswählen, und eine neue Zeile wird angezeigt. Um eine Bibliothek hinzuzufügen, müssen Sie den Bibliotheksnamen angeben und optional die eversion in der nächsten Zeile angeben. Um gleichzeitig eine Liste von Bibliotheken hochzuladen, können Sie eine .yml Datei hochladen, die die erforderlichen Abhängigkeiten enthält.

Verwenden von Arbeitsbereichseinstellungen zum Verwalten benutzerdefinierter Bibliotheken

Mithilfe der Arbeitsbereichseinstellung können Sie auch benutzerdefinierte Python-Dateien .whl für alle Notebooks in Ihrem Arbeitsbereich verfügbar machen. Sobald die Änderungen gespeichert wurden, installiert Fabric Ihre benutzerdefinierten Bibliotheken und ihre zugehörigen Abhängigkeiten.

Inlineinstallation

Wenn Sie ein Machine Learning-Modell entwickeln oder Ad-hoc-Datenanalysen durchführen, müssen Sie möglicherweise schnell eine Bibliothek für Ihre Apache Spark-Sitzung installieren. Dazu können Sie die Inlineinstallationsfunktionen verwenden, um schnell mit neuen Bibliotheken zu beginnen.

Hinweis

Die Inlineinstallation wirkt sich nur auf die aktuelle Notebooksitzung aus. Dies bedeutet, dass eine neue Sitzung nicht die Pakete enthält, die in früheren Sitzungen installiert wurden.

Es wird empfohlen, alle Inlinebefehle zum Hinzufügen, Löschen oder Aktualisieren der Python-Pakete in der ersten Zelle Ihres Notebooks zu platzieren. Die Änderung der Python-Pakete wird wirksam, nachdem Sie den Python-Interpreter neu gestartet haben. Die vor dem Ausführen der Befehlszelle definierten Variablen gehen verloren.

Installieren von Python-Feedbibliotheken in einem Notebook

Der %pip Befehl in Microsoft Fabric entspricht dem häufig verwendeten Pip-Befehl in vielen Data Science-Workflows. Der folgende Abschnitt zeigt Beispiele dafür, wie Sie Mithilfe von Befehlen Feedbibliotheken direkt in Ihrem Notebook installieren können %pip .

Führen Sie die folgenden Befehle in einer Notebook-Codezelle aus, um die Altair-Bibliothek zu installieren und vega_datasets:
```
%conda install altair          # install latest version through conda command
%conda install vega_datasets   # install latest version through conda command
```
Das Protokoll in der Zellenausgabe gibt das Ergebnis der Installation an.
Importieren Sie das Paket und das Dataset, indem Sie die folgenden Codes in einer anderen Notebook-Zelle ausführen:
```
import altair as alt
from vega_datasets import data
```

Hinweis

Beim Installieren neuer Python-Bibliotheken nimmt der %conda install-Befehl normalerweise mehr Zeit in Anspruch als %pip install , da er die vollständigen Abhängigkeiten überprüft, um Konflikte zu erkennen. Sie können %conda install verwenden, wenn Sie potenzielle Probleme vermeiden möchten. Verwenden Sie %pip install , wenn Sie sicher sind, dass die Bibliothek, die Sie installieren möchten, keinen Konflikt mit den vorinstallierten Bibliotheken in der Laufzeitumgebung aufweist.

Tipp

Alle verfügbaren Python-Inlinebefehle und zugehörigen Erläuterungen finden Sie: %pip-Befehle und %conda-Befehle

Verwalten von benutzerdefinierten Python-Bibliotheken über die Inlineinstallation

In einigen Fällen verfügen Sie möglicherweise über eine benutzerdefinierte Bibliothek, die Sie schnell für eine Notebooksitzung installieren möchten. Dazu können Sie Ihre benutzerdefinierte Python-Bibliothek in Ihren Mit Notebook angefügten Lakehouse File-Ordner hochladen.

Gehen Sie dazu folgendermaßen vor:

Navigieren Sie zu Ihrem Lakehouse, und wählen Sie ... im Ordner Datei aus.
Laden Sie dann Ihre benutzerdefinierte Python jar - oder wheel Bibliothek hoch.
Nach dem Hochladen der Datei können Sie den folgenden Befehl verwenden, um die benutzerdefinierte Bibliothek in Ihrer Notebooksitzung zu installieren:
```
# install the .whl through pip command
%pip install /lakehouse/default/Files/wheel_file_name.whl             
```

Nächste Schritte

Verwalten von Arbeitsbereichseinstellungen: Verwaltungseinstellungen des Apache Spark-Arbeitsbereichs
Verwalten von Bibliotheken in Fabric: Verwalten von Bibliotheken in der Fabric-Dokumentation