Bibliotheksverwaltung in Fabric-Umgebungen

Microsoft Fabric-Umgebungen bieten flexible Konfigurationen zum Ausführen Ihrer Spark-Aufträge. Bibliotheken stellen wiederverwendbaren Code bereit, den Entwickler*innen möglicherweise in Ihre Arbeit einbeziehen möchten. Mit Ausnahme der integrierten Bibliotheken, die für jede Spark-Runtime verfügbar sind, können Sie öffentliche Bibliotheken und benutzerdefinierten Bibliotheken in den Fabric-Umgebungen installieren. Umgebungen können einfach an Notebooks und Spark-Auftragsdefinitionen angefügt werden.

Hinweis

Navigieren Sie zu dem Arbeitsbereich, in dem sich Ihre Umgebung befindet, und wählen Sie die Optionen für die Bibliotheksverwaltung auf der Registerkarte "Bibliotheken " aus. Wenn Sie keine Umgebung erstellt haben, lesen Sie "Erstellen, Konfigurieren und Verwenden einer Umgebung in Fabric".

Integrierte Bibliotheken

In Fabric wird jede Laufzeitversion mit einem kuratierten Satz integrierter Bibliotheken vorinstalliert, die für Leistung, Kompatibilität und Sicherheit in Python, R, Java und Scala optimiert sind. Im Abschnitt "Integrierte Bibliotheken" in der Umgebung können Sie diese vorinstallierten Bibliotheken basierend auf der ausgewählten Laufzeit durchsuchen und durchsuchen.

Informationen zum Anzeigen der Liste der vorinstallierten Pakete und deren Versionen für jede Laufzeit finden Sie unter Apache Spark Runtimes in Fabric.

Von Bedeutung

Fabric unterstützt verschiedene Möglichkeiten zum Verwalten von Paketen. Weitere Optionen und bewährte Methoden zum Verwalten von Bibliotheken in Fabric finden Sie unter "Verwalten von Apache Spark-Bibliotheken in Fabric ", wenn Ihr Arbeitsbereich Über Netzwerkfunktionen wie Den Schutz vor ausgehendem Zugriff oder verwaltete VNets verfügt, werden der Zugriff auf öffentliche Repositorys wie PyPI blockiert. Befolgen Sie die Anweisung unter Verwalten von Bibliotheken mit eingeschränktem Netzwerkzugriff in Fabric , um die Bibliotheken in Umgebung nahtlos zu verwalten.

Externe Repositorys

Im Abschnitt "Externe Repositorys" können Sie bibliotheken aus öffentlichen Bibliotheken wie PyPI und Conda und auch aus Ihren privaten Repositorys wie Azure Artifact Feed hinzufügen.

Hinweis

Das Installieren von Bibliotheken aus dem Azure Artifact Feed wird derzeit in Spark 3.5 unterstützt, jedoch nicht in Arbeitsbereichen, in denen Private Link oder ausgehender Zugriffsschutz aktiviert ist.

Hinzufügen einer neuen Bibliothek aus öffentlichen Repositorys

Wenn Sie eine neue Bibliothek aus öffentlichem Repository hinzufügen möchten, z. B. PyPI oder Conda, wählen Sie "Bibliothek aus öffentlichem Repository hinzufügen" aus. Geben Sie den Bibliotheksnamen in das Suchfeld ein. Während der Eingabe schlägt das Suchfeld beliebte Bibliotheken vor, die Liste ist jedoch eingeschränkt. Wenn Ihre Bibliothek nicht angezeigt wird, geben Sie den vollständigen Namen ein.

• Wenn der Bibliotheksname gültig ist, werden die verfügbaren Versionen angezeigt.
• Wenn der Bibliotheksname ungültig ist, wird eine Warnung angezeigt, dass die Bibliothek nicht vorhanden ist.

Hinzufügen einer neuen Bibliothek aus privaten Repositorys

Einrichten der Verbindung für Ihren Azure Artifact Feed

In Fabric ist das direkte Speichern der Anmeldeinformationen verboten. Die Verbindungen müssen in Data Factory Connector eingerichtet werden. Nachfolgend finden Sie eine schrittweise Anleitung zum Einrichten der Verbindung für azure Artifact Feed. Weitere Informationen zu Azure Artifact Feed.

1. Schritt 1: Wechseln Sie in den Arbeitsbereichseinstellungen zu "Verbindungen und Gateways verwalten".

   

2. Schritt 2: Erstellen einer neuen Verbindung. Wählen Sie "Cloud " als Typ und dann azure Artifact Feed (Vorschau) als Verbindungstyp aus. Geben Sie die URL und das Benutzertoken in die entsprechenden Felder ein, und vergewissern Sie sich, dass Sie Code-First Artefakt zulassen... um auf diese Verbindung zuzugreifen (Vorschau).

   

3. Schritt 3: Aufzeichnen der Verbindungs-ID nach der Erstellung, dies ist für die Verwendung der Verbindung in Fabric-Umgebungen erforderlich.

Hinzufügen von Bibliotheken aus azure Artifact Feed

Um Bibliotheken aus Ihrem Azure Artifact Feed zu installieren, bereiten Sie eine YML-Datei mit den richtigen Bibliotheksdetails und privaten Repositoryverbindungsinformationen vor. Eine typische YML-Datei enthält die Azure Artifact Feed-URL und Authentifizierungsdetails. Damit Fabric die Verbindung jedoch ordnungsgemäß erkennt, müssen Sie die URL und die Anmeldeinformationen durch die in Data Factory Connector erstellte Verbindungs-ID ersetzen.

Unten ist ein Beispiel aufgeführt:

# Regular YAML
dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <URL_TO_THE_AZURE_ARTIFACT_FEED_WITH_AUTH>

# Replace the Azure Artifact Feed URL with connection ID
dependencies:
  - pip:
    - fuzzywuzzy==0.18.0
    - wordcloud==1.9.4
    - --index-url <YOUR_CONNECTION_ID> 

Mit der vorbereiteten YML-Datei können Sie sie entweder direkt hochladen oder zur YML-Editoransicht wechseln, um den Inhalt in den Editor in Fabric-Umgebungen einzufügen. Wenn Sie die Umgebung veröffentlichen, liest das System die Pakete aus Ihrem privaten Repository und speichert sie in Fabric. Wenn Sie Pakete in Ihrem Azure Artifact Feed aktualisieren, stellen Sie sicher, dass Sie die Umgebung erneut veröffentlichen , um die neuesten Änderungen anzuwenden.

Hinweis

• In der Listenansicht können Sie bibliotheken nur aus vorhandenen privaten Repositorys hinzufügen oder entfernen oder bearbeiten. Um eine private Repositoryverbindung hinzuzufügen, zu entfernen oder zu bearbeiten, wechseln Sie zur YML-Editoransicht , und aktualisieren Sie die YML-Datei direkt.
• Das Durchsuchen von Bibliotheken in privaten Repositorys während der Eingabe wird derzeit nicht unterstützt. Stellen Sie sicher, dass Sie den Bibliotheksnamen und die Version beim Hinzufügen von Bibliotheken aus privaten Repositorys genau eingeben. Falsche Paketinformationen können dazu führen, dass die Umgebungsveröffentlichung fehlschlägt.
• Sie können mehrere Repositorys in der YML-Datei angeben. Beim Installieren von Bibliotheken durchsucht Fabric sie in der aufgeführten Reihenfolge, bis das Paket gefunden wird. Öffentliche Repositories wie PyPI und Conda werden am Ende automatisch durchsucht, auch wenn sie nicht in der YML-Datei enthalten sind.

Filtern externer Bibliotheken

Sie können den Paketnamen als Schlüsselwort verwenden, um die Liste der externen Bibliotheken zu filtern.

Aktualisieren externer Bibliotheken

Sie können den Bibliotheksnamen, die Version und den Quelltyp in der Listenansicht aktualisieren. In der YML-Editoransicht können Sie diese Details auch zusammen mit der Azure Artifact Feed-Verbindungs-ID aktualisieren.

Löschen externer Bibliotheken

Die Option "Löschen" für jede Bibliothek wird angezeigt, wenn Sie mit dem Mauszeiger über die Zeile fahren. Wenn Sie mehrere externe Bibliotheken löschen möchten, wählen Sie sie aus, und klicken Sie auf "Löschen". Sie können Bibliotheken auch mithilfe der YML-Editoransicht entfernen.

Anzeigen der Abhängigkeit

Jede externe Bibliothek aus öffentlichen Repositorys kann Abhängigkeiten aufweisen. Die Option "Abhängigkeiten anzeigen" wird angezeigt, wenn Sie mit dem Mauszeiger auf die entsprechende Zeile zeigen. Durch Klicken auf diese Schaltfläche wird die Abhängigkeitsstruktur aus öffentlichen Repositorys abgerufen. Wenn die Bibliothek in öffentlichen Repositorys nicht gefunden werden kann, z. B. eine private Bibliothek in Ihrem Azure Artifact Feed, sind die Abhängigkeitsinformationen nicht verfügbar.

In .yml exportieren

Fabric bietet die Möglichkeit, die vollständige externe Bibliotheksliste in eine .yml Datei zu exportieren und in Ihr lokales Verzeichnis herunterzuladen.

Benutzerdefinierte Bibliotheken

Benutzerdefinierte Bibliotheken sind Code, der von Ihnen oder Ihrer Organisation erstellt wurde. Fabric unterstützt benutzerdefinierte Bibliotheksdateien in .whl, .py, .jarund .tar.gz Formaten.

Hinweis

Fabric unterstützt nur .tar.gz Dateien für R-Sprache. Verwenden Sie das .whl- und .py-Dateiformat für die Python-Sprache.

Hochladen der benutzerdefinierten Bibliothek

Sie können benutzerdefinierte Bibliotheken aus Ihrem lokalen Verzeichnis in die Fabric-Umgebung hochladen.

Löschen der benutzerdefinierten Bibliothek

Die Papierkorboption für jede Bibliothek wird angezeigt, wenn Sie mit der Maus auf die entsprechende Zeile zeigen. Wenn Sie mehrere benutzerdefinierte Bibliotheken löschen möchten, wählen Sie sie aus, und wählen Sie dann "Löschen" aus.

Herunterladen aller benutzerdefinierten Bibliotheken

Wählen Sie benutzerdefinierte Bibliotheken aus, um sie einzeln in Ihr lokales Standarddownloadverzeichnis herunterzuladen.

Zugehöriger Inhalt

• Erstellen, Konfigurieren und Verwenden einer Umgebung in Fabric
• Verwalten von Apache Spark-Bibliotheken in Fabric