Bibliotheksverwaltung in Spark

Hinweis

Azure HDInsight on AKS wird am 31. Januar 2025 eingestellt. Vor dem 31. Januar 2025 müssen Sie Ihre Workloads zu Microsoft Fabric oder einem gleichwertigen Azure-Produkt migrieren, um eine abruptes Beendigung Ihrer Workloads zu vermeiden. Die verbleibenden Cluster in Ihrem Abonnement werden beendet und vom Host entfernt.

Bis zum Einstellungsdatum ist nur grundlegende Unterstützung verfügbar.

Wichtig

Diese Funktion steht derzeit als Vorschau zur Verfügung. Die zusätzlichen Nutzungsbedingungen für Microsoft Azure-Vorschauen enthalten weitere rechtliche Bestimmungen, die für Azure-Features in Betaversionen, in Vorschauversionen oder anderen Versionen gelten, die noch nicht allgemein verfügbar gemacht wurden. Informationen zu dieser spezifischen Vorschau finden Sie unter Informationen zur Vorschau von Azure HDInsight on AKS. Bei Fragen oder Funktionsvorschlägen senden Sie eine Anfrage an AskHDInsight mit den entsprechenden Details, und folgen Sie uns für weitere Updates in der Azure HDInsight-Community.

Die Bibliotheksverwaltung ermöglicht das Bereitstellen von benutzerdefiniertem oder Open-Source-Code für Notebooks oder Aufträge, die in Ihrem Cluster ausgeführt werden. Sie können Python-Bibliotheken aus PyPI-Repositorys hochladen. Der Schwerpunkt dieses Artikels liegt auf der Verwaltung von Bibliotheken über die Clusterbenutzeroberfläche. Der Cluster von Azure HDInsight on AKS enthält bereits viele gängige Bibliothek. Die im Cluster von HDI on AKS enthaltenen Bibliotheken können Sie auf der Bibliotheksverwaltungsseite anzeigen.

Installieren von Bibliotheken

Sie können Bibliotheken in zwei Modi installieren:

• Clusterinstallation
• Auf Notebooks beschränkt

Clusterinstallation

Alle Notebooks, die auf einem Cluster ausgeführt werden, können Clusterbibliotheken verwenden. Sie können eine Clusterbibliothek direkt aus einem öffentlichen Repository wie PyPI installieren. Das Hochladen aus Maven-Repositorys und das Hochladen benutzerdefinierter Bibliotheken aus dem Cloudspeicher befinden sich in Planung.

Auf Notebooks beschränkt

Die für Python und Scala verfügbaren und auf Notebooks beschränkten Bibliotheken ermöglichen es Ihnen, Bibliotheken zu installieren und eine auf eine Notebooksitzung beschränkte Umgebung zu erstellen. Diese Bibliotheken haben keine Auswirkungen auf andere Notebooks, die im selben Cluster ausgeführt werden. Auf Notebooks beschränkte Bibliotheken werden nicht gespeichert und müssen für jede Sitzung neu installiert werden.

Hinweis

Verwenden Sie Bibliotheken im Notebook-Bereich, wenn Sie eine benutzerdefinierte Umgebung für ein bestimmtes Notebook benötigen.

Modi der Bibliotheksinstallation

PyPI: Abrufen von Bibliotheken aus dem Open-Source-PyPI-Repository durch Angeben des Bibliotheksnamens und der Version auf der Installationsbenutzeroberfläche

Anzeigen der installierten Bibliotheken

1. Navigieren Sie auf der Übersicht zu „Bibliotheks-Manager“.

   

2. Klicken Sie im Spark-Cluster-Manager auf „Bibliotheks-Manager“.

3. Dort können Sie die Liste der installierten Bibliotheken anzeigen.

   

Hinzufügen des Bibliothekswidgets

PyPI

1. Geben Sie auf der Registerkarte PyPI die Werte von Paketname und Paketversion ein.

2. Klicken Sie auf Installieren.

   

Deinstallieren der Bibliotheken

Wenn Sie die Bibliotheken nicht mehr verwenden möchten, können Sie die Bibliothekspakete einfach über die Schaltfläche „Deinstallieren“ auf der Bibliotheksverwaltungsseite löschen.

1. Wählen Sie den Bibliotheksnamen aus, und klicken Sie auf ihn.

   

2. Klicken Sie im Widget auf Deinstallieren.

   

   Hinweis

   • Pakete, die aus Jupyter Notebook installiert wurden, können nur aus Jupyter Notebook gelöscht werden.
   • Pakete, die über den Bibliotheks-Manager installiert wurden, können nur über den Bibliotheks-Manager deinstalliert werden.
   • Deinstallieren Sie die aktuelle Version der Bibliothek, und installieren Sie die erforderliche Version der Bibliothek erneut, um ein Upgrade für eine Bibliothek oder ein Paket durchzuführen.
   • Die Installation von Bibliotheken aus Jupyter Notebook ist für die Sitzung besonders: Sie ist nicht dauerhaft.
   • Das Installieren umfangreicher Paketen kann aufgrund ihrer Größe und Komplexität einige Zeit in Anspruch nehmen.