Verwalten von sitzungsbezogenen Paketen

Zusätzlich zu den Paketen auf Poolebene können Sie zu Beginn einer Notebook-Sitzung auch sitzungsbezogene Bibliotheken angeben. Mithilfe sitzungsbezogener Bibliotheken können Sie benutzerdefinierte Python-Umgebungen oder JAR-Pakete innerhalb einer Notebooksitzung angeben und verwenden.

Bei der Verwendung sitzungsbezogener Bibliotheken sind folgende Punkte zu berücksichtigen:

  • Wenn Sie sitzungsbezogene Bibliotheken installieren, kann nur das aktuelle Notebook auf die angegebenen Bibliotheken zugreifen.
  • Diese Bibliotheken wirken sich nicht auf andere Sitzungen oder Aufträge aus, die denselben Spark-Pool verwenden.
  • Diese Bibliotheken werden auf Basis der zugrunde liegenden Bibliotheken auf Runtime- und Poolebene installiert.
  • Notebook-Bibliotheken besitzen die höchste Priorität.

Sitzungsbezogene Python-Pakete

So geben Sie sitzungsbezogene Python-Pakete an

  1. Navigieren Sie zum ausgewählten Spark-Pool, und stellen Sie sicher, dass Sie Bibliotheken auf Sitzungsebene aktiviert haben. Sie können diese Einstellung aktivieren, indem Sie zu Verwalten>Apache Spark-Pool>Registerkarte Pakete navigieren. Screenshot: Aktivieren von Sitzungspaketen
  2. Nachdem die Einstellung angewendet wurde, können Sie ein Notebook öffnen und Sitzung konfigurieren>Pakete auswählen. Screenshot: Angabe der Sitzungspakete.Screenshot: Hochladen der YML-Datei.
  3. Hier können Sie eine Conda-Datei environment.yml für die Installation oder das Upgrade von Paketen innerhalb einer Sitzung hochladen. Nachdem Sie die Sitzung gestartet haben, werden die angegebenen Bibliotheken installiert. Sobald Ihre Sitzung beendet wurde, sind diese Bibliotheken nicht mehr verfügbar, da sie nur für Ihre Sitzung gelten.

Überprüfen von installierten Bibliotheken

Führen Sie den folgenden Code aus, um zu überprüfen, ob die richtigen Versionen der richtigen Bibliotheken über PyPI installiert werden:

import pkg_resources
for d in pkg_resources.working_set:
     print(d)

Um die Paketversionen aus Conda anzeigen zu können, müssen Sie in einigen Fällen die Paketversion einzeln überprüfen.

Sitzungsbereichs-Java- oder Scala-Pakete

Sitzungsbezogene Java- oder Scala-Pakete können über die Option %%configure angegeben werden:

%%configure -f
{
    "conf": {
        "spark.jars": "abfss://<<file system>>@<<storage account>.dfs.core.windows.net/<<path to JAR file>>",
    }
}

Wir empfehlen Ihnen, %%configure am Anfang Ihres Notebooks auszuführen. In diesem Dokument finden Sie eine vollständige Liste gültiger Parameter.

Nächste Schritte