Konfigurieren der serverlosen Umgebung

In diesem Artikel wird erläutert, wie Sie die Umgebungsseite eines serverlosen Notizbuchs verwenden, um Abhängigkeiten, serverlose Nutzungsrichtlinien, Arbeitsspeicher und Basisumgebung zu konfigurieren. Dieser Bereich bietet einen zentralen Ort zum Verwalten der serverlosen Einstellungen des Notizbuchs. Die in diesem Bereich konfigurierten Einstellungen gelten nur, wenn das Notebook mit serverlosem Computing verbunden ist.

Um den Seitenbereich "Umgebung" zu erweitern, klicken Sie auf die rechts neben dem Notizbuch.

Verwenden der serverlosen GPU-Berechnung

Important

Serverlose GPU-Compute befindet sich in der Betaversion.

Führen Sie die folgenden Schritte aus, um serverlose GPU-Compute auf Ihrem Databricks-Notizbuch zu verwenden:

1. Klicken Sie in einem Notizbuch oben auf das Dropdownmenü "Verbinden ", und wählen Sie "Serverless GPU" aus.
2. Klicken Sie auf das Um den Seitenbereich "Umgebung " zu öffnen.
3. Wählen Sie A10 aus dem Feld Beschleuniger aus.
4. Wählen Sie unter "Basisumgebung" die Option "Standard " für die Standardumgebung oder KI für die KI-optimierte Umgebung mit vorinstallierten Machine Learning-Bibliotheken aus.
5. Klicken Sie auf "Übernehmen" , und bestätigen Sie dann, dass Sie den serverlosen GPU-Compute auf Ihre Notizbuchumgebung anwenden möchten.

Weitere Informationen finden Sie unter Serverless GPU Compute.

Verwenden Sie serverlose Berechnung mit hohem Speicherbedarf

Important

Dieses Feature befindet sich in der Public Preview.

Wenn in Ihrem Notizbuch Fehler im Arbeitsspeicher auftreten, können Sie das Notizbuch so konfigurieren, dass eine höhere Arbeitsspeichergröße verwendet wird. Diese Einstellung erhöht die Größe des REPL-Speichers, der beim Ausführen von Code im Notizbuch verwendet wird. Sie wirkt sich nicht auf die Speichergröße der Spark-Sitzung aus. Die serverlose Verwendung mit hohem Arbeitsspeicher hat eine höhere DBU-Emissionsrate als standardspeicher.

1. Klicken Sie in der Benutzeroberfläche des Notizbuchs auf den Umgebungs-Seitenbereich.
2. Unter Speicherwählen Sie Hoher Arbeitsspeicheraus.
3. Klicken Sie auf Anwenden.

Diese Einstellung gilt auch für Aufgaben im Notizbuch, die mit den Speichereinstellungen des Notizbuchs ausgeführt werden. Das Aktualisieren der Speichereinstellung im Notizbuch wirkt sich auf die nächste Auftragsausführung aus.

Auswählen einer serverlosen Nutzungsrichtlinie

Important

Dieses Feature befindet sich in der Public Preview.

Serverlose Nutzungsrichtlinien ermöglichen Es Ihrer Organisation, benutzerdefinierte Tags auf serverlose Verwendung für eine differenzierte Abrechnungszuordnung anzuwenden.

Wenn Ihr Arbeitsbereich serverlose Verwendungsrichtlinien verwendet, um serverlose Verwendung zu attributieren, können Sie die serverlose Nutzungsrichtlinie auswählen, die Sie auf das Notizbuch anwenden möchten. Wenn ein Benutzer nur einer serverlosen Nutzungsrichtlinie zugewiesen ist, wird diese Richtlinie standardmäßig ausgewählt.

Sie können die serverlose Nutzungsrichtlinie auswählen, nachdem Ihr Notizbuch mit Serverless-Computing verbunden ist, indem Sie das Seitenpanel "Umgebung" verwenden.

1. Klicken Sie in der Benutzeroberfläche des Notizbuchs auf den Umgebungsbereich im Seitenbereich .
2. Wählen Sie unter "Nutzungsrichtlinie " die serverlose Nutzungsrichtlinie aus, die Sie auf Ihr Notizbuch anwenden möchten.
3. Klicken Sie auf Anwenden.

Nach Abschluss der Einrichtung erbt die gesamte Notebook-Nutzung die individuellen Tags der serverlosen Nutzungsrichtlinie.

Note

Wenn Ihr Notizbuch aus einem Git-Repository stammt oder ihm keine serverlose Nutzungsrichtlinie zugewiesen ist, wird die zuletzt gewählte serverlose Nutzungsrichtlinie standardmäßig verwendet, wenn es als nächstes an die serverlose Berechnung angeschlossen ist.

Auswählen einer Basisumgebung

Eine Basisumgebung bestimmt die vorinstallierten Bibliotheken und Umgebungsversion, die für Ihr serverloses Notizbuch verfügbar ist. Die Basisumgebungsauswahl im Seitenbereich " Umgebung " bietet eine einheitliche Schnittstelle für die Auswahl Ihrer Umgebung. Informationen zu den einzelnen Umgebungsversionen finden Sie unter Serverless Environment Versions. Databricks empfiehlt die Verwendung der neuesten Version, um die meisten up-to-date-Notizbuchfunktionen zu erhalten.

Die Auswahl der Basisumgebung umfasst die folgenden Optionen:

• Standard: Die Standardbasisumgebung mit von Databricks bereitgestellten Bibliotheken.
• KI: Eine KI-optimierte Basisumgebung mit vorinstallierten Machine Learning-Bibliotheken. Diese Option wird nur angezeigt, wenn ein Beschleuniger (GPU) ausgewählt ist.
• Weitere Optionen: Erweitert, um weitere Optionen anzuzeigen:
  • Frühere Versionen von Standard- und KI-Umgebungen.
  • Benutzerdefiniert: Ermöglicht Ihnen das Angeben einer benutzerdefinierten Umgebung mithilfe einer YAML-Datei.
• Arbeitsbereichsumgebungen: Listet alle kompatiblen Basisumgebungen auf, die von einem Administrator für Ihren Arbeitsbereich konfiguriert wurden.

So wählen Sie eine Basisumgebung aus:

1. Klicken Sie in der Benutzeroberfläche des Notizbuchs auf den Umgebung-Seitenbereich.
2. Wählen Sie unter "Basisumgebung" im Dropdownmenü eine Umgebung aus.
3. Klicken Sie auf Anwenden.

Hinzufügen von Abhängigkeiten zum Notizbuch

Da Serverless keine Berechnungsrichtlinien oder Initialisierungsskripte unterstützt, müssen Sie benutzerdefinierte Abhängigkeiten mithilfe des Seitenbereichs Umgebung hinzufügen. Sie können Abhängigkeiten einzeln hinzufügen oder eine gemeinsam nutzbare Basisumgebung verwenden, um mehrere Abhängigkeiten zu installieren.

So fügen Sie eine Abhängigkeit einzeln hinzu:

1. Klicken Sie in der Benutzeroberfläche des Notizbuchs auf das Seitenfeld Umgebung.

2. Klicken Sie im Abschnitt "Abhängigkeiten" auf "Abhängigkeit hinzufügen ", und geben Sie den Pfad der Abhängigkeit in das Feld ein. Sie können eine Abhängigkeit in einem beliebigen Format angeben, das in einer Datei vom Typ requirements.txt gültig ist. Python-Wheel-Dateien oder Python-Projekte (z. B. das Verzeichnis mit einem pyproject.toml oder einem setup.py) können sich in Arbeitsbereichsdateien oder Unity-Katalog-Volumen befinden.

   • Wenn Sie eine Datei des Arbeitsbereichs verwenden, sollte der Pfad absolut sein und mit /Workspace/ beginnen.
   • Wenn Sie eine Datei in einem Unity-Katalogvolume verwenden, sollte der Pfad im folgenden Format vorliegen: /Volumes/<catalog>/<schema>/<volume>/<path>.whl

3. Klicken Sie auf Anwenden. Dadurch werden die Abhängigkeiten in der virtuellen Notebookumgebung installiert, und der Python-Prozess wird neu gestartet.

Important

Installieren Sie weder PySpark noch Bibliotheken, die PySpark als Abhängigkeit installieren, in Ihren serverlosen Notebooks. Das Ausführen dieser Aktion wird Ihre Sitzung beenden und einen Fehler verursachen. Entfernen Sie in diesem Fall die Bibliothek, und setzen Sie Ihre Umgebung zurück.

Um installierte Abhängigkeiten anzuzeigen, klicken Sie im Seitenbereich "Umgebungen" auf die Registerkarte "Installiert". Die Pip-Installationsprotokolle für die Notebook-Umgebung sind ebenfalls verfügbar, indem Sie auf pip Installationsprotokolle unten im Panel klicken.

Erstellen einer benutzerdefinierten Umgebungsspezifikation

Sie können benutzerdefinierte Umgebungsspezifikationen erstellen und wiederverwenden.

1. Wählen Sie in einem serverlosen Notizbuch eine Umgebungsversion aus, und fügen Sie alle Abhängigkeiten hinzu, die Sie installieren möchten.
2. Klicken Sie auf das Klicken Sie unten im Umgebungsbereich auf " Umgebung exportieren".
3. Speichern Sie die Spezifikation als Arbeitsbereichsdatei oder in einem Unity-Katalogvolume.

Wenn Sie Ihre benutzerdefinierte Umgebungsspezifikation in einem Notizbuch verwenden möchten, wählen Sie " Benutzerdefiniert" im Dropdownmenü " Basisumgebung " aus, und verwenden Sie dann das Um Ihre YAML-Datei auszuwählen.

Erstellen Sie allgemeine Werkzeuge zur gemeinsamen Nutzung in Ihrem Arbeitsbereich

Das folgende Beispiel zeigt, wie Sie ein allgemeines Hilfsprogramm in einer Arbeitsbereichsdatei speichern und als Abhängigkeit in Ihrem serverlosen Notizbuch hinzufügen:

1. Erstellen Sie einen Ordner mit der folgenden Struktur. Stellen Sie sicher, dass Verbraucher Ihres Projekts über einen geeigneten Zugriff auf den Dateipfad verfügen:

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Füllen Sie dies pyproject.toml wie folgt aus:

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Fügen Sie der init.py Datei eine Funktion hinzu. Beispiel:

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. Wählen Sie auf der Benutzeroberfläche des Notebooks den Seitenbereich Umgebung aus: .

5. Klicken Sie im Abschnitt "Abhängigkeiten" auf "Abhängigkeit hinzufügen ", und geben Sie dann den Pfad der util-Datei ein. Beispiel: /Workspace/helper_utils.

6. Klicken Sie auf Anwenden.

Sie können nun die Funktion in Ihrem Notizbuch verwenden:

from helpers import greet
print(greet('world'))

Das wird ausgegeben als:

Hello, world!

Zurücksetzen der Umgebungsabhängigkeiten

Wenn Ihr Notizbuch mit serverloser Berechnung verbunden ist, speichert Databricks den Inhalt der virtuellen Umgebung des Notizbuchs automatisch zwischen. Dies bedeutet, dass Sie die im Environment Seitenbereich angegebenen Python-Abhängigkeiten im Allgemeinen nicht neu installieren müssen, wenn Sie ein vorhandenes Notizbuch öffnen, auch wenn es aufgrund von Inaktivität getrennt wurde.

Die Zwischenspeicherung virtueller Python-Umgebungen wird auch für Aufträge verwendet. Wenn ein Auftrag ausgeführt wird, ist jede Aufgabe des Auftrags, die denselben Satz von Abhängigkeiten wie eine abgeschlossene Aufgabe in diesem Durchlauf teilt, schneller, da benötigte Abhängigkeiten bereits verfügbar sind.

Note

Wenn Sie die Implementierung eines benutzerdefinierten Python-Pakets ändern, das in einem Auftrag ohne Server verwendet wird, müssen Sie auch die Versionsnummer aktualisieren, damit Aufträge die neueste Implementierung aufnehmen können.

Um den Umgebungscache zu löschen und eine Neuinstallation der im Seitenbereich Umgebung eines an eine serverlose Computeressource angehängten Notebooks angegebenen Abhängigkeiten durchzuführen, klicken Sie auf den Pfeil neben Anwenden und dann auf Standards wiederherstellen.

Wenn Sie Pakete installieren, die das Kernnotizbuch oder die Apache Spark-Umgebung unterbrechen oder ändern, entfernen Sie die problematischen Pakete, und setzen Sie dann die Umgebung zurück. Beim Starten einer neuen Sitzung wird der gesamte Umgebungscache nicht gelöscht.

Konfigurieren von Standardmäßigen Python-Paketrepositorys

Arbeitsbereichsadmins können private oder authentifizierte Paketrepositorys in Arbeitsbereichen als Standard-pip-Konfiguration für serverlose Notebooks und serverlose Aufträge konfigurieren. Auf diese Weise können Benutzer Pakete aus internen Python-Repositorys installieren, ohne index-url oder extra-index-urlexplizit zu definieren.

Für Anweisungen können Arbeitsbereichsadministratoren auf "Standard-Python-Paketrepositorys konfigurieren" verweisen.

Konfigurieren der Umgebung für Auftragsaufgaben

Bei Auftragsaufgabentypen wie Notizbuch, Python-Skript, Python-Rad, JAR oder DBT-Aufgaben werden die Bibliotheksabhängigkeiten von der serverlosen Umgebungsversion geerbt. Informationen zum Anzeigen der Liste der installierten Bibliotheken finden Sie im Abschnitt "Installierte Python-Bibliotheken " oder " Installierte Java- und Scala-Bibliotheken " der verwendeten Umgebungsversion . Wenn eine Aufgabe eine nicht installierte Bibliothek erfordert, können Sie die Bibliothek aus Arbeitsbereichsdateien, Unity-Katalogvolumes oder öffentlichen Paketrepositorys installieren.

Für Notizbücher mit der Umgebung eines vorhandenen Notizbuchs können Sie die Aufgabe mithilfe der Umgebung des Notizbuchs ausführen oder sie überschreiben, indem Sie stattdessen eine Umgebung auf Auftragsebene auswählen.

Important

Die Verwendung der serverlosen Berechnung für JAR-Aufgaben befindet sich in der Betaversion.

So fügen Sie eine Bibliothek hinzu, wenn Sie eine Auftragsaufgabe erstellen oder bearbeiten:

1. Wählen Sie im Dropdownmenü Umgebung und Bibliotheken das neben der Standardumgebung oder klicken Sie auf + Neue Umgebung hinzufügen.

   

2. Wählen Sie in der Dropdownliste Umgebungsversion die Umgebungsversion aus. Weitere Informationen finden Sie unter Versionen der serverlosen Umgebung. Databricks empfiehlt die Auswahl der neuesten Version, um die aktuellsten Features zu erhalten.

3. Wählen Sie im Dialogfeld Umgebung konfigurieren die Option + Bibliothek hinzufügen aus.

4. Wählen Sie im Dropdownmenü unter Bibliotheken den Typ der Abhängigkeit aus.

5. Geben Sie im Textfeld Dateipfad den Pfad zur Bibliothek ein.

• Für ein Python-Wheel in einer Arbeitsbereichsdatei sollte der Pfad absolut sein und mit /Workspace/ beginnen.

• Für ein Python-Wheel in einem Unity Catalog-Volume sollte der Pfad /Volumes/<catalog>/<schema>/<volume>/<path>.whl lauten.

• Wählen Sie für eine Datei requirements.txt die Option „PyPi“ aus, und geben Sie -r /path/to/requirements.txt ein.

  

1. Wählen Sie Bestätigen oder + Bibliothek hinzufügen aus, um eine weitere Bibliothek hinzuzufügen.
2. Wenn Sie eine Aufgabe hinzufügen, klicken Sie auf " Aufgabe erstellen". Wenn Sie eine Aufgabe bearbeiten, klicken Sie auf "Aufgabe speichern".

Basisumgebungen für Auftragsaufgaben

Serverlose Aufträge unterstützen benutzerdefinierte Basisumgebungen, die mit YAML-Dateien für Python-, Python-Rad- und Notizbuchaufgaben definiert sind. Für Notizbuchaufgaben können Sie entweder eine benutzerdefinierte Basisumgebung in der Umgebungskonfiguration des Auftrags auswählen oder die eigenen Umgebungseinstellungen des Notizbuchs verwenden, die sowohl Arbeitsbereichumgebungen als auch benutzerdefinierte Basisumgebungen unterstützen. In allen Fällen werden zur Laufzeit nur die für die Aufgabe erforderlichen Abhängigkeiten installiert.