Konfigurieren der serverlosen Umgebung

In diesem Artikel wird erläutert, wie Sie mithilfe des Seitenbereichs "Umgebung " eines serverlosen Notizbuchs Abhängigkeiten, serverlose Budgetrichtlinien, Arbeitsspeicher und Umgebungsversion konfigurieren. Dieser Bereich bietet einen zentralen Ort zum Verwalten der serverlosen Einstellungen des Notizbuchs. Die in diesem Bereich konfigurierten Einstellungen gelten nur, wenn das Notebook mit serverlosem Computing verbunden ist.

Um den Seitenbereich "Umgebung" zu erweitern, klicken Sie auf die rechts neben dem Notizbuch.

Verwenden der serverlosen GPU-Berechnung

Important

Serverlose GPU-Compute befindet sich in der Betaversion.

Führen Sie die folgenden Schritte aus, um serverlose GPU-Compute auf Ihrem Databricks-Notizbuch zu verwenden:

1. Klicken Sie in einem Notizbuch oben auf das Dropdownmenü "Verbinden ", und wählen Sie "Serverless GPU" aus.
2. Klicken Sie auf das Um den Seitenbereich "Umgebung " zu öffnen.
3. Wählen Sie A10 aus dem Feld Beschleuniger aus.
4. Wählen Sie "Keine" für die Standardumgebung oder AI v4 für die KI-Umgebung aus dem Feld "Basisumgebung " aus.
5. Wenn Sie "Keine" aus dem Feld " Basisumgebung " ausgewählt haben, wählen Sie die Umgebungsversion aus.
6. Klicken Sie auf "Übernehmen" , und bestätigen Sie dann, dass Sie den serverlosen GPU-Compute auf Ihre Notizbuchumgebung anwenden möchten.

Weitere Informationen finden Sie unter Serverless GPU Compute.

Verwenden Sie serverlose Berechnung mit hohem Speicherbedarf

Important

Dieses Feature befindet sich in der Public Preview.

Wenn in Ihrem Notizbuch Fehler im Arbeitsspeicher auftreten, können Sie das Notizbuch so konfigurieren, dass eine höhere Arbeitsspeichergröße verwendet wird. Diese Einstellung erhöht die Größe des REPL-Speichers, der beim Ausführen von Code im Notizbuch verwendet wird. Sie wirkt sich nicht auf die Speichergröße der Spark-Sitzung aus. Die serverlose Verwendung mit hohem Arbeitsspeicher hat eine höhere DBU-Emissionsrate als standardspeicher.

1. Wählen Sie auf der Benutzeroberfläche des Notebooks den Seitenbereich Umgebung aus: .
2. Unter Speicherwählen Sie Hoher Arbeitsspeicheraus.
3. Klicken Sie auf Anwenden.

Diese Einstellung gilt auch für Aufgaben im Notizbuch, die mit den Speichereinstellungen des Notizbuchs ausgeführt werden. Das Aktualisieren der Speichereinstellung im Notizbuch wirkt sich auf die nächste Auftragsausführung aus.

Auswählen einer Serverlosen Budgetrichtlinie

Important

Dieses Feature befindet sich in der Public Preview.

Mithilfe von serverlosen Budgetrichtlinien kann Ihre Organisation benutzerdefinierte Tags auf die serverlose Nutzung anwenden, um eine differenzierte Abrechnungszuordnung zu ermöglichen.

Wenn Ihr Arbeitsbereich serverlose Budgetrichtlinien verwendet, um serverlose Verwendung zu attributieren, können Sie die serverlose Budgetrichtlinie auswählen, die Sie auf das Notizbuch anwenden möchten. Wenn einem Benutzer nur eine serverlose Budgetrichtlinie zugewiesen ist, wird diese Richtlinie standardmäßig ausgewählt.

Sie können die serverlose Budgetrichtlinie auswählen, nachdem Ihr Notebook mit serverlosem Computing verbunden ist, indem Sie den Seitenbereich Umgebung verwenden:

1. Wählen Sie auf der Benutzeroberfläche des Notebooks den Seitenbereich Umgebung aus: .
2. Wählen Sie unter "Budgetrichtlinie " die Serverlose Budgetrichtlinie aus, die Sie auf Ihr Notizbuch anwenden möchten.
3. Klicken Sie auf Anwenden.

Nach Abschluss der Einrichtung erbt der gesamte Notebookverbrauch die benutzerdefinierten Tags der Budgetrichtlinie für serverloses Computing.

Note

Wenn Ihr Notizbuch aus einem Git-Repository stammt oder keine serverlose Budgetrichtlinie zugewiesen ist, wird standardmäßig die zuletzt ausgewählte Serverlose Budgetrichtlinie verwendet, wenn es als Nächstes mit serverloser Berechnung verbunden ist.

Auswählen einer Umgebungsversion

Umgebungsversionen ermöglichen es serverlosen Workloads, unabhängige Engine-Upgrades zu erhalten, ohne die Anwendungskompatibilität zu beeinträchtigen. Informationen zu den einzelnen Umgebungsversionen finden Sie unter Serverless Environment Versions. Databricks empfiehlt die Auswahl der neuesten Version, um die aktuellsten Notizbuchfeatures zu erhalten.

So wählen Sie eine Umgebungsversion aus:

1. Wählen Sie auf der Benutzeroberfläche des Notebooks den Seitenbereich Umgebung aus: .
2. Wählen Sie unter "Umgebungsversion" eine Version aus.
3. Klicken Sie auf Anwenden.

Hinzufügen von Abhängigkeiten zum Notizbuch

Da Serverless keine Berechnungsrichtlinien oder Initialisierungsskripte unterstützt, müssen Sie benutzerdefinierte Abhängigkeiten mithilfe des Seitenbereichs Umgebung hinzufügen. Sie können Abhängigkeiten einzeln hinzufügen oder eine gemeinsam nutzbare Basisumgebung verwenden, um mehrere Abhängigkeiten zu installieren.

So fügen Sie eine Abhängigkeit einzeln hinzu:

1. Wählen Sie auf der Benutzeroberfläche des Notebooks den Seitenbereich Umgebung aus: .

2. Klicken Sie im Abschnitt "Abhängigkeiten" auf "Abhängigkeit hinzufügen ", und geben Sie den Pfad der Abhängigkeit in das Feld ein. Sie können eine Abhängigkeit in einem beliebigen Format angeben, das in einer Datei vom Typ requirements.txt gültig ist. Python-Wheel-Dateien oder Python-Projekte (z. B. das Verzeichnis mit einem pyproject.toml oder einem setup.py) können sich in Arbeitsbereichsdateien oder Unity-Katalog-Volumen befinden.

   • Wenn Sie eine Datei des Arbeitsbereichs verwenden, sollte der Pfad absolut sein und mit /Workspace/ beginnen.
   • Wenn Sie eine Datei in einem Unity-Katalogvolume verwenden, sollte der Pfad im folgenden Format vorliegen: /Volumes/<catalog>/<schema>/<volume>/<path>.whl

3. Klicken Sie auf Anwenden. Dadurch werden die Abhängigkeiten in der virtuellen Notebookumgebung installiert, und der Python-Prozess wird neu gestartet.

Important

Installieren Sie weder PySpark noch Bibliotheken, die PySpark als Abhängigkeit installieren, in Ihren serverlosen Notebooks. Das Ausführen dieser Aktion wird Ihre Sitzung beenden und einen Fehler verursachen. Entfernen Sie in diesem Fall die Bibliothek, und setzen Sie Ihre Umgebung zurück.

Um installierte Abhängigkeiten anzuzeigen, klicken Sie im Seitenbereich "Umgebungen" auf die Registerkarte "Installiert". Die Pip-Installationsprotokolle für die Notebook-Umgebung sind ebenfalls verfügbar, indem Sie auf pip Installationsprotokolle unten im Panel klicken.

Hinzufügen von Abhängigkeiten zu einer Basisumgebung

Eine Basisumgebung ist eine als Arbeitsbereichsdatei oder auf einem Unity Catalog-Volume gespeicherte YAML-Datei, die zusätzliche Umgebungsabhängigkeiten angibt. Sie können eine der Basisumgebungen Ihres Arbeitsbereichs im Dropdownmenü " Basisumgebung " auswählen oder " Benutzerdefiniert" auswählen, um eine benutzerdefinierte Umgebungsspezifikation zu verwenden.

Sie können zusätzliche Abhängigkeiten einzeln über einer Basisumgebung installieren. Einzeln installierte Abhängigkeiten überschreiben oder erweitern die Basisumgebung für dieses Notizbuch.

Anweisungen für Arbeitsbereichsadministratoren finden Sie unter Verwalten serverloser Basisumgebungen.

Erstellen einer benutzerdefinierten Umgebungsspezifikation

Sie können benutzerdefinierte Umgebungsspezifikationen erstellen und wiederverwenden.

1. Wählen Sie in einem serverlosen Notizbuch eine Umgebungsversion aus, und fügen Sie alle Abhängigkeiten hinzu, die Sie installieren möchten.
2. Klicken Sie auf das Klicken Sie unten im Umgebungsbereich auf " Umgebung exportieren".
3. Speichern Sie die Spezifikation als Arbeitsbereichsdatei oder in einem Unity-Katalogvolume.

Wenn Sie Ihre benutzerdefinierte Umgebungsspezifikation in einem Notizbuch verwenden möchten, wählen Sie im Dropdownmenü "Basisumgebung" die Option "Benutzerdefiniert" aus, und verwenden Sie dann das Ordnersymbol "re:[Ordnersymbol]", um Ihre YAML-Datei auszuwählen.

Erstellen Sie allgemeine Werkzeuge zur gemeinsamen Nutzung in Ihrem Arbeitsbereich

Das folgende Beispiel zeigt, wie Sie ein allgemeines Hilfsprogramm in einer Arbeitsbereichsdatei speichern und als Abhängigkeit in Ihrem serverlosen Notizbuch hinzufügen:

1. Erstellen Sie einen Ordner mit der folgenden Struktur. Stellen Sie sicher, dass Verbraucher Ihres Projekts über einen geeigneten Zugriff auf den Dateipfad verfügen:

   helper_utils/
   ├── helpers/
   │   └── __init__.py   # your common functions live here
   ├── pyproject.toml
   

2. Füllen Sie dies pyproject.toml wie folgt aus:

   [project]
   name = "common_utils"
   version = "0.1.0"
   

3. Fügen Sie der init.py Datei eine Funktion hinzu. Beispiel:

   def greet(name: str) -> str:
       return f"Hello, {name}!"
   

4. Wählen Sie auf der Benutzeroberfläche des Notebooks den Seitenbereich Umgebung aus: .

5. Klicken Sie im Abschnitt "Abhängigkeiten" auf "Abhängigkeit hinzufügen ", und geben Sie dann den Pfad der util-Datei ein. Beispiel: /Workspace/helper_utils.

6. Klicken Sie auf Anwenden.

Sie können nun die Funktion in Ihrem Notizbuch verwenden:

from helpers import greet
print(greet('world'))

Das wird ausgegeben als:

Hello, world!

Zurücksetzen der Umgebungsabhängigkeiten

Wenn Ihr Notizbuch mit serverloser Berechnung verbunden ist, speichert Databricks den Inhalt der virtuellen Umgebung des Notizbuchs automatisch zwischen. Dies bedeutet, dass Sie die im Environment Seitenbereich angegebenen Python-Abhängigkeiten im Allgemeinen nicht neu installieren müssen, wenn Sie ein vorhandenes Notizbuch öffnen, auch wenn es aufgrund von Inaktivität getrennt wurde.

Die Zwischenspeicherung virtueller Python-Umgebungen wird auch für Aufträge verwendet. Wenn ein Auftrag ausgeführt wird, ist jede Aufgabe des Auftrags, die denselben Satz von Abhängigkeiten wie eine abgeschlossene Aufgabe in diesem Durchlauf teilt, schneller, da benötigte Abhängigkeiten bereits verfügbar sind.

Note

Wenn Sie die Implementierung eines benutzerdefinierten Python-Pakets ändern, das in einem Auftrag ohne Server verwendet wird, müssen Sie auch die Versionsnummer aktualisieren, damit Aufträge die neueste Implementierung aufnehmen können.

Um den Umgebungscache zu löschen und eine Neuinstallation der im Seitenbereich Umgebung eines an eine serverlose Computeressource angehängten Notebooks angegebenen Abhängigkeiten durchzuführen, klicken Sie auf den Pfeil neben Anwenden und dann auf Standards wiederherstellen.

Wenn Sie Pakete installieren, die das Kernnotizbuch oder die Apache Spark-Umgebung unterbrechen oder ändern, entfernen Sie die problematischen Pakete, und setzen Sie dann die Umgebung zurück. Beim Starten einer neuen Sitzung wird der gesamte Umgebungscache nicht gelöscht.

Konfigurieren von Standardmäßigen Python-Paketrepositorys

Arbeitsbereichsadmins können private oder authentifizierte Paketrepositorys in Arbeitsbereichen als Standard-pip-Konfiguration für serverlose Notebooks und serverlose Aufträge konfigurieren. Auf diese Weise können Benutzer Pakete aus internen Python-Repositorys installieren, ohne index-url oder extra-index-urlexplizit zu definieren.

Für Anweisungen können Arbeitsbereichsadministratoren auf "Standard-Python-Paketrepositorys konfigurieren" verweisen.

Konfigurieren der Umgebung für Auftragsaufgaben

Bei Auftragsaufgabentypen wie Notizbuch, Python-Skript, Python-Rad, JAR oder DBT-Aufgaben werden die Bibliotheksabhängigkeiten von der serverlosen Umgebungsversion geerbt. Informationen zum Anzeigen der Liste der installierten Bibliotheken finden Sie im Abschnitt "Installierte Python-Bibliotheken " oder " Installierte Java- und Scala-Bibliotheken " der verwendeten Umgebungsversion . Wenn eine Aufgabe eine nicht installierte Bibliothek erfordert, können Sie die Bibliothek aus Arbeitsbereichsdateien, Unity-Katalogvolumes oder öffentlichen Paketrepositorys installieren.

Für Notizbücher mit der Umgebung eines vorhandenen Notizbuchs können Sie die Aufgabe mithilfe der Umgebung des Notizbuchs ausführen oder sie überschreiben, indem Sie stattdessen eine Umgebung auf Auftragsebene auswählen.

Important

Die Verwendung der serverlosen Berechnung für JAR-Aufgaben befindet sich in der Betaversion.

So fügen Sie eine Bibliothek hinzu, wenn Sie eine Auftragsaufgabe erstellen oder bearbeiten:

1. Wählen Sie im Dropdownmenü Umgebung und Bibliotheken das neben der Standardumgebung oder klicken Sie auf + Neue Umgebung hinzufügen.

   

2. Wählen Sie in der Dropdownliste Umgebungsversion die Umgebungsversion aus. Weitere Informationen finden Sie unter Versionen der serverlosen Umgebung. Databricks empfiehlt die Auswahl der neuesten Version, um die aktuellsten Features zu erhalten.

3. Wählen Sie im Dialogfeld Umgebung konfigurieren die Option + Bibliothek hinzufügen aus.

4. Wählen Sie im Dropdownmenü unter Bibliotheken den Typ der Abhängigkeit aus.

5. Geben Sie im Textfeld Dateipfad den Pfad zur Bibliothek ein.

• Für ein Python-Wheel in einer Arbeitsbereichsdatei sollte der Pfad absolut sein und mit /Workspace/ beginnen.

• Für ein Python-Wheel in einem Unity Catalog-Volume sollte der Pfad /Volumes/<catalog>/<schema>/<volume>/<path>.whl lauten.

• Wählen Sie für eine Datei requirements.txt die Option „PyPi“ aus, und geben Sie -r /path/to/requirements.txt ein.

  

1. Wählen Sie Bestätigen oder + Bibliothek hinzufügen aus, um eine weitere Bibliothek hinzuzufügen.
2. Wenn Sie eine Aufgabe hinzufügen, klicken Sie auf " Aufgabe erstellen". Wenn Sie eine Aufgabe bearbeiten, klicken Sie auf "Aufgabe speichern".