Richten Sie Ihre Umgebung ein

Von Bedeutung

Dieses Feature befindet sich in der Public Preview.

AI Runtime bietet zwei verwaltete Python-Umgebungen für serverlose GPU-Berechnungen. Die Standardumgebung umfasst cuda. Ab Umgebungsversion 5 sind torch und torchvision nicht mehr vorinstalliert. Die Databricks-KI-Umgebung ist mit PyTorch, Transformers und anderen ML- und Deep-Learning-Frameworks vorinstalliert. Wählen Sie die Standardumgebung für die vollständige Kontrolle über Ihren Abhängigkeitsstapel oder die KI-Umgebung für ein einsatzbereites Schulungssetup aus. Du kannst in beiden Umgebungen starten und mehr Pakete selbst installieren.

Tip

  • Wählen Sie die Standardumgebung für die vollständige Kontrolle über Abhängigkeiten oder die Databricks-KI-Umgebung für einen einsatzbereiten ML-Stack.
  • Der Standard umfasst cuda. Ab Umgebungsversion 5 sind torch und torchvision nicht vorinstalliert. Die KI-Umgebung fügt PyTorch, Transformers und mehr hinzu.
  • Installiere weitere Pakete mit %uv pip install (Umgebungsversion 5 und höher) oder %pip install in einem Notebook oder mit environment.dependencies in der CLI.

Welche Umgebung verwendet werden soll

AI Runtime bietet zwei verwaltete Python Umgebungen, die Standardumgebung und die Databricks AI-Umgebung.

Umgebung Hauptmerkmale Wann verwenden
Standardumgebung Minimal; enthält cuda. Ab Umgebungsversion 5 sind torch und torchvision nicht mehr vorinstalliert. Sie möchten die vollständige Kontrolle über den Abhängigkeitsstapel haben und es vorziehen, nur das zu installieren, was Sie benötigen.
Databricks KI-Umgebung Vorinstalliert mit beliebten Maschinelles Lernen-Frameworks (PyTorch, Transformers und mehr) Sie benötigen eine vollständige Umgebung für Schulungen, Feinabstimmungen und Experimente ohne manuelle Abhängigkeitsverwaltung

Du kannst auch eine Workspace-Basisumgebung verwenden, die ein Workspace-Administrator für AI Runtime gebaut hat. Siehe Build für serverlose GPU-Compute (KI-Laufzeit).

Um eine Umgebung in einem Notizbuch auszuwählen, öffnen Sie das Umgebungs-Seitenfeld und wählen Sie eine Basisumgebung aus:

Wähle eine Basisumgebung im Notebook-Umgebungs-Seitenpanel aus.

Standardumgebung (minimale Umgebung)

Eine minimale, stabile Umgebung, die nur die erforderlichen Pakete für den AI-Runtime-Vorgang enthält. Die Umgebung umfasst cuda zur GPU-Unterstützung. Ab Umgebungsversion 5 sind torch und torchvision nicht mehr vorinstalliert. Installiere die Versionen, die dein Workload benötigt, mit %uv pip install oder %pip install. Die in jeder Umgebungsversion installierten Pakete finden Sie in den nachstehenden Versionshinweisen.

Am besten geeignet für: Benutzer, die die vollständige Kontrolle über ihren Abhängigkeitsstapel wünschen und es vorziehen, nur das zu installieren, was sie benötigen.

Zum Auswählen: Im Environment-Seitenpanel wähle Standard v6 als Basisumgebung.

Weitere Informationen zu Paketversionen, die in verschiedenen Versionen installiert sind, finden Sie in den Versionshinweisen:

Databricks KI-Umgebung

Verfügbar in Umgebung 4 und höher. Die KI-Umgebung basiert auf der Standardumgebung mit allgemeinen Laufzeitpaketen und Paketen speziell für maschinelles Lernen auf GPUs. Vorinstallierte Pakete umfassen:

  • PyTorch (mit CUDA-Unterstützung)
  • Transformers (Hugging Face)
  • Und zusätzliche ML/DL-Abhängigkeiten

Am besten geeignet für: ML-Praktiker, die eine vollständige Umgebung für Schulungsworkloads, Feinabstimmungen und Experimente ohne manuelle Abhängigkeitsverwaltung wünschen.

Um auszuwählen: Im Umgebungs-Seitenpanel wähle AI v6 als deine Basisumgebung.

Weitere Informationen zu Paketversionen, die in verschiedenen Versionen installiert sind, finden Sie in den Versionshinweisen:

Zusätzliche Pakete installieren

Du kannst entweder in einer verwalteten Umgebung oder einer Workspace-Basisumgebung starten und deine eigenen Python-Pakete darauf installieren. Wie du sie installierst, hängt davon ab, wie du dich mit AI Runtime verbindest.

In einem Notizbuch

Installiere Pakete oben in deinem Notebook oder Trainingsskript mit %uv pip, das mit UV installiert wird und schneller ist als %pip. Pin-Versionen, damit Läufe reproduzierbar bleiben:

%uv pip install "trl==1.1.0"
%uv pip install "transformers==5.5.4"

Für die vollständige %pip Übersicht und %uv pip Referenz, einschließlich der Umgebungsversionen, die jede unterstützen, siehe Bibliotheken verwalten mit %uv Befehlen.

Wenn du den @distributed Decorator für Multi-GPU-Workloads verwendest, werden die Pakete, die du vor dem Aufruf .distributed() installierst, automatisch gesnapshott und an alle verteilten Prozesse weitergeleitet. Die Gesamtgröße der installierten Pakete darf 15 GB nicht überschreiten. Weitere Details finden Sie unter Hinzufügen von Abhängigkeiten zum Notizbuch.

Mit der CLI

Die air CLI verwendet dieselben verwalteten Umgebungen. Wähle eines mit environment.versionund liste dann die Pakete auf, die du darüber installieren sollst, unter environment.dependencies deinem Workload-YAML. Die CLI installiert sie mit UV in die ausgewählte Umgebung, sodass Sie keine separate virtuelle Umgebung selbst verwalten müssen:

environment:
  version: '6'
  dependencies:
    - trl==1.1.0
    - transformers==5.5.4

Um stattdessen von der Databricks-KI-Umgebung aus zu starten, setzen Sie version auf eine Kennung einer KI-Umgebung wie databricks_ai_v5. Für das vollständige Abhängigkeitsformat, unterstützte Installationsflags und Unterstützung für benutzerdefinierte Docker-Images siehe Python-Abhängigkeiten.

Arbeitsbereichsbasisumgebungen

Ein Arbeitsbereichsadministrator kann eine Arbeitsbereichsbasisumgebung für serverlose GPU-Compute erstellen, wodurch sie allen Benutzern im Arbeitsbereich über das Dropdownmenü " Basisumgebung " zur Verfügung gestellt wird. Ausführliche Informationen finden Sie unter Build für serverlose GPU-Compute (AI Runtime).

Um eine Basisumgebung in einem geplanten Workload zu verwenden, verweisen Sie im environments-Block eines Jobs oder Bundles anhand ihres Bezeichners darauf. Zum Beispiel wählt diese Declarative Automation Bundles-Aufgabe die Databricks-KI-Umgebung aus:

resources:
  jobs:
    train:
      tasks:
        - task_key: train
          environment_key: default
      environments:
        - environment_key: default
          spec:
            base_environment: databricks_ai_v6

Ein vollständiges Jobbeispiel finden Sie unter Schedule with the Jobs API und Declarative Automation Bundles.

Caching von Umgebungen und benutzerdefinierten Modulen

Wann werden Umgebungen zwischengespeichert?

AI Runtime speichert die Umgebung deines Notebooks, sodass du beim erneuten Öffnen der Notebooks keine Pakete neu installieren musst. Weitere Informationen finden Sie unter Zurücksetzen der Umgebungsabhängigkeiten.

Caching gilt für interaktive Notizbücher. Workloads, die über die air CLI laufen oder als Jobs geplant werden, nutzen diesen Cache nicht; jeder Run installiert seine Abhängigkeiten frisch.

Als Best Practice pinnen Sie Pakete an eine bestimmte Version, damit Ihre zwischengespeicherte Umgebung gültig bleibt und Ihre Durchläufe reproduzierbar bleiben.

Wie importiere ich benutzerdefinierte Module?

Die folgenden Schritte zeigen, wie man eigene Python-Module verwendet.

  1. Synchronisiere deinen Code mit dem Arbeitsbereich. Klone ein Git-Repository mit einem Git-Ordner in den Arbeitsbereich oder lade die Dateien direkt als Arbeitsbereichsdateien hoch. Speichern Sie gemeinsam genutzten Code für Teamprojekte unter /Workspace/Shared oder in einem Benutzerordner für die persönliche Entwicklung. Wenn man den Code in einem Git-Ordner speichert, bleibt er versionskontrolliert.
  2. Füge den Ordner hinzu sys.path und importiere ihn oben in deinem Notizbuch oder Trainingsskript:
import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Einschränkungen

Die folgenden Funktionen sind für KI-Runtime nicht verfügbar:

  • Spark-Funktionen: Sie können PySpark-Funktionen nicht direkt importieren oder verwenden. AI Runtime ist eine Nur-Python-Umgebung; Spark ist nicht als lokale Laufzeit verfügbar. Spark Connect steht jedoch zum Laden von Daten zur Verfügung. Siehe Laden von Daten auf AI-Runtime.
  • Databricks Runtime ML-Bibliotheken: Vorinstallierte Pakete sind kein Ersatz für Databricks Runtime ML. Einige ML-Bibliotheken, die in Databricks Runtime ML verfügbar sind, sind möglicherweise nicht auf AI Runtime vorinstalliert.
  • Private Artefakte: KI-Runtime unterstützt private Artefakte in bestimmten Fällen. Wenden Sie sich an Ihr Kontoteam, um weitere Details zu erhalten.
  • Last updated on