Overview

AI Runtime ist serverlose GPU-Berechnung auf Azure Databricks für Deep-Learning-Workloads. Diese Seite behandelt, wie es funktioniert, Beispielanwendungen, Hardware, wichtige Funktionen und Einschränkungen.

Wie AI Runtime funktioniert

AI Runtime ermöglicht es Ihnen, Modelle auf Azure Databricks zu trainieren und zu optimieren, ohne die GPU-Infrastruktur verwalten zu müssen. Du bringst deinen Code mit, und Azure Databricks kümmert sich um GPU-Kapazität, Beschaffung und Verwaltung.

Der folgende Befehl übermittelt beispielsweise eine Workload von Ihrem Terminal:

databricks air run --file workload.yaml --watch

Wenn Sie databricks air run ausführen, verpackt KI Runtime den Code, den Sie einreichen, und orchestriert ihn auf serverloser GPU-Rechenleistung, die von Azure Databricks verwaltet wird. Um dies auszuprobieren, lesen Sie AI Runtime-Schnellstart.

Beispielanwendungsfälle

Man kann AI Runtime nutzen, um viele Arten von KI-Modellen zu trainieren oder zu feinjustieren. Beispiel:

• LLM-Feinabstimmung (LoRA, QLoRA, vollständige Feinabstimmung). Siehe Large Language Models (LLMs).
• Computer Vision (Objekterkennung, Bildklassifikation). Siehe Computer Vision.
• Empfehlungssysteme auf Basis von Deep-Learning. Siehe Deep-Learning-basierte Empfehlungssysteme.
• GPU-beschleunigte klassische ML- und Deep-Learning-basierte Zeitreihenprognose. Siehe Klassisches maschinelles Lernen.
• Umfangreicher Batchrückschluss. Siehe Batch-Inferenz.
• Verteiltes Training mit mehreren GPUs. Siehe Multi-GPU verteiltes Training.
• Verstärkungslernen. Siehe Large Language Models (LLMs).

Für alle Notebook-Tutorials und Databricks CLI-Rezepte siehe AI-Runtime-Beispiele.

Hardware

Alle AI-Runtime-Beschleuniger stellen einen einzelnen Knoten bereit. Die Anzahl der GPUs auf diesem Knoten hängt vom Beschleunigertyp ab.

Accelerator	GPUs pro Knoten	GPU-Arbeitsspeicher	Am besten geeignet für:	Verteilte Schulung
1xA10	1	24 GB	Kleine bis mittlere ML- und Deep Learning-Aufgaben wie klassische ML-Modelle oder Feinabstimmung kleinerer Sprachmodelle	Nicht unterstützt (einzelne GPU)
1xH100	1	80 GB	Workloads, die mehr GPU-Speicher als 1xA10 benötigen, aber kein verteiltes Multi-GPU-Training erfordern, wie etwa das Fine-Tuning mittelgroßer Sprachmodelle	Nicht unterstützt (einzelne GPU)
8xH100	8	80 GB pro GPU	Große KI-Workloads, einschließlich Schulungen oder Feinabstimmung massiver Modelle oder Ausführen erweiterter Deep Learning-Aufgaben	Unterstützt durch den @distributed Decorator, der standardmäßig alle acht GPUs nutzt.

Tipp

Nur 8xH100 unterstützt verteiltes Multi-GPU-Training. Für Workloads mit einer einzelnen GPU wählen Sie 1xA10 oder 1xH100 , je nach GPU-Speicher, den Ihr Modell benötigt.

Wichtigste Funktionen

Kategorie	Features
Mit GPUs verbinden	Databricks CLI: Übermitteln und verwalten Sie GPU-Workloads von Ihrem Terminal aus mit YAML-Konfigurationen. Notebooks: Fügen Sie ein Notebook an eine GPU an, und entwickeln Sie interaktiv. Verteiltes Training in Notebooks: Führen Sie PyTorch DDP, FSDP oder DeepSpeed über alle GPUs auf einem Knoten mit dem @distributed Decorator aus. Jobs: Planen Sie eine GPU-Workload als wiederkehrenden Job. IDE über SSH: Verbinden Sie sich von Ihrer IDE oder Ihrem Terminal zu einem GPU-Knoten. Ray: Ray Core, Ray Data, Ray Train und Ray Tune ausführen.
Workloads erstellen	Vorgefertigte Umgebungen: Wählen Sie die minimale Standard-Umgebung oder die Databricks-KI-Umgebung mit vorinstalliertem PyTorch und Transformers. Benutzerdefinierte Docker-Images: Bringen Sie Ihr eigenes Image mit und pushen Sie es in das Artefaktregister. Daten laden und speichern: Daten aus Unity-Katalog-Volumes und -Tabellen streamen. Coding-Agenten: Nutzen Sie Genie Code und Agentenkenntnisse, um GPU-Workloads zu schreiben, einzureichen und zu debuggen.
Überwachen und bereitstellen	Verfolge Läufe, Protokolle und Metriken: Verfolge Experimente mit MLflow, schau dir Logs an und überwache die GPU-Auslastung. Planen Sie GPU-Workloads: Deployen Sie mit Declarative Automation Bundles und erstellen Sie Multitask-GPU- und CPU-Jobs. Wandeln Sie eine Workload in ein Bundle um: Machen Sie eine Workload-YAML in einen Declarative Automation Bundles-Job um. Bundle-Aufgaben konfigurieren: Code paketieren, GPU-Berechnung auswählen und die Konfiguration an die Aufgaben weitergeben.

Anforderungen

Bevor Sie beginnen, bestätigen Sie, dass Ihr Arbeitsplatz folgende Anforderungen erfüllt:

• Überprüfen Sie die KI-Laufzeit-Verfügbarkeit nach Geo für unterstützte Geos und Anforderungen an die Cross-Geo-Verarbeitung. Die GPU-Verfügbarkeit variiert je nach Arbeitsbereich.
• Wenn Ihr Arbeitsbereich das Compliance-Sicherheitsprofil aktiviert hat, muss ein Arbeitsbereichsadministrator die AI Runtime- und AI Runtime multi-node H100-Vorschauen aktivieren. Siehe Vorschauen von Databricks verwalten. Details zur Standard-Aktivierung für diese Arbeitsbereiche finden Sie in der Vorabbenachrichtigung.

Limitations

Behalte beim Planen eines KI-Laufzeit-Workloads folgende Einschränkungen im Hinterkopf:

• AI-Runtime unterstützt nur die A10- und H100-Beschleuniger.

• AI Runtime unterstützt das Compliance-Sicherheitsprofil weder für den Standard FedRAMP High noch für DoD IL5.
• Das Hinzufügen von Abhängigkeiten mithilfe des Bereichs "Umgebungen " wird für geplante KI-Runtime-Aufträge nicht unterstützt. Installieren Sie Abhängigkeiten stattdessen programmgesteuert mit %pip install in Ihrem Notizbuch.
• Bei geplanten Aufgaben in AI Runtime wird das Verhalten der automatischen Wiederherstellung für inkompatible Paketversionen, die Ihrem Notebook zugeordnet sind, nicht unterstützt.
• KI-Laufzeit-Verbindungsversuche beenden nach 15 Minuten für interaktive Notizbücher und nach 24 Stunden für Notebook-Jobs oder CLI-Jobs. Verbundene Notebooksitzungen und Notebook-Jobs können bis zu zwei Tage ausgeführt werden, und CLI-Jobs können bis zu 14 Tage ausgeführt werden. Für lang andauernde Trainingsläufe für Modelle implementieren Sie Checkpointing und starten Sie den Trainingslauf neu, wenn die maximale Laufzeit erreicht ist. Siehe Checkpoint mit verteiltem Checkpoint (DCP).
• Das Ausführen eines geplanten Jobs, der eine Workspace-Basisumgebung nutzt, einschließlich der Databricks-KI-Umgebung, befindet sich in der Beta-Phase. Ein Workspaceadministrator muss die Vorschau „Unterstützung für serverlose Workspace-Basisumgebungen in Jobs“ aktivieren. Siehe Manage Azure Databricks Previews.
• KI-Runtime bietet On-Demand-Zugriff auf GPU-Ressourcen. Dies führt zwar zu einem einfachen, flexiblen Zugriff auf GPUs, aber es kann Zeiträume geben, in denen die Kapazität eingeschränkt oder in Ihrer Region nicht verfügbar ist.
• KI-Runtime nutzt regionsübergreifende GPUs in bestimmten Fällen bei hoher Nachfrage. Bei einer solchen Nutzung können Kosten für ausgehenden Datenverkehr anfallen, und die regionsübergreifende Netzwerkkonnektivität kann zu bestimmten Zeiten eingeschränkt sein.

Guides

• Warum AI Runtime statt klassischem Compute verwenden: Vergleichen Sie AI Runtime mit klassischem Compute und Databricks Runtime ML.
• Anleitungen für AI Runtime: Verfolgen Sie Nutzung und Kosten und beheben Sie häufige Fehler.
• Klassische GPU-Workloads zu Serverless migrieren: Verschieben Sie eine Deep Learning-Workload von einem klassischen Cluster in AI Runtime.
• Von Slurm migrieren: Ordnen Sie Slurm-Batchskripts, -Startprogramme und freigegebenen Speicher der Databricks-CLI zu.
• Verbessern Sie die Trainingsleistung und -resilienz auf AI Runtime: Beschleunigen Sie das Training und machen langlaufende Jobs ausfallsicher.