Warum AI Runtime statt klassischer Rechenressourcen verwenden

AI Runtime ist serverloses GPU-Compute für das Training, die Feinabstimmung und die Ausführung von Batchrückschlüssen für benutzerdefinierte Deep-Learning-Modelle. Wenn du diese Workloads auf klassischer Rechenleistung mit Databricks Runtime ML ausführst, empfiehlt Databricks, sie auf AI Runtime umzustellen, um die Gesamtkosten zu senken, ein flexibleres Entwicklererlebnis und Multinode-Skalierung zu erzielen. Die folgenden Abschnitte vergleichen die beiden für ML-Ingenieure und Plattformteams und beschreiben, wie Genie Code Ihnen bei der Migration helfen kann.

AI Runtime mit klassischem Compute vergleichen

Die folgende Tabelle vergleicht AI Runtime mit Databricks Runtime ML in der klassischen Compute-Umgebung:

Capability KI-Runtime Klassisches Compute mit Databricks Runtime ML
Gesamtkosten Niedrigere TCO durch verwaltete serverlose GPU-Infrastruktur, hohe Durchsatzleistung, optimiertes Datenladen und Spark-Zugriff über Spark Connect. Du zahlst nur für die Rechenleistung, die deine Workloads verbrauchen. Azure Databricks verwaltet Cluster, Treiber und GPU-Gesundheit für Sie. Höhere TCO durch Cluster-Management-Overhead, langsame Startzeiten sowie nicht optimiertes Datenladen und Checkpointing. Sie verwalten die Clusterkonfiguration und den Zustand der GPUs, was die Kosten für die Anschaffung und Wartung von GPU-Clustern erhöht.
Entwicklerumgebung Mit der Databricks-CLI, IDEs und Notebooks entwickeln und bereitstellen. Native Ray-Unterstützung. Wählen Sie eine minimale Standardumgebung für vollständige Kontrolle über Abhängigkeiten, die Databricks-KI-Umgebung mit gängigen KI- und ML-Paketen oder ein benutzerdefiniertes Docker-Image. Entwickle in Notebooks oder verbinde dich von einer IDE über den SSH-Tunnel. Keine dedizierte CLI für GPU-Trainingsworkloads. Ray läuft auf Spark. Eine große Menge vorinstallierter Bibliotheken, die an die Laufzeitversion gekoppelt sind, darunter auch Pakete, die nicht mit KI und ML zusammenhängen.
Skalierung und Leistung Multinode-Training und Batch-Inferenz. Optimiertes Laden von Daten und Erstellen von Prüfpunkten. Hohe GPU-Zuverlässigkeit für lange Trainingsläufe. Nicht für Multinode-Training optimiert, weil du Knoten und Netzwerke selbst konfigurierst. Du optimierst das Laden und Checkpointen der Daten und validierst die GPU-Gesundheit manuell.

Gesamtbetriebskosten

AI Runtime senkt die Gesamtbetriebskosten mit verwalteten, leistungsstarken, serverlosen GPUs:

  • Schnellerer Start: Serverlose GPU-Infrastruktur ist auf Abruf verfügbar, sodass man nicht auf den Start eines GPU-Clusters warten muss. Klassische GPU-Cluster können je nach Clustergröße und GPU-Verfügbarkeit mehrere Minuten oder länger zum Start benötigen.
  • Nutzungsbasierte Bezahlung: Sie zahlen nur für das serverlose GPU-Compute, das Ihre Workloads verwenden, ohne inaktive Cluster zu verwalten oder dafür zu bezahlen.
  • Höhere GPU-Auslastung: Flexible Rechenoptionen, schnelles Datenladen, effiziente Checkpoints und Multinode-Training reduzieren die GPU-Leerlaufzeit.
  • Reduzierter Verwaltungsaufwand: AI Runtime übernimmt die Bereitstellung von Rechenressourcen, die Clustervernetzung, die Überwachung des GPU-Zustands und die Aktualisierung der CUDA-Treiber. Mit klassischen Rechenressourcen übernimmt Ihr Team die Knotenadministration, die Clusterkonfiguration und die laufende Wartung der Infrastruktur.

Entwicklerumgebung

AI Runtime bietet eine flexible Entwicklungsumgebung für KI- und Deep-Learning-Workloads:

  • Konnektivität: Arbeiten Sie in Notebooks, stellen Sie aus einer IDE heraus über einen SSH-Tunnel (Beta) eine Verbindung her oder übermitteln Sie Workloads mit der Databricks-CLI. Um Läufe zu automatisieren, können Sie Jobs planen oder Declarative Automation Bundles verwenden. Classic Compute verfügt über keine dedizierte CLI zum Übermitteln von GPU-Trainings-Workloads.
  • Dedizierte Deep-Learning-Laufzeit: AI Runtime unterstützt nativ Frameworks wie Ray und PyTorch. Wählen Sie die Standardumgebung für die volle Kontrolle über Ihren Abhängigkeitsstack, die Databricks-KI-Umgebung mit gängigen KI- und ML-Paketen oder ein benutzerdefiniertes Docker-Image. Klassische Laufzeiten enthalten eine umfangreiche Sammlung vorinstallierter Bibliotheken, die an die Laufzeitversion gebunden sind.
  • Debugging und Beobachtbarkeit: Verfolgen Sie Experimente, überwachen Sie die Rechenauslastung, verwalten Sie Modelle und beheben Sie Probleme mit der integrierten MLflow-Integration. Bei klassischer Berechnung werden Logs und Compute-Nutzungsmetriken nicht automatisch im MLflow-Run gespeichert.
  • Sicherer Datenzugriff: Zugriff auf strukturierte und unstrukturierte Daten, die durch den Unity Catalog über Spark Connect gesteuert werden, ohne einen Apache-Spark-Cluster zu betreiben.

Skalierung und Leistung

AI Runtime hilft Ihnen, Deep-Learning-Workloads effizient zu skalieren:

  • Optimiertes Datenladen und Checkpointing: Hochdurchsatz-Datenladen und asynchrones verteiltes Checkpointing beschleunigen Trainingspipelines und minimieren die Leerlaufzeit der GPU. Klassischem Compute fehlen native Datenladeprogramme mit hohem Durchsatz und verteilte Prüfpunkterstellung. Siehe Trainingsleistung und Resilienz in AI Runtime verbessern.
  • Eingebaute GPU-Resilienz: Kontinuierliche automatisierte Gesundheitschecks helfen, fehlerhafte GPU-Knoten zu erkennen und zu isolieren, was Störungen bei langen Trainingsläufen reduziert. Mit klassischem Compute überwachst du den Zustand der GPU-Knoten selbst, und das Isolieren eines defekten Knotens erfordert das Unterbrechen aktiver Workloads. Sehen Sie im Databricks Engineering Blog Wie wir GPUs in Databricks AI zuverlässig betreiben.
  • Multinode-Training: Skalieren Sie von einer einzelnen GPU auf verteiltes Multinode-Training mit Hochgeschwindigkeitsnetzwerken und automatischer Umgebungskonfiguration. Informationen zu den Beschleunigern, die das Training mit mehreren Knoten unterstützen, finden Sie unter Hardwareoptionen.
  • Benutzerdefinierte Batch-Inferenz: Führen Sie umfangreiche benutzerdefinierte Batch-Inferenz auf verteilten GPUs durch, ohne GPU-Cluster verwalten zu müssen.

Von Classic Compute mit Genie Code migrieren

Genie Code kann dabei helfen, Code-Refactoring und das Einrichten der Umgebung in Notebooks zu automatisieren, die mit AI Runtime verbunden sind, wenn Sie eine Workload von Classic Compute migrieren. Die vollständige Liste der Migrationsschritte finden Sie unter Klassische GPU-Workloads zu serverlosen Workloads migrieren.

Was Genie Code automatisiert

Genie Code kann bei den folgenden Migrationsaufgaben helfen:

  • Refactoring: Konvertiert Databricks Runtime ML-Notebooks, z. B. Notebooks, die TorchDistributor verwenden, in AI Runtime-Notebooks, die den @distributed-Decorator von databricks.air verwenden.
  • Abhängigkeitsauflösung: Wertet Notebook-Importe aus, identifiziert fehlende oder inkompatible Pakete und konfiguriert eine serverlose GPU-Umgebung.
  • Fehlerdiagnose mit mehreren Rängen: Analysiert Ausgabeprotokolle über alle Knoten hinweg, um Grundursachen wie GPU-OOM-Fehler (Out-of-Memory) oder Kommunikationshänger zu isolieren.

Beispiele für Genie-Code-Migrationseingabeaufforderungen

Im Folgenden sind Beispiel-Prompts, die du Genie Code geben kannst:

  • Code-Umwandlung: "Migrieren Sie dieses Notizbuch von TorchDistributor zum databricks.air @distributed Dekorator."
  • Umgebungseinrichtung: "Inspizieren Sie importierte Pakete, empfehlen Sie entweder die Databricks-KI oder die Standardumgebung und generieren Sie die erforderlichen %pip Installationsbefehle."
  • Debugging: "Analysiere die verteilten Trainings-Logs aller Ränge, um festzustellen, warum der Job fehlgeschlagen ist."

Weitere Ressourcen

  • Zuletzt aktualisiert um