KI-Runtime

AI Runtime ist ein vollständig verwaltetes, serverloses GPU-Compute-Angebot bei Databricks für Ihr Training, Feinabstimmung und breitere Deep-Learning-Workloads.

• Serverless GPUs: On-Demand A10s und H100s, zugänglich über die Databricks-CLI, Notebooks, Jobs und Ray.
• Verwaltete Umgebungen: vorgefertigte Umgebungen und Datenloader, bereit für Training und Feinabstimmung, oder bringen Sie Ihren eigenen Docker-Container mit.
• Integrierte Observability: Experimentverfolgung über MLflow, Logging und Debugging-Agenten.
• Orchestrierung: Plane deine GPU-Workloads und nutze sie in CI/CD-Pipelines.

Get started

Lerne AI Runtime kennen und führe deinen ersten Workload aus.

Get started	Description
🚀 Quickstart	Führe dein erstes Workload auf AI Runtime von deinem Terminal aus.
🧭 Überblick	Erfahren Sie die wichtigsten Aspekte von AI Runtime: welche GPUs verfügbar sind, wie sie funktionieren und welche Einschränkungen es gibt.
💡 Beispiele	Durchstöbere Notebook-Tutorials und laufbare Databricks CLI-Rezepte, organisiert nach Aufgaben.

Mit GPUs verbinden

Zugriff auf GPUs über die Databricks-CLI, Notebooks, Jobs oder über Ray.

Feature	Description
Databricks-CLI	Reiche verteilte GPU-Trainingsaufträge von deinem Laptop aus ein und verwalte sie mit YAML-Job-Konfigurationen.
Notebooks	Hänge ein Notebook an AI Runtime an und entwickle interaktiv, ohne Cluster-Setup.
Arbeitsplätze	Planen Sie eine GPU-Workload auf AI Runtime als wiederkehrenden Job und orchestrieren Sie sie mit Upstream- und Downstream-Aufgaben.
Ray	Führe Ray Core, Ray Data, Ray Train und Ray Tune in der AI Runtime aus.

Workloads erstellen

Laden Sie Daten effizient, konfigurieren Sie Ihre Umgebung, und entwickeln Sie Workloads mit Coding-Agents.

Feature	Description
Daten in GPUs laden	Streamen Sie Daten aus Unity Catalog-Volumes mit fehlertoleranten Loadern, die auf eine hohe Auslastung der GPU ausgelegt sind.
Vorgefertigte Umgebungen	Beginnen Sie mit einer minimalen Standardumgebung oder einer Databricks-KI-Umgebung, die mit ML-Frameworks vorinstalliert ist.
Benutzerdefinierte Docker-Images	Bringen Sie Ihr eigenes Docker-Image mit, wenn Ihre Arbeitslast benutzerdefinierte Systembibliotheken oder Abhängigkeiten benötigt.
Coding-Agents	Nutze Genie Code und die databricks-ai-runtime Agent-Fähigkeit, um GPU-Workloads zu erstellen, einzureichen und zu verwalten.

Überwachen, debuggen und bereitstellen

Verfolgen Sie Experimente, überprüfen Sie Protokolle, diagnostizieren Sie Fehler und planen Sie Produktions-Workloads.

Feature	Description
MLflow zum Debuggen	Verfolge Experimente, Metriken und Durchläufe mit MLflow.
Anzeigen von Protokollen	Sieh dir die Trainingsausgabe an, überwache den GPU-Ressourcenverbrauch, während dein Code läuft, und debugge mit Genie Code.
Arbeitslasten planen	Bereitstellen Sie Trainingscode mit Declarative Automation Bundles ein, planen Sie Läufe und erstellen Sie Multitask-GPU- und CPU-Workflows.
Trainierte Modelle bereitstellen	Stellen Sie Modelle, die in AI Runtime trainiert wurden, in der Modellbereitstellung bereit.

Guides

Entdecken Sie Migrationsleitfäden, Tutorials und technische Ressourcen für AI Runtime.

Resource	Description
Warum AI Runtime verwenden	Vergleichen Sie AI Runtime mit klassischem Compute und Databricks Runtime ML hinsichtlich Kosten, Entwicklererfahrung und Skalierbarkeit.
Von Slurm migrieren	Mappe deine Slurm-Batch-Skripte, verteilten Launcher und gemeinsamen Speicher auf die Databricks-CLI.
Migrierung klassischer GPU-Workloads	Übertragen Sie eine bestehende Deep-Learning-Workload von einem klassischen Databricks-Cluster auf KI-Laufzeit.
Optimieren Sie die Leistung Ihrer Workloads	Verbessern Sie den Ausbildungsdurchsatz und machen langfristige Arbeitsplätze widerstandsfähiger gegenüber Misserfolgen.