KI-Runtime

Von Bedeutung

Dieses Feature befindet sich in der Public Preview.

AI Runtime ist ein serverloses GPU-Rechenangebot bei Databricks, das für Deep-Learning-Workloads gedacht ist. Sie können KI-Runtime verwenden, um benutzerdefinierte Modelle mit Ihren bevorzugten Frameworks zu trainieren und zu optimieren und modernste Effizienz, Leistung und Qualität zu erzielen.

Get started

Führen Sie Ihre erste Arbeitslast in wenigen Minuten mit unseren Quickstart-Leitfäden aus.

Get started	Description
🚀 Databricks CLI Quickstart	Kommst du von einem Slurm- oder Kubernetes-Cluster? Trainieren Sie in wenigen Minuten auf AI Runtime von Ihrem Terminal.
📓 Notebook-Schnellstart	Schließen Sie Ihr Notizbuch innerhalb von Sekunden an eine GPU an und entwickeln Sie interaktiv.
⚡ Ray	Kommst du von einem Strahlencluster? Führe Ray auf AI Runtime mit Dashboard-Unterstützung aus.
🧭 Überblick	Lerne die wichtigsten Dinge über AI Runtime in zwei Minuten: verfügbare GPUs, wie sie funktionieren und Einschränkungen.

Features

AI Runtime ist eine Full-Stack-GPU-Plattform mit vielen Möglichkeiten, sich mit GPUs zu verbinden, integrierten Observabilitäts- und Debugging-Tools sowie vorgefertigten Umgebungen.

Verbinden Sie sich mit serverlosen GPUs: Erreichen Sie serverlose GPUs von Ihrem Arbeitsplatz aus.

Feature	Description
Notebooks	Schließen Sie ein Notebook an serverlose GPU-Compute an und entwickeln Sie interaktiv, ohne Cluster-Setup.
IDE über SSH	Verbinde dich von deiner IDE oder deinem Terminal über einen SSH-Tunnel, um direkt auf einem GPU-Node zu arbeiten.
Databricks-CLI	Reiche verteilte GPU-Trainingsaufträge von deinem Laptop aus ein und verwalte sie mit YAML-Job-Konfigurationen.
KI-Agents	Nutzen Sie die databricks-ai-runtime Agent-Fähigkeit, um GPU-Trainingsaufträge mit Ihrem KI-Agenten einzureichen, zu überwachen und zu verwalten.
Ray	Führe Ray Core, Ray Data, Ray Train und Ray Tune auf serverloser GPU-Berechnung aus.

Verwaltung von Abhängigkeiten: Kontrolliere die Python- und Systembibliotheken, mit denen deine Arbeitslast läuft.

Feature	Description
Vorgefertigte Umgebungen	Beginnen Sie mit einer minimalen Standardumgebung oder einer Databricks-KI-Umgebung, die mit ML-Frameworks vorinstalliert ist.

Daten in GPUs laden: Versorgen Sie Ihre GPUs effizient mit Trainingsdaten.

Feature	Description
Effiziente Datenlader	Streamen Sie Daten aus Unity Catalog-Volumes mit fehlertoleranten Loadern, die auf eine hohe Auslastung der GPU ausgelegt sind.

Debugging und Observabilität: Experimente verfolgen, Ausgaben inspizieren und Fehler diagnostizieren.

Feature	Description
MLflow für Deep Learning	Verfolge Experimente, Metriken und Durchläufe mit MLflow.
Logs-Viewer	Sehen Sie sich die Trainingsausgabe an und überwachen Sie den GPU-Ressourcenverbrauch, während Ihr Code läuft.
Debugging mit Agenten	Verwenden Sie Genie Code, um Trainingscode zu generieren, Umweltprobleme zu beheben und GPU-Fehler zu debuggen.

Planung und Echtzeit-Serving: Wechsel von interaktiver Entwicklung zu geplanten Jobs und Endpunkten.

Feature	Description
GPU-Workloads planen	Bereitstellen Sie Trainingscode mit Declarative Automation Bundles ein, planen Sie Läufe und erstellen Sie Multitask-GPU- und CPU-Workflows.
Bediene deine Modelle	Stellen Sie Ihre trainierten Modelle hinter einem skalierbaren Endpunkt mit Model Serving bereit.

Examples

Klonen Sie End-to-End-Beispiele und führen Sie sie innerhalb von Minuten auf AI Runtime aus, entweder aus der CLI oder in Notizbüchern.

Example	Description
Klassisches maschinelles Lernen	GPU-beschleunigtes XGBoost, Zero-Shot-Tabellenvorhersage und Zeitreihenvorhersagen.
Empfehlungssysteme	Trainieren Sie Deep-Learning-Empfehlungsmodelle wie Zwei-Turm-Architekturen.
Computervision	Objekterkennung und Bildklassifikations-Workloads auf GPUs.
OSS-Modelle (LLMs) nach dem Training	Feinjustieren und nachtrainieren Sie Open-Source-LLMs mit LoRA, vollständigem Feinabstimmung und Bibliotheken wie TRL, Unsloth und Axolotl.
Batch-Ableitung	Führe groß angelegte Batch-Inferenz mit Ray Data und vLLM über mehrere GPUs hinweg durch.
Verteilte Multi-GPU-Schulung	Skalieren Sie das Training über mehrere GPUs und Knoten mit DDP, FSDP und DeepSpeed.

Guides

Aufgabenorientierte Leitfäden zum Migrieren von Workloads zu AI Runtime und zur optimalen Nutzung Ihrer GPUs.

Guide	Description
Von Slurm migrieren	Mappe deine Slurm-Batch-Skripte, verteilten Launcher und gemeinsamen Speicher auf die Databricks-CLI.
Migrierung klassischer GPU-Workloads	Übertragen Sie eine bestehende Deep-Learning-Workload von einem klassischen Databricks-Cluster auf KI-Laufzeit.
Leistung und Widerstandsfähigkeit	Verbessern Sie den Ausbildungsdurchsatz und machen langfristige Arbeitsplätze widerstandsfähiger gegenüber Misserfolgen.

Weitere Ressourcen

Finden Sie hilfreiche Inhalte: die neuesten Produktupdates und wie AI Runtime unter der Haube funktioniert.

Resource	Description
Produktupdates	Sehen Sie die neuesten Produktupdates und Ankündigungen zu AI Runtime.
Wie KI-Runtime im Hintergrund funktioniert	Lesen Sie, wie Databricks GPUs zuverlässig über die gesamte KI-Laufzeit hinweg hält.