KI-Runtime

Von Bedeutung

Dieses Feature befindet sich in der Public Preview.

AI Runtime ist ein serverloses GPU-Rechenangebot bei Databricks, das für Deep-Learning-Workloads gedacht ist. Sie können KI-Runtime verwenden, um benutzerdefinierte Modelle mit Ihren bevorzugten Frameworks zu trainieren und zu optimieren und modernste Effizienz, Leistung und Qualität zu erzielen.

Get started

Führen Sie Ihre erste Arbeitslast in wenigen Minuten mit unseren Quickstart-Leitfäden aus.

Get started	Description
🚀 CLI-Schnellstart	Kommst du von einem Slurm- oder Kubernetes-Cluster? Trainieren Sie in wenigen Minuten auf AI Runtime von Ihrem Terminal.
📓 Notebook-Schnellstart	Schließen Sie Ihr Notizbuch in Sekunden an eine GPU an und entwickeln Sie interaktiv...
⚡ Ray	Kommst du von einem Strahlencluster? Führe Ray auf AI Runtime mit Dashboard-Unterstützung aus.
🧭 Überblick	Lerne die wichtigsten Dinge über AI Runtime in zwei Minuten: verfügbare GPUs, wie sie funktionieren und Einschränkungen.

Features

AI Runtime ist eine Full-Stack-GPU-Plattform mit vielen Möglichkeiten, sich mit GPUs zu verbinden, integrierten Observabilitäts- und Debugging-Tools sowie vorgefertigten Umgebungen.

Verbinden Sie sich mit serverlosen GPUs: Erreichen Sie serverlose GPUs von Ihrem Arbeitsplatz aus.

Feature	Description
Notebooks	Schließen Sie ein Notebook an serverlose GPU-Compute an und entwickeln Sie interaktiv, ohne Cluster-Setup.
IDE über SSH	Verbinde dich von deiner IDE oder deinem Terminal über einen SSH-Tunnel, um direkt auf einem GPU-Node zu arbeiten.
KI-Runtime-CLI	Reiche verteilte GPU-Trainingsaufträge von deinem Laptop aus ein und verwalte sie mit YAML-Job-Konfigurationen.
Ray	Führe Ray Core, Ray Data, Ray Train und Ray Tune auf serverloser GPU-Berechnung aus.

Verwaltung von Abhängigkeiten: Kontrolliere die Python- und Systembibliotheken, mit denen deine Arbeitslast läuft.

Feature	Description
Vorgefertigte Umgebungen	Beginnen Sie mit einer minimalen Standardumgebung oder einer Databricks-KI-Umgebung, die mit ML-Frameworks vorinstalliert ist.
Docker-Unterstützung	Bring dein eigenes Container-Image mit, um Workloads mit einem benutzerdefinierten Abhängigkeitsstack auszuführen.

Daten in GPUs laden: Versorgen Sie Ihre GPUs effizient mit Trainingsdaten.

Feature	Description
Effiziente Datenlader	Streamen Sie Daten aus Unity Catalog-Volumes mit fehlertoleranten Loadern, die auf eine hohe Auslastung der GPU ausgelegt sind.

Debugging und Observabilität: Experimente verfolgen, Ausgaben inspizieren und Fehler diagnostizieren.

Feature	Description
MLflow für Deep Learning	Verfolgen Sie Experimente, Metriken und Läufe mit MLflow und speichern Sie Modell-Checkpoints in Unity-Catalog-Volumes.
Logs-Viewer	Sehen Sie sich die Trainingsausgabe an und überwachen Sie den GPU-Ressourcenverbrauch, während Ihr Code läuft.
Debugging mit Agenten	Verwenden Sie Genie Code, um Trainingscode zu generieren, Umweltprobleme zu beheben und GPU-Fehler zu debuggen.

Planung und Echtzeit-Serving: Wechsel von interaktiver Entwicklung zu geplanten Jobs und Endpunkten.

Feature	Description
Produktivisiere deine Jobs	Bereitstellen Sie Trainingscode mit Declarative Automation Bundles ein, planen Sie Läufe und erstellen Sie Multitask-GPU- und CPU-Workflows.
Bediene deine Modelle	Stellen Sie Ihre trainierten Modelle hinter einem skalierbaren Endpunkt mit Model Serving bereit.

Examples

Klonen Sie End-to-End-Beispiele und führen Sie sie innerhalb von Minuten auf AI Runtime aus, entweder aus der CLI oder in Notizbüchern.

Example	Description
Ray-Beispiele	Nimm dein bestehendes Ray-Projekt und führe es in wenigen Minuten auf AI Runtime aus.
Trainieren eines tabellarischen Empfehlungsmodells	Trainieren Sie Deep-Learning-Empfehlungsmodelle wie Zwei-Turm-Architekturen.
Computervision	Objekterkennung und Bildklassifikations-Workloads auf GPUs.
Klassisches maschinelles Lernen	GPU-beschleunigtes XGBoost, Zeitreihenprognosen und andere klassische ML-Aufgaben.
Feinabstimmung eines OSS LLM	Feinjustieren Sie Open-Source-Modelle großer Sprachen mit LoRA, QLoRA oder vollständiger Feinabstimmung.

Weitere Informationen

Finden Sie hilfreiche Inhalte: die neuesten Produktupdates und wie AI Runtime unter der Haube funktioniert.

Resource	Description
Produktupdates	Sehen Sie die neuesten Produktupdates und Ankündigungen zu AI Runtime.
Wie KI-Runtime im Hintergrund funktioniert	Lesen Sie, wie Databricks GPUs zuverlässig über die gesamte KI-Laufzeit hinweg hält.