Training von KI- und ML-Modellen

Azure Databricks bietet flexible Computelösungen, die auf unterschiedliche Machine Learning-Anforderungen zugeschnitten sind, von verwalteten Clusterlaufzeiten bis hin zu vollständig serverlosen GPU-Umgebungen.

Compute	Beschreibung
Serverlose GPU-Berechnung	Serverlose GPU-Computeumgebung, die für benutzerdefinierte Single-Node- und Multi-Node Deep Learning-Workloads optimiert ist.
Databricks Runtime für Maschinelles Lernen	Klassische Computeumgebung mit vordefinierten Bibliotheken für klassische Machine Learning- und Deep Learning-Workloads.

Serverless-Compute auf GPU-Basis (Beta)

Von Bedeutung

Dieses Feature befindet sich in der Betaversion. Arbeitsbereichsadministratoren können den Zugriff auf dieses Feature über die Vorschauseite steuern. Siehe Verwalten von Azure Databricks-Vorschauen.

Serverless GPU Compute ist ein spezielles Angebot innerhalb des Databricks Serverless-Ökosystems. Es ist für benutzerdefinierte Single-Node- und Multi-Node Deep Learning-Workloads optimiert, z. B. Feinabstimmung von LLMs oder Schulungscomputer-Vision-Modellen.

Hauptfeatures sind:

• Sofortige Verfügbarkeit: Entfernt die Notwendigkeit, die zugrunde liegende Clusterinfrastruktur zu verwalten, sodass Sie ein Notizbuch direkt mit serverlosen GPU-Ressourcen verbinden können.
• Hochleistungshardware: Bietet Zugriff auf A10-GPUs für kostengünstige Aufgaben.
• Verwaltete Umgebungen: Bietet eine Standardbasisumgebung für vollständige Anpassungen oder eine KI-Umgebung, die mit allgemeinen ML-Paketen wie Transformatoren und Ray vorinstalliert ist.
• Flexible Skalierung: Unterstützt verteilte Schulungen über mehrere GPUs und Knoten hinweg.

Databricks Runtime für Machine Learning

Databricks Runtime for Machine Learning ist eine spezielle Laufzeit, die die Erstellung von Computeressourcen mit vordefinierter Infrastruktur automatisiert. Es wurde für Benutzer entwickelt, die eine umfassende, einsatzbereite Umgebung sowohl für klassisches maschinelles Lernen als auch für Deep Learning wünschen.

Hauptfeatures sind:

• Vorinstallierte Bibliotheken: Umfasst beliebte Bibliotheken wie PyTorch, TensorFlow und XGBoost, die häufige Updates und optimierte Unterstützung erhalten.
• Compute-Vielseitigkeit: Unterstützt sowohl CPU- als auch GPU-basierte Instanztypen, einschließlich AWS Graviton für eine verbesserte Preis-zu-Leistung.
• Optimierung: Bietet Integration mit Photon, um Spark SQL, DataFrames und Feature Engineering-Aufgaben zu beschleunigen.
• Zugriffssteuerung: Erfordert dedizierten Zugriffsmodus für den sicheren Datenzugriff über Den Unity-Katalog.