Databricks Runtime für Machine Learning

Mit Databricks Runtime für Machine Learning (Databricks Runtime ML) wird die Erstellung eines Clusters für das maschinelle Lernen optimiert. Databricks Runtime ML-Cluster enthalten die beliebtesten Machine Learning-Bibliotheken, z. B. TensorFlow, PyTorch, Keras und XGBoost, sowie die erforderlichen Bibliotheken für das verteilte Training, z. B. Horovod. Durch die Verwendung von Databricks Runtime ML wird die Clustererstellung beschleunigt und sichergestellt, dass die installierten Bibliotheksversionen kompatibel sind.

Vollständige Informationen zur Verwendung von Azure Databricks für maschinelles Lernen und Deep Learning finden Sie im Databricks Machine Learning-Leitfaden.

Informationen zum Inhalt der einzelnen Databricks Runtime ML-Versionen finden Sie in den Versionshinweisen.

Databricks Runtime ML basiert auf Databricks Runtime. Databricks Runtime 7.3 LTS für Machine Learning basiert beispielsweise auf Databricks Runtime 7.3 LTS. Die in der Basisversion von Databricks Runtime enthaltenen Bibliotheken sind in den Databricks Runtime Versionshinweisen aufgeführt.

Einführung in Databricks Runtime für Machine Learning

Dieses Tutorial wendet sich an neue Benutzer von Databricks Runtime ML. Es dauert etwa 10 Minuten und enthält ein vollständiges End-to-End-Beispiel für das Laden von Tabellendaten, das Trainieren eines Modells, das Optimieren verteilter Hyperparameter und die Modellinferenz. Darüber hinaus wird die Verwendung der MLflow-API und der MLflow-Modellregistrierung veranschaulicht.

Notebook für das Databricks-Tutorial

Notebook abrufen

In Databricks Runtime ML enthaltene Bibliotheken

Databricks Runtime ML enthält eine Vielzahl von gängigen ML-Bibliotheken. Bei jedem Release werden die Bibliotheken mit neuen Features und Fixes aktualisiert.

Eine Teilmenge der unterstützten Bibliotheken wurde von Azure Databricks als Bibliotheken der obersten Ebene festgelegt. Für diese Bibliotheken bietet Azure Databricks einen schnelleren Aktualisierungsrhythmus, bei dem mit jeder Runtime-Version auf die aktuellen Paketversionen aktualisiert wird (sofern es keine Abhängigkeitskonflikte gibt). Azure Databricks bietet außerdem erweiterte Unterstützung, Tests und eingebettete Optimierungen für Bibliotheken der obersten Ebene.

Eine vollständige Liste der Bibliotheken der obersten Ebene und anderer bereitgestellter Bibliotheken finden Sie in den folgenden Artikeln für jede verfügbare Runtime:

Verwenden von Databricks Runtime ML

Zusätzlich zu den vorinstallierten Bibliotheken unterscheidet sich Databricks Runtime ML von Databricks Runtime in der Clusterkonfiguration und der Verwaltung von Python-Paketen.

Erstellen eines Clusters mit Databricks Runtime ML

Wenn Sie einen Cluster erstellen, wählen Sie im Dropdownmenü für die Databricks Runtime-Version eine Version von Databricks Runtime ML aus. Es sind CPU- und GPU-fähige ML-Runtimes verfügbar.

Auswählen der Databricks Runtime ML

Wenn Sie eine GPU-fähige ML-Runtime auswählen, werden Sie aufgefordert, einen kompatiblen Treibertyp und Workertyp auszuwählen. Inkompatible Instanztypen sind in den Dropdownlisten ausgegraut. GPU-fähige Instanztypen werden unter der Bezeichnung GPU-beschleunigt aufgeführt.

Wichtig

  • Bibliotheken in Ihrem Arbeitsbereich, die automatisch in allen Clustern installiert werden, können mit den in Databricks Runtime ML enthaltenen Bibliotheken in Konflikt stehen. Bevor Sie einen Cluster mit Databricks Runtime ML erstellen, deaktivieren Sie das Kontrollkästchen Automatisch auf allen Clustern installieren für in Konflikt stehende Bibliotheken. In den Versionshinweisen finden Sie eine Liste der Bibliotheken, die in jeder Version von Databricks Runtime ML enthalten sind.
  • Um in Unity Catalog auf Daten für Machine Learning-Workflows zuzugreifen, müssen Sie einen Einzelbenutzercluster verwenden. Cluster mit Benutzerisolation sind nicht mit Databricks Runtime ML kompatibel.

Verwalten von Python-Paketen

In Databricks Runtime ML 9.0 und höher wird zum Installieren der Python-Pakete der virtualenv-Paket-Manager verwendet. Alle Python-Pakete werden in einer einzigen Umgebung installiert: /databricks/python3.

In Databricks Runtime 8.4 ML und niedrigeren Versionen wird zum Installieren von Python-Paketen der Conda-Paket-Manager verwendet. Alle Python-Pakete werden in einer einzigen Umgebung installiert: /databricks/python2 in Clustern mit Python 2 und /databricks/python3 in Clustern mit Python 3. Das Wechseln (oder Aktivieren) von Conda-Umgebungen wird nicht unterstützt.

Informationen zum Verwalten von Python-Bibliotheken finden Sie unter Bibliotheken.

Support für automatisiertes maschinelles Lernen

Databricks Runtime ML enthält Tools, mit deren Hilfe Sie den Modellentwicklungsprozess automatisieren und das Modell mit der besten Leistung effizient finden können.

  • AutoML erstellt automatisch eine Reihe von Modellen und erstellt ein Python-Notebook mit dem Quellcode für jede Ausführung, damit Sie den Code überprüfen, reproduzieren und ändern können.
  • Managed MLFlow verwaltet den End-to-End-Modelllebenszyklus, einschließlich der Nachverfolgung experimenteller Läufe, der Bereitstellung und Freigabe von Modellen und der Verwaltung einer zentralisierten Modellregistrierung.
  • Hyperopt, erweitert um die SparkTrials-Klasse, automatisiert und verteilt die ML-Modellparameteroptimierung

Einschränkungen

Databricks Runtime ML wird nicht unterstützt unter: