KI und Machine Learning in Databricks
In diesem Artikel werden die Tools beschrieben, die Azure Databricks bereitstellt, um Sie beim Erstellen und Überwachen von KI- und ML-Workflows zu unterstützen. Das Diagramm zeigt, wie diese Komponenten zusammenarbeiten, um Sie bei der Implementierung Ihres Modellentwicklungs- und Modellbereitstellungsprozesses zu unterstützen.
Was spricht für die Verwendung von Databricks für Machine Learning und Deep Learning?
Mit Azure Databricks können Sie den vollständigen ML-Lebenszyklus auf einer einzigen Plattform mit End-to-End-Governance in der gesamten ML-Pipeline implementieren. Azure Databricks enthält die folgenden integrierten Tools zur Unterstützung von ML-Workflows:
- Unity Catalog für Governance, Ermittlung, Versionsverwaltung und Zugriffssteuerung für Daten, Features, Modelle und Funktionen.
- Lakehouse Monitoring für die Datenüberwachung.
- Feature Engineering und Featurebereitstellung.
- Unterstützung für den Modelllebenszyklus:
- Databricks AutoML für automatisiertes Modelltraining.
- MLflow für die Nachverfolgung der Modellentwicklung.
- Unity Catalog für die Modellverwaltung.
- Modellbereitstellung mit Databricks für hochverfügbare Modelle mit geringer Latenz. Dazu gehören die Bereitstellung von LLMs mithilfe von:
- Foundation Model-APIs: ermöglichen Ihnen, über einen Dienstendpunkt auf aktuelle und moderne offene Modelle zuzugreifen und diese abzufragen.
- Externe Modelle: ermöglichen Ihnen den Zugriff auf Modelle, die außerhalb von Databricks gehostet werden.
- Lakehouse Monitoring für die Nachverfolgung der Modellvorhersagequalität und -drift.
- Databricks-Workflows für automatisierte Workflows und produktionsbereite ETL-Pipelines.
- Databricks-Git-Ordner für Codeverwaltung und Git-Integration
Deep Learning in Databricks
Das Konfigurieren der Infrastruktur für Deep Learning-Anwendungen kann schwierig sein.
Databricks Runtime für Machine Learning kümmert sich darum, mit Clustern, die integrierte kompatible Versionen der gängigsten Deep Learning-Bibliotheken wie TensorFlow, PyTorch und Keras haben und Bibliotheken wie Petastorm, Hyperopt und Horovod unterstützen. Databricks Runtime ML-Cluster umfassen auch die vorab konfigurierte GPU-Unterstützung mit Treibern und unterstützenden Bibliotheken. Es unterstützt auch Bibliotheken wie Ray zum Parallelisieren der Computeverarbeitung für die Skalierung von ML-Workflows und KI-Anwendungen.
Databricks Runtime ML-Cluster umfassen auch die vorab konfigurierte GPU-Unterstützung mit Treibern und unterstützenden Bibliotheken. Databricks Model Serving ermöglicht die Erstellung skalierbarer GPU-Endpunkte für Deep Learning-Modelle ohne zusätzliche Konfiguration.
Für Machine Learning-Anwendungen wird die Verwendung eines Clusters empfohlen, in dem Databricks Runtime für Machine Learning ausgeführt wird. Siehe Erstellen eines Clusters mithilfe von Databricks Runtime ML.
Informationen zu den ersten Schritten mit Deep Learning in Databricks finden Sie unter:
- Bewährte Methoden für Deep Learning in Azure Databricks
- Deep Learning in Databricks
- Referenzlösungen für Deep Learning
Große Sprachmodelle (Large language Models, LLMs) und generative KI in Databricks
Databricks Runtime für Machine Learning enthält Bibliotheken wie Hugging Face Transformers und LangChain, die es Ihnen ermöglichen, vorhandene vorab trainierte Modelle oder andere Open-Source-Bibliotheken in Ihre Workflows zu integrieren. Die Databricks MLflow-Integration erleichtert die Verwendung des MLflow-Nachverfolgungsdiensts mit Transformatorpipelines, Modellen und Verarbeitungskomponenten. Darüber hinaus können Sie OpenAI-Modelle oder Lösungen von Partner*innen wie John Snow Labs in Ihre Azure Databricks-Workflows integrieren.
Mit Azure Databricks können Sie eine LLM für Ihre Daten für Ihre spezifische Aufgabe anpassen. Mit Unterstützung von Open-Source-Tools wie Hugging Face und DeepSpeed können Sie effizient ein grundlegendes LLM verwenden und es mit Ihren eigenen Daten trainieren, um seine Genauigkeit für Ihre Domäne und Workload zu verbessern. Anschließend können Sie das benutzerdefinierte LLM in Ihren generativen KI-Anwendungen nutzen.
Darüber hinaus stellt Databricks Foundation Model-APIs und externe Modelle zur Verfügung, die den Zugriff auf moderne offene Modelle und deren Abfrage über einen Dienstendpunkt ermöglichen. Mit Foundation Model-APIs können Entwickler schnell und einfach Anwendungen erstellen, die ein qualitativ hochwertiges generatives KI-Modell nutzen, ohne ihre eigene Modellimplementierung aufrechtzuerhalten.
Für SQL-Anwender bietet Databricks KI-Funktionen, mit denen SQL-Datenanalysten direkt innerhalb ihrer Datenpipelines und Workflows auf LLM-Modelle, auch von OpenAI, zugreifen können. Weitere Informationen finden Sie unter KI-Funktionen in Azure Databricks.
Databricks Runtime für Machine Learning
Databricks Runtime für Machine Learning (Databricks Runtime ML) automatisiert die Erstellung eines Clusters mit vordefiniertem maschinellem Lernen und Deep Learning-Infrastruktur, einschließlich der häufigsten ML- und DL-Bibliotheken. In den Versionshinweisen finden Sie eine vollständige Liste der Bibliotheken in jeder Version von Databricks Runtime ML.
Um in Unity Catalog auf Daten für Workflows zum maschinellen Lernen zuzugreifen, muss der Zugriffsmodus für den Cluster auf Einzelbenutzer (zugewiesen) eingestellt sein. Geteite Cluster sind nicht mit Databricks Runtime für Machine Learning kompatibel. Darüber hinaus wird Databricks Runtime ML nicht für TableACLs-Cluster oder Cluster unterstützt, für die spark.databricks.pyspark.enableProcessIsolation config auf true festgelegt ist.
Erstellen eines Clusters mithilfe von Databricks Runtime ML
Wenn Sie einen Cluster erstellen, wählen Sie im Dropdownmenü für die Databricks Runtime-Version eine Version von Databricks Runtime ML aus. Es sind CPU- und GPU-fähige ML-Runtimes verfügbar.
Wenn Sie im Notebook im Dropdownmenü einen Cluster auswählen, wird die Databricks Runtime-Version rechts neben dem Clusternamen angezeigt:
Wenn Sie eine GPU-fähige ML-Runtime auswählen, werden Sie aufgefordert, einen kompatiblen Treibertyp und Workertyp auszuwählen. Inkompatible Instanztypen sind in den Dropdownlisten ausgegraut. GPU-fähige Instanztypen werden unter der Bezeichnung GPU-beschleunigt aufgeführt.
Hinweis
Um in Unity Catalog auf Daten für Workflows zum maschinellen Lernen zuzugreifen, muss der Zugriffsmodus für den Cluster auf Einzelbenutzer (zugewiesen) eingestellt sein. Geteite Cluster sind nicht mit Databricks Runtime für Machine Learning kompatibel.
In Databricks Runtime ML enthaltene Bibliotheken
Databricks Runtime ML enthält eine Vielzahl von gängigen ML-Bibliotheken. Bei jedem Release werden die Bibliotheken mit neuen Features und Fixes aktualisiert.
Eine Teilmenge der unterstützten Bibliotheken wurde von Databricks als Bibliotheken der obersten Ebene festgelegt. Für diese Bibliotheken bietet Databricks einen schnelleren Aktualisierungsrhythmus, bei dem mit jeder Runtime-Version auf die aktuellen Paketversionen aktualisiert wird (sofern es keine Abhängigkeitskonflikte gibt). Databricks bietet außerdem erweiterte Unterstützung, Tests und eingebettete Optimierungen für Bibliotheken der obersten Ebene.
Eine vollständige Liste der Bibliotheken der obersten Ebene und anderer bereitgestellter Bibliotheken finden Sie in den Versionshinweisen für Databricks Runtime ML.
Nächste Schritte
Informationen zu den ersten Schritten finden Sie unter:
Einen empfohlenen MLOps-Workflow für Databricks Machine Learning finden Sie unter:
Weitere Informationen zu den wichtigsten Features von Databricks Machine Learning finden Sie unter: