Laden von Daten für maschinelles Lernen und Deep Learning
Artikel
Dieser Abschnitt enthält spezifische Informationen zum Laden von Daten für ML- und DL-Anwendungen. Allgemeine Informationen zum Laden von Daten finden Sie unter Erfassen von Daten in einem Databricks-Lakehouse.
Speichern von Dateien für das Laden von Daten und das Setzen von Modellprüfpunkten
Machine Learning-Anwendungen benötigen ggf. freigegebenen Speicher für das Laden von Daten und das Setzen von Modellprüfpunkten. Dies ist insbesondere bei verteiltem Deep Learning wichtig.
Azure Databricks bietet Unity Catalog, eine einheitliche Governance-Lösung für Daten und KI-Ressourcen. Sie können Unity Catalog für den Zugriff auf Daten in einem Cluster mit Spark- und lokalen Datei-APIs verwenden.
Laden von Tabellendaten
Sie können Machine Learning-Tabellendaten aus Tabellen oder Dateien laden (siehe beispielsweise Lesen von CSV-Dateien). Sie können Apache Spark-DataFrames mithilfe der PySpark-MethodetoPandas() in Pandas-DataFrames und anschließend optional mithilfe der PySpark-Methodeto_numpy() in das NumPy-Format konvertieren.
Vorbereiten von Daten zum Optimieren großer Sprachmodelle
Azure Databricks ist eine Plattform im Cloudmaßstab für Datenanalyse und Machine Learning. Data Scientists und Machine Learning-Engineers können Azure Databricks verwenden, um Machine-Learning-Lösungen im großen Stil zu implementieren. (DP-3014)
Verwalten Sie Datenerfassung und -vorbereitung, Modelltraining und -bereitstellung sowie die Überwachung von Machine Learning-Lösungen mit Python, Azure Machine Learning und MLflow.
Sehen Sie sich Beispiele für das Trainieren von Machine Learning- und Deep Learning-Modellen in Azure Databricks mit beliebten Open-Source-Bibliotheken an.
Hier erfahren Sie, wie Sie Machine Learning-Modelle mithilfe von Scikit-learn in Azure Databricks trainieren. Grundlegendes Klassifizierungsmodell Ausführliches ML-Beispiel in Azure Databricks
Dieser Artikel enthält Referenzlösungen und detaillierte Beispiele für die Verwendung von Azure Databricks für gängige Machine Learning-Anwendungen wie Datenbeschriftung und Bildverarbeitung.
Erfahren Sie, wie Sie Machine Learning-Modelle auf einzelnen Knoten mit TensorFlow trainieren und Programme für maschinelles Lernen mit TensorBoard inline debuggen. Ein 10-minütiges Tutorialnotebook zeigt ein Beispiel für das Trainieren von Machine Learning-Modellen für Tabellendaten mit TensorFlow Keras.
Sehen Sie sich Beispiele für das Trainieren von Machine Learning- und Deep Learning-Modellen in Azure Databricks mit beliebten Open-Source-Bibliotheken an.