Einführung von Spark Machine Learning auf SQL Server-Big Data-Cluster

Gilt für: SQL Server 2019 (15.x)

Wichtig

Das Microsoft SQL Server 2019-Big Data-Cluster-Add-On wird eingestellt. Der Support für SQL Server 2019-Big Data-Clusters endet am 28. Februar 2025. Alle vorhandenen Benutzer*innen von SQL Server 2019 mit Software Assurance werden auf der Plattform vollständig unterstützt, und die Software wird bis zu diesem Zeitpunkt weiterhin über kumulative SQL Server-Updates verwaltet. Weitere Informationen finden Sie im Ankündigungsblogbeitrag und unter Big Data-Optionen auf der Microsoft SQL Server-Plattform.

In diesem Artikel wird erläutert, wie Sie Spark effektiv für Machine Learning auf Big Data-Cluster für SQL Server verwenden.

Spark Machine Learning Services in SQL Server-Big Data-Clustern

SQL Server-Big Data-Cluster ermöglicht Machine Learning-Szenarios und -Lösungen mithilfe verschiedener Technologiestapel: SQL Server Machine Learning Services und Apache Spark ML.

Um besser zu verstehen, wann die einzelnen Technologiestapel verwendet werden sollten, lesen Sie den Machine Learning Leitfaden für SQL Server-Big Data-Cluster. Dieser Leitfaden behandelt Apache Spark ML.

Für Big Data-basierte Machine Learning-Szenarios ist die Verwendung von HDFS für Big Data-Hosting und Apache Spark ML-Funktionen ein kostengünstigerer, skalierbarer und leistungsfähigerer Ansatz. Dies ist jedoch keine vollständige Liste der Möglichkeiten, was mit Spark Machine Learning erreicht werden kann. Eine vollständige Liste der Features finden Sie unter Spark MLlib.

Der nächste Abschnitt enthält eine zusammengestellte Liste von Szenarios und Verweisen für Spark in SQL Server-Big Data-Cluster.

Bausteine für Spark Machine Learning auf SQL Server-Big Data-Clustern

Learn	Inhalte	Link
Die Runtime von SQL Server-Big Data-Cluster für Apache Spark	Dies zeigt, was in jedem Release enthalten ist.	Die Runtime von SQL Server-Big Data-Cluster für Apache Spark-Leitfaden
Der Speicherpool	Speichern und Verwenden von HDFS und Spark zum Entsperren von Daten für maschinelles Lernen	Einführung in den Speicherpool in Big Data-Cluster für SQL Server
Verwenden Sie notebookbasierte Funktionen und Ihre bevorzugten Tools.	Verbinden Sie den Endpunkt von Spark-Livy mit Ihren bevorzugten Tools.	Übermitteln von Spark-Aufträgen auf Big Data-Cluster für SQL Server in Azure Data Studio Übermitteln von Spark-Aufträgen an Big-Data-Cluster von SQL Server in Visual Studio Code Verwenden von sparklyr in SQL Server-Big Data-Clustern
Installieren von zusätzlichen Paketen	Falls ein Paket nicht sofort bereitgestellt wird, installieren Sie es.	Spark-Bibliotheksverwaltung
Informationen zur Problembehandlung	Für den Fall, dass ein Fehler auftritt	Problembehandlung für pyspark-Notebooks. Debuggen und Diagnostizieren von Spark-Anwendungen auf Big Data-Cluster für SQL Server in Spark History Server
Übermitteln von Machine Learning-Batchaufträgen	Ausführen von ML Trainings- und Batchbewertung über die Befehlszeile	Übermitteln von Spark-Aufträgen mithilfe von Befehlszeilentools
Schnelles Verschieben von Daten zwischen SQL Server und Spark	Legen Sie die SQL Server-Quelle und/oder das -Ziel für Ihre Spark-ML-Szenarios fest. Die Verwendung von HDFS ist nicht obligatorisch.	Verwenden des Apache Spark-Connectors für SQL Server und Azure SQL
Operationalisierung des Spark-Modells	Führen Sie die Operationalisierung nach dem Training mithilfe von MLeap durch.	Erstellen, Exportieren und Bewerten von Machine Learning-Modellen in Spark auf Big Data-Cluster für SQL Server
Data Wrangling	Zusammen mit den leistungsstarken Data Wrangling-Funktionen von Spark liefern wir PROSE.	Data Wrangling mithilfe von PROSE Code Accelerator

Nächste Schritte

Weitere Informationen finden Sie hier: Einführung in Big Data-Cluster für SQL Server.