Informationen zum Konfigurieren von Einstellungen für Big Data-Cluster nach der Bereitstellung

Gilt für: SQL Server 2019 (15.x)

Wichtig

Das Microsoft SQL Server 2019-Big Data-Cluster-Add-On wird eingestellt. Der Support für SQL Server 2019-Big Data-Clusters endet am 28. Februar 2025. Alle vorhandenen Benutzer*innen von SQL Server 2019 mit Software Assurance werden auf der Plattform vollständig unterstützt, und die Software wird bis zu diesem Zeitpunkt weiterhin über kumulative SQL Server-Updates verwaltet. Weitere Informationen finden Sie im Ankündigungsblogbeitrag und unter Big Data-Optionen auf der Microsoft SQL Server-Plattform.

Einstellungen für Big Data-Cluster für SQL Server auf Cluster-, Dienst- und Ressourcenebene können nach der Bereitstellung über die azdata-CLI konfiguriert werden. Mit dieser Funktion können Big Data-Cluster für SQL Server-Administratoren Konfigurationen an die jeweiligen Workloadanforderungen anpassen. In diesem Artikel werden Beispielszenarien zum Konfigurieren von Zeitzonen- und Spark-Workloadanforderungen behandelt. Die Funktion für die Konfiguration nach der Bereitstellung folgt einem „set, diff, apply“-Ablauf.

Hinweis

Die Konfiguration von Einstellungen nach der Bereitstellung ist nur in Big Data-Cluster für SQL Server-Bereitstellungen ab CU9 verfügbar. Die Skalierungs-, Speicher- und Endpunktkonfiguration gehören nicht zur Konfiguration von Einstellungen. Optionen und Anleitungen zum Konfigurieren von Big Data-Cluster für SQL Server vor CU9 finden Sie hier.

Schritt-für-Schritt-Szenario: Konfigurieren der Zeitzone für Big Data-Cluster für SQL Server

Ab Big Data-Cluster für SQL Server CU13 ist es möglich, die Zeitzonenkonfiguration des Clusters so anzupassen, dass die Zeitstempel der Dienste an der ausgewählten Zeitzone ausgerichtet sind. Die Einstellung gilt nicht für die Steuerungsebene des Big Data-Clusters. Sie legt die neue Zeitzonenkonfiguration für alle SQL Server-Pools (Master, Compute und Daten), Hadoop-Komponenten und Spark fest.

Hinweis

Big Data-Cluster für SQL Server legt standardmäßig UTC als Zeitzone fest.

Verwenden Sie den folgenden Befehl, um die Zeitzonenkonfiguration festzulegen:

azdata bdc settings set --settings bdc.timezone=America/Los_Angeles

Anwenden der ausstehenden Einstellungen auf den Cluster

Der folgende Befehl wendet die Konfiguration an und startet alle Dienste neu. Lesen Sie die letzten Abschnitte dieses Artikels, um Informationen zum Nachverfolgen von Änderungen und zum Steuern des Konfigurationsprozesses zu erhalten.

azdata bdc settings apply

Schritt-für-Schritt-Szenario: Konfigurieren des Clusters entsprechend den Spark-Workloadanforderungen

Anzeigen der aktuellen Konfigurationen des Spark-Diensts im Big Data-Cluster

Im folgenden Beispiel wird gezeigt, wie die vom Benutzer konfigurierten Einstellungen des Spark-Diensts angezeigt werden. Sie können alle möglichen konfigurierbaren Einstellungen, alle vom System verwalteten und alle konfigurierbaren Einstellungen sowie ausstehende Einstellungen über optionale Parameter anzeigen. Weitere Informationen finden Sie unter azdata bdc spark statement.

azdata bdc spark settings show

Beispielausgabe

Spark-Dienst

Einstellung	Ausgeführter Wert
spark-defaults-conf.spark.driver.cores	1
spark-defaults-conf.spark.driver.memory	1664m

Ändern der Standardanzahl von Kernen und des Arbeitsspeichers für den Spark-Treiber

Aktualisieren Sie für den Spark-Dienst die Standardanzahl von Kernen auf zwei und den Standardarbeitsspeicher auf 7424 MB. Dies wirkt sich für den Spark-Dienst auf alle Ressourcen mit Spark aus.

azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m

Ändern der Standardanzahl der Kerne und Arbeitsspeicher für die Spark-Executors im Speicherpool

Aktualisieren Sie für den Speicherpool die Standardanzahl der Executorkerne auf 4.

azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0

Konfigurieren zusätzlicher Pfade zum Standardklassenpfad von Spark-Anwendungen

Der Pfad /opt/hadoop/share/hadoop/tools/lib/ enthält mehrere Bibliotheken, die von Ihren Spark-Anwendungen verwendet werden sollen, aber der Pfad, auf den verwiesen wird, wird standardmäßig nicht in den Klassenpfad von Spark-Anwendungen geladen. Um diese Einstellung zu aktivieren, wenden Sie das folgende Konfigurationsmuster an.

azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"

Anzeigen der im Big Data-Cluster gestageten ausstehenden Einstellungsänderungen

Zeigen Sie die ausstehenden Änderungen an Einstellungen nur für den Spark-Dienst und für den gesamten Big Data-Cluster an.

Ausstehende Einstellungen für den Spark-Dienst

azdata bdc spark settings show --filter-option=pending --include-details

Spark-Dienst

Einstellung	Ausgeführter Wert	Konfigurierter Wert	Konfigurierbar	Konfiguriert	Zeitpunkt des letzten Updates
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

Alle ausstehenden Einstellungen

azdata bdc settings show --filter-option=pending --include-details --recursive

Einstellungen auf Dienstebene für Spark: ausstehend

Einstellung	Ausgeführter Wert	Konfigurierter Wert	Konfigurierbar	Konfiguriert	Zeitpunkt des letzten Updates
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

Speicher-0 Einstellungen auf Ressourcenebene für Spark: ausstehend

Einstellung	Ausgeführter Wert	Konfigurierter Wert	Konfigurierbar	Konfiguriert	Zeitpunkt des letzten Updates
spark-defaults-conf.spark.executor.cores	1	4	true	true

Anwenden der ausstehenden Einstellungen auf den Big Data-Cluster

azdata bdc settings apply

Überwachen des Konfigurationsupdatestatus

azdata bdc status show

Optionale Schritte

Wiederherstellen der ausstehenden Konfigurationseinstellungen

Wenn die ausstehenden Konfigurationseinstellungen nicht mehr geändert werden sollen, können Sie die Bereitstellung dieser Einstellungen aufheben. Dadurch werden die ausstehenden Einstellungen auf allen Ebenen wiederhergestellt.

azdata bdc settings revert

Abbrechen des Konfigurationsupgrades

Wenn beim Konfigurationsupgrade bei einer der Komponenten ein Fehler auftritt, können Sie den Upgradevorgang abbrechen und die vorherigen Clusterkonfigurationen wiederherstellen. Einstellungen, die während des Upgrades für Änderungen bereitgestellt wurden, werden nochmals als ausstehende Einstellungen aufgeführt.

azdata bdc settings cancel-apply

Nächste Schritte

Konfigurieren eines Big Data-Clusters in SQL Server