如何在部署後設定巨量資料叢集設定

適用於：SQL Server 2019 (15.x)

重要

Microsoft SQL Server 2019 巨量資料叢集附加元件將會淘汰。 SQL Server 2019 巨量資料叢集的支援將於 2025 年 2 月 28 日結束。 平台上將完全支援具有軟體保證之 SQL Server 2019 的所有現有使用者，而且該軟體將會持續透過 SQL Server 累積更新來維護，直到該時間為止。 如需詳細資訊，請參閱公告部落格文章與 Microsoft SQL Server 平台上的巨量資料選項。

您可以透過 azdata CLI，在部署後設定 SQL Server 巨量資料叢集的叢集、服務和資源範圍設定。 此功能可讓 SQL Server 巨量資料叢集管理員調整組態，以一律符合工作負載需求。 本文將探討有關如何設定時區和 Spark 工作負載需求的範例案例。 部署後組態功能遵循設定、差異比對、套用流程。

注意

部署後組態設定僅適用於 SQL Server 巨量資料叢集 CU9 和更新版本的部署。 組態設定不包含調整、儲存體或端點組態。 如需在 CU9 之前設定 SQL Server 巨量資料叢集的選項和指示，請參閱這裡。

逐步案例：在 SQL Server 巨量資料叢集上設定時區

從 SQL Server 巨量資料叢集 CU13 開始，您可以自訂叢集時區組態，讓服務時間戳記與選取的時區一致。 此設定不會套用至巨量資料叢集控制平面，而是為所有 SQL Server 集區 (主要、計算和資料)、Hadoop 元件以及 Spark 設定新的時區組態。

注意

根據預設，SQL Server 巨量資料叢集會將 UTC 設定為時區。

使用下列命令來設定時區組態：

azdata bdc settings set --settings bdc.timezone=America/Los_Angeles

將擱置中的設定套用至叢集

下列命令會套用組態，並重新啟動所有服務。 請檢閱本文的最後幾節，以了解如何追蹤變更和控制設定程序。

azdata bdc settings apply

逐步案例：設定叢集以符合您的 Spark 工作負載需求

檢視巨量資料叢集 Spark 服務的目前組態

下列範例說明如何檢視使用者設定的 Spark 服務設定。 您可以透過選擇性參數，檢視所有可能設定的設定 (系統管理的設定和所有可設定的設定)，以及擱置中的設定。 如需詳細資訊，請瀏覽 azdata bdc spark 陳述式。

azdata bdc spark settings show

範例輸出

Spark 服務

設定	執行中的值
spark-defaults-conf.spark.driver.cores	1
spark-defaults-conf.spark.driver.memory	1664m

變更 Spark 驅動程式的預設核心數目和記憶體

將 Spark 服務的預設核心數目更新為 2，並將預設記憶體更新為 7424 MB。 這會影響 Spark 服務中所有具有 Spark 的資源。

azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m

變更存放集區中 Spark 執行程式的預設核心數目和記憶體

將存放集區的預設執行程式核心數目更新為 4。

azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0

設定 Spark 應用程式預設 classpath 的其他路徑

/opt/hadoop/share/hadoop/tools/lib/ 路徑包含數個可供 Spark 應用程式使用的程式庫，但 Spark 應用程式的 classpath 中預設不會載入此參考路徑。 若要啟用此設定，請套用下列組態模式。

azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"

檢視暫存於巨量資料叢集的擱置中設定變更

檢視僅限 Spark 服務和整個巨量資料叢集的擱置中設定變更。

擱置中的 Spark 服務設定

azdata bdc spark settings show --filter-option=pending --include-details

Spark 服務

設定	執行中的值	設定值	可設定	已設定	上次更新時間
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

所有擱置中的設定

azdata bdc settings show --filter-option=pending --include-details --recursive

Spark 服務設定 - 擱置中

設定	執行中的值	設定值	可設定	已設定	上次更新時間
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

Storage-0 資源 Spark 設定 - 擱置中

設定	執行中的值	設定值	可設定	已設定	上次更新時間
spark-defaults-conf.spark.executor.cores	1	4	true	true

將擱置中的設定套用至巨量資料叢集

azdata bdc settings apply

監視組態更新狀態

azdata bdc status show

選擇性步驟

還原擱置中的組態設定

如果您決定不想再變更擱置中的組態設定，您可以取消暫存這些設定。 這會還原所有範圍的擱置中設定。

azdata bdc settings revert

中止組態升級

如有任何元件的組態升級失敗，您可以取消升級程序，並讓叢集返回先前的組態。 在升級期間暫存進行變更的設定，會再次列為擱置中的設定。

azdata bdc settings cancel-apply

下一步

設定 SQL Server 巨量資料叢集