配置後にビッグ データ クラスターの設定を構成する方法

適用対象: SQL Server 2019 (15.x)

重要

Microsoft SQL Server 2019 ビッグ データ クラスターのアドオンは廃止されます。 SQL Server 2019 ビッグ データ クラスターのサポートは、2025 年 2 月 28 日に終了します。 ソフトウェア アシュアランス付きの SQL Server 2019 を使用する既存の全ユーザーはプラットフォームで完全にサポートされ、ソフトウェアはその時点まで SQL Server の累積更新プログラムによって引き続きメンテナンスされます。 詳細については、お知らせのブログ記事と「Microsoft SQL Server プラットフォームのビッグ データ オプション」を参照してください。

SQL Server ビッグ データ クラスター のクラスター、サービス、リソースのスコープの設定は、azdata CLI を使用して配置後に構成できます。 この機能により、SQL Server ビッグ データ クラスター 管理者は、常にワークロードの要件を満たすように構成を調整できます。 この記事では、タイムゾーンと Spark ワークロードの要件を構成する方法についてのシナリオ例を調べます。 配置後の構成機能は、設定、差分、適用フローに従います。

Note

配置後の設定の構成は、SQL Server ビッグ データ クラスター CU9 以降の配置でのみ使用できます。 設定の構成には、スケール、ストレージ、エンドポイントの構成は含まれません。 CU9 より前の SQL Server ビッグ データ クラスター を構成するためのオプションと手順については、こちらを参照してください。

段階的なシナリオ: SQL Server ビッグ データ クラスター でタイムゾーンを構成する

SQL Server ビッグ データ クラスター CU13 以降では、クラスターのタイムゾーン構成をカスタマイズして、サービスのタイムスタンプを選択したタイムゾーンに合わせることができます。 この設定は、ビッグ データ クラスターのコントロール プレーンには適用されません。すべての SQL Server プール (マスター、コンピューティング、データ)、Hadoop コンポーネント、および Spark の新しいタイムゾーン構成が設定されます。

Note

既定では、SQL Server ビッグ データ クラスター ではタイムゾーンとして UTC が設定されます。

次のコマンドを使用して、タイムゾーン構成を設定します。

azdata bdc settings set --settings bdc.timezone=America/Los_Angeles

保留中の設定をクラスターに適用する

次のコマンドを実行すると、構成が適用され、すべてのサービスが再起動されます。 変更の追跡と構成プロセスの制御方法については、この記事の最後のセクションを参照してください。

azdata bdc settings apply

段階的なシナリオ: Spark ワークロードの要件を満たすようにクラスターを構成する

ビッグ データ クラスター Spark サービスの現在の構成を表示する

次の例では、ユーザーが構成した Spark サービスの設定を表示する方法を示します。 オプションのパラメーターを使用して、構成可能なすべての設定、システム管理およびすべての構成可能な設定、および保留中の設定を表示できます。 詳細については、「azdata bdc spark ステートメント」を参照してください。

azdata bdc spark settings show

サンプル出力

Spark サービス

設定	Running Value
spark-defaults-conf.spark.driver.cores	1
spark-defaults-conf.spark.driver.memory	1664m

Spark ドライバーの既定のコア数とメモリを変更する

Spark サービスの既定のコア数を 2 に、既定のメモリを 7424 MB に更新します。 これは、Spark サービスの、Spark を使用するすべてのリソースに影響します。

azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m

記憶域プールの Spark Executor 用の既定のコア数とメモリを変更する

記憶域プールの既定の Executor コア数を 4 に更新します。

azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0

Spark アプリケーションの既定クラスパスの追加パスを構成する

/opt/hadoop/share/hadoop/tools/lib/ パスには、Spark アプリケーションで使用されるライブラリがいくつか含まれていますが、参照されるパスは、Spark アプリケーションのクラスパスに既定では読み込まれません。 この設定を有効にするには、次の構成パターンを適用します。

azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"

ビッグ データ クラスターでステージングされている保留中の設定の変更を表示する

ビッグ データ クラスター全体について、Spark サービスのみの保留中の設定の変更を表示します。

保留中の Spark サービスの設定

azdata bdc spark settings show --filter-option=pending --include-details

Spark サービス

設定	Running Value	構成されている値	構成可能	構成済み	最終更新日時
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

すべての保留中の設定

azdata bdc settings show --filter-option=pending --include-details --recursive

Spark サービスの設定 - 保留中

設定	Running Value	構成されている値	構成可能	構成済み	最終更新日時
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

Storage-0 リソースの Spark の設定 - 保留中

設定	Running Value	構成されている値	構成可能	構成済み	最終更新日時
spark-defaults-conf.spark.executor.cores	1	4	true	true

保留中の設定をビッグ データ クラスターに適用する

azdata bdc settings apply

構成の更新の状態を監視する

azdata bdc status show

省略可能な手順

保留中の構成設定を元に戻す

保留中の構成設定を変更する必要がなくなった場合は、これらの設定のステージングを解除できます。 これにより、すべてのスコープで保留中の設定が元に戻されます。

azdata bdc settings revert

構成のアップグレードを中止する

いずれかのコンポーネントで構成のアップグレードが失敗した場合は、アップグレード プロセスを取り消し、クラスターを前の構成に戻すことができます。 アップグレードの間に変更のためにステージングされた設定は、保留中の設定として再び一覧に表示されます。

azdata bdc settings cancel-apply

次の手順

SQL Server ビッグ データ クラスターを構成する