配置後にビッグ データ クラスターの設定を構成する方法
適用対象: 
SQL Server 2019 (15.x)
重要
Microsoft SQL Server 2019 ビッグ データ クラスターのアドオンは廃止されます。 SQL Server 2019 ビッグ データ クラスターのサポートは、2025 年 2 月 28 日に終了します。 ソフトウェア アシュアランス付きの SQL Server 2019 を使用する既存の全ユーザーはプラットフォームで完全にサポートされ、ソフトウェアはその時点まで SQL Server の累積更新プログラムによって引き続きメンテナンスされます。 詳細については、お知らせのブログ記事と「Microsoft SQL Server プラットフォームのビッグ データ オプション」を参照してください。
SQL Server ビッグ データ クラスター のクラスター、サービス、リソースのスコープの設定は、azdata CLI を使用して配置後に構成できます。 この機能により、SQL Server ビッグ データ クラスター 管理者は、常にワークロードの要件を満たすように構成を調整できます。 この記事では、タイムゾーンと Spark ワークロードの要件を構成する方法についてのシナリオ例を調べます。 配置後の構成機能は、設定、差分、適用フローに従います。
Note
配置後の設定の構成は、SQL Server ビッグ データ クラスター CU9 以降の配置でのみ使用できます。 設定の構成には、スケール、ストレージ、エンドポイントの構成は含まれません。 CU9 より前の SQL Server ビッグ データ クラスター を構成するためのオプションと手順については、こちらを参照してください。
段階的なシナリオ: SQL Server ビッグ データ クラスター でタイムゾーンを構成する
SQL Server ビッグ データ クラスター CU13 以降では、クラスターのタイムゾーン構成をカスタマイズして、サービスのタイムスタンプを選択したタイムゾーンに合わせることができます。 この設定は、ビッグ データ クラスターのコントロール プレーンには適用されません。すべての SQL Server プール (マスター、コンピューティング、データ)、Hadoop コンポーネント、および Spark の新しいタイムゾーン構成が設定されます。
Note
既定では、SQL Server ビッグ データ クラスター ではタイムゾーンとして UTC が設定されます。
次のコマンドを使用して、タイムゾーン構成を設定します。
azdata bdc settings set --settings bdc.timezone=America/Los_Angeles
保留中の設定をクラスターに適用する
次のコマンドを実行すると、構成が適用され、すべてのサービスが再起動されます。 変更の追跡と構成プロセスの制御方法については、この記事の最後のセクションを参照してください。
azdata bdc settings apply
段階的なシナリオ: Spark ワークロードの要件を満たすようにクラスターを構成する
ビッグ データ クラスター Spark サービスの現在の構成を表示する
次の例では、ユーザーが構成した Spark サービスの設定を表示する方法を示します。 オプションのパラメーターを使用して、構成可能なすべての設定、システム管理およびすべての構成可能な設定、および保留中の設定を表示できます。 詳細については、「azdata bdc spark ステートメント」を参照してください。
azdata bdc spark settings show
サンプル出力
Spark サービス
| 設定 | Running Value |
|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
spark-defaults-conf.spark.driver.memory |
1664m |
Spark ドライバーの既定のコア数とメモリを変更する
Spark サービスの既定のコア数を 2 に、既定のメモリを 7424 MB に更新します。 これは、Spark サービスの、Spark を使用するすべてのリソースに影響します。
azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m
記憶域プールの Spark Executor 用の既定のコア数とメモリを変更する
記憶域プールの既定の Executor コア数を 4 に更新します。
azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0
Spark アプリケーションの既定クラスパスの追加パスを構成する
/opt/hadoop/share/hadoop/tools/lib/ パスには、Spark アプリケーションで使用されるライブラリがいくつか含まれていますが、参照されるパスは、Spark アプリケーションのクラスパスに既定では読み込まれません。 この設定を有効にするには、次の構成パターンを適用します。
azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"
ビッグ データ クラスターでステージングされている保留中の設定の変更を表示する
ビッグ データ クラスター全体について、Spark サービスのみの保留中の設定の変更を表示します。
保留中の Spark サービスの設定
azdata bdc spark settings show --filter-option=pending --include-details
Spark サービス
| 設定 | Running Value | 構成されている値 | 構成可能 | 構成済み | 最終更新日時 |
|---|---|---|---|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
2 |
true |
true |
|
spark-defaults-conf.spark.driver.memory |
1664m |
7424m |
true |
true |
すべての保留中の設定
azdata bdc settings show --filter-option=pending --include-details --recursive
Spark サービスの設定 - 保留中
| 設定 | Running Value | 構成されている値 | 構成可能 | 構成済み | 最終更新日時 |
|---|---|---|---|---|---|
spark-defaults-conf.spark.driver.cores |
1 |
2 |
true |
true |
|
spark-defaults-conf.spark.driver.memory |
1664m |
7424m |
true |
true |
Storage-0 リソースの Spark の設定 - 保留中
| 設定 | Running Value | 構成されている値 | 構成可能 | 構成済み | 最終更新日時 |
|---|---|---|---|---|---|
spark-defaults-conf.spark.executor.cores |
1 |
4 |
true |
true |
保留中の設定をビッグ データ クラスターに適用する
azdata bdc settings apply
構成の更新の状態を監視する
azdata bdc status show
省略可能な手順
保留中の構成設定を元に戻す
保留中の構成設定を変更する必要がなくなった場合は、これらの設定のステージングを解除できます。 これにより、すべてのスコープで保留中の設定が元に戻されます。
azdata bdc settings revert
構成のアップグレードを中止する
いずれかのコンポーネントで構成のアップグレードが失敗した場合は、アップグレード プロセスを取り消し、クラスターを前の構成に戻すことができます。 アップグレードの間に変更のためにステージングされた設定は、保留中の設定として再び一覧に表示されます。
azdata bdc settings cancel-apply