Apache Spark 構成を管理する

[アーティクル]
04/25/2023

このチュートリアルでは、Synapse Studio 用の Apache Spark 構成を作成する方法について説明します。作成された Apache Spark 構成は標準化された方法で管理でき、Notebook または Apache Spark ジョブ定義を作成するときに、Apache Spark プールで使用する Apache Spark 構成を選択できます。選択すると、構成の詳細が表示されます。

Apache Spark 構成を作成する

カスタム構成は、既存の Spark プールの Apache Spark 構成ページなどのさまざまなエントリポイントから作成できます。

Apache Spark 構成でカスタム構成を作成する

Synapse Studio で Apache Spark 構成を作成するには、次の手順に従います。

[管理]>[Apache Spark 構成] を選択します。
[新規] ボタンをクリックして新しい Apache Spark 構成を作成するか、[ローカル .json ファイルをワークスペースにインポートする] をクリックします。
[新規] ボタンをクリックすると、[新しい Apache Spark 構成] ページが開きます。
[名前] には、任意の有効な名前を入力できます。
[説明] には、説明を入力できます。
[注釈] には、[新規] ボタンをクリックして注釈を追加したり、[削除] ボタンを選択しクリックして既存の注釈を削除することもできます。
[構成プロパティ] で、[追加] ボタンをクリックしてプロパティを追加し、構成をカスタマイズします。プロパティを追加しない場合、Azure Synapse では必要に応じて既定値を使用します。
[続行] ボタンをクリックします。
検証が成功したら、[作成] ボタンをクリックします。
すべて発行

注意

Apache Spark 構成のアップロード機能は削除されましたが、Synapse Studio では以前にアップロードされた構成を保持します。

既存の Apache Spark プールに Apache Spark 構成を作成する

既存の Apache Spark プールに Apache Spark 構成を作成するには、次の手順に従います。

既存の Apache Spark プールを選択し、アクション [...] ボタンをクリックします。
コンテンツの一覧で [Apache Spark 構成] を選択します。
Apache Spark 構成の場合は、ドロップダウンリストから既に作成されている構成を選択するか、[+新規] をクリックして新しい構成を作成できます。
- [+新規] をクリックすると、[Apache Spark 構成] ページが開き、「Apache Spark 構成でカスタム構成を作成する」の手順に従って新しい構成を作成できます。
- 既存の構成を選択すると、構成の詳細がページの下部に表示され、[編集] ボタンをクリックして既存の構成を編集することもできます。
[構成の表示] をクリックして、[構成の選択] ページを開きます。このページには、すべての構成が表示されます。この Apache Spark プールで使用する構成を選択できます。
[適用] ボタンをクリックして、アクションを保存します。

Notebook の構成セッションで Apache Spark 構成を作成する

Notebook の作成時にカスタム Apache Spark 構成を使用する必要がある場合は、次の手順に従って [セッションの構成] で作成および構成できます。

新しい Notebook を作成するか、既存の Notebook を開きます。
このノートブックの [プロパティ] を開きます。
[セッションの構成] をクリックして、[セッションの構成] ページを開きます。
Apache Spark 構成の [セッションの構成] ページを下にスクロールし、ドロップダウンメニューを展開し、[新規] ボタンをクリックして新しい構成を作成できます。または、既存の構成を選択します。既存の構成を選択した場合は、[編集] アイコンをクリックして [Apache Spark 構成の編集] ページに移動して構成を編集します。
[構成の表示] をクリックして、[構成の選択] ページを開きます。このページには、すべての構成が表示されます。使用する構成を選択できます。

Apache Spark ジョブ定義で Apache Spark 構成を作成する

Spark ジョブ定義を作成するときは、Apache Spark 構成を使用する必要があります。この構成は、次の手順に従って作成できます。

新しい Apache Spark ジョブ定義を作成、または既存の Apache Spark ジョブ定義を開きます。
[Apache Spark 構成] では、[新規] ボタンをクリックして新しい構成を作成できます。または、ドロップダウンメニューで既存の構成を選択します。既存の構成を選択した場合は、[編集] アイコンをクリックして [Apache Spark 構成の編集] ページに移動して構成を編集します。
[構成の表示] をクリックして、[構成の選択] ページを開きます。このページには、すべての構成が表示されます。使用する構成を選択できます。

注意

Notebook および Apache Spark ジョブ定義の Apache Spark 構成で特に処理が行われなかった場合は、ジョブの実行時に既定の構成が使用されます。

Apache Spark 構成のインポートとエクスポート

.txt/.conf/.json 構成を 3 つの形式でインポートし、成果物に変換して公開できます。また、これらの 3 つの形式のいずれかにエクスポートすることもできます。

ローカルから .txt/.conf/.json 構成をインポートします。
.txt/.conf/.json 構成をローカルにエクスポートします。

.txt 構成ファイルと .conf 構成ファイルについては、次の例を参照してください。


spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

.json 構成ファイルについては、次の例を参照してください。

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}

次の方法で共有