管理 Apache Spark 設定

在本教學課程中,您將了解如何為 Synapse Studio 建立 Apache Spark 設定。 您所建立的 Apache Spark 設定可以用標準化的方式管理,當您建立 Notebook 或 Apache Spark 工作定義時,可以選取您想要搭配 Apache Spark 集區使用的 Apache Spark 設定。 當您選取時,會顯示設定的詳細資料。

建立 Apache Spark 設定

您可以從不同的進入點建立自訂群組態,例如從現有 Spark 集區的 Apache Spark 組態頁面。

在 Apache Spark 設定中建立自訂設定

請遵循下列步驟,在 Synapse Studio 中建立 Apache Spark 設定。

  1. 選取 [管理] > [Apache Spark 設定]。

  2. 按一下 [新增] 按鈕以建立新的 Apache Spark 設定,或按一下 [匯入] 將本機 .json 檔案匯入工作區。

  3. 按一下 [新增] 按鈕之後,[新增 Apache Spark 設定] 頁面隨即開啟。

  4. 針對 [名稱],您可以輸入慣用的有效名稱。

  5. 針對 [描述],您可以在其中輸入一些描述。

  6. 針對 [註釋],您可以按一下 [新增] 按鈕來新增註釋,也可以選取並按一下 [刪除] 按鈕來刪除現有的註釋。

  7. 針對 [設定屬性],按一下 [新增] 按鈕以新增屬性來自訂設定。 如果您未新增屬性,Azure Synapse 將會在適用時使用預設值。

    建立 Spark 設定的螢幕擷取畫面。

  8. 按一下 [繼續] 按鈕。

  9. 驗證成功時,按一下 [建立] 按鈕。

  10. 全部發佈

注意

上傳 Apache Spark 設定功能已移除,但 Synapse Studio 會保留您先前上傳的設定。

在現有的 Apache Spark 集區中建立 Apache Spark 設定

請遵循下列步驟,在現有的 Apache Spark 集區中建立 Apache Spark 設定。

  1. 選取現有的 Apache Spark 集區,然後按一下動作「...」按鈕。

  2. 選取內容清單中的 Apache Spark 設定

    Apache Spark 設定的螢幕擷取畫面。

  3. 針對 Apache Spark 設定,您可以從下拉式清單中選取已建立的設定,或按一下 [+新增] 來建立新的設定。

    • 如果您按一下 [+新增],將會開啟 [Apache Spark 設定] 頁面,您可以遵循在 Apache Spark 設定中建立自訂設定中的步驟來建立新的設定。

    • 如果您選取現有設定,則會在頁面底部顯示設定詳細資料,您也可以按一下 [編輯] 按鈕來編輯現有的設定。

      編輯 Spark 設定的螢幕擷取畫面。

  4. 按一下 [檢視設定] 以開啟 [選取設定] 頁面。 所有設定都會顯示在此頁面。 您可以選取您要在此 Apache Spark 集區上使用的設定。

    顯示選取設定的螢幕擷取畫面。

  5. 按一下 [套用] 按鈕來儲存動作。

在 Notebook 的設定工作階段中建立 Apache Spark 設定

如果需要在建立 Notebook 時使用自訂 Apache Spark 設定,您可以遵循下列步驟,在 [設定工作階段] 中進行建立和設定。

  1. 建立新的/開啟現有 Notebook。

  2. 開啟此 Notebook 的 [屬性]。

  3. 按一下 [設定工作階段] 以開啟 [設定工作階段] 頁面。

  4. 向下捲動 [設定工作階段] 頁面,針對 [Apache Spark 設定] 展開下拉式功能表,您可以按一下 [新增] 按鈕以建立新的設定。 或者選取現有設定,如果您要選取現有設定,請按一下編輯圖示以前往 [編輯 Apache Spark 設定] 頁面來編輯設定。

  5. 按一下 [檢視設定] 以開啟 [選取設定] 頁面。 所有設定都會顯示在此頁面。 您可以選取要使用的設定。

    在設定工作階段中建立設定的螢幕擷取畫面。

在 Apache Spark 工作定義中建立 Apache Spark 設定

在建立 Spark 工作定義時必須使用 Apache Spark 設定,其可遵循下列步驟來建立:

  1. 建立新的/開啟現有的 Apache Spark 工作定義。

  2. 針對 Apache Spark 設定,您可以按一下 [新增] 按鈕來建立新的設定。 或者在下拉式功能表中選取現有設定,如果您要選取現有設定,請按一下編輯圖示以前往 [編輯 Apache Spark 設定] 頁面來編輯設定。

  3. 按一下 [檢視設定] 以開啟 [選取設定] 頁面。 所有設定都會顯示在此頁面。 您可以選取要使用的設定。

    在 Spark 工作定義中建立設定的螢幕擷取畫面。

注意

如果 Notebook 和 Apache Spark 工作定義中的 Apache Spark 設定未執行任何特殊動作,則會在執行工作時使用預設設定。

匯入和匯出 Apache Spark 設定

您可以以三種格式匯入 .txt/.conf/.json 設定,然後將其轉換成成品並發佈。 也可以匯出為這三種格式的其中一種。

  • 從本機匯入 .txt/.conf/.json 設定。

    匯入設定的螢幕擷取畫面。

  • 從本機匯出 .txt/.conf/.json 設定。

    匯出設定的螢幕擷取畫面。

如需.txt 設定檔和 .conf 設定檔,您可以參考下列範例:


spark.synapse.key1 sample
spark.synapse.key2 true
# spark.synapse.key3 sample2

若為 .json 設定檔,您可以參考下列範例:

{
 "configs": {
   "spark.synapse.key1": "hello world",
  "spark.synapse.key2": "true"
 },
 "annotations": [
   "Sample"
 ]
}

後續步驟