共用方式為

執行 Databricks 作業來轉換數據

適用於： Azure Data Factory Azure Synapse Analytics

小提示

Data Factory in Microsoft Fabric 是下一代的 Azure Data Factory，擁有更簡單的架構、內建 AI 及新功能。 如果你是資料整合新手，建議先從 Fabric Data Factory 開始。 現有的 ADF 工作負載可升級至 Fabric，以存取資料科學、即時分析與報告等新能力。

管線中的 Azure Databricks 作業活動會在 Azure Databricks 工作區中執行 Databricks 作業，包括無伺服器作業。 這篇文章以資料轉換活動文章為基礎，提供了資料轉換及其所支援的轉換活動的一般概覽。 Azure Databricks 是一個管理平台，用於執行 Apache Spark。

你可以直接透過 Azure Data Factory Studio 的使用者介面建立 Databricks 工作。

使用 UI 將 Azure Databricks 的作業活動新增至管線

要在管線中使用 Azure Databricks 的作業活動，請完成以下步驟：

  1. 在管線活動窗格中搜索作業，然後將作業活動拖曳至管線畫布。

  2. 如果尚未選取，請選取畫布上的新 [作業] 活動。

  3. 選擇 Azure Databricks 標籤以選擇或建立新的 Azure Databricks 連結服務。

    備註

    Azure Databricks 的工作活動會自動在無伺服器叢集上執行，因此你不需要在連結服務設定中指定叢集。 相反地，請選擇 無伺服器 選項。

    工作活動介面的螢幕截圖，其中 Azure Databricks 頁籤已被突出顯示。

  4. 選擇 Settings 標籤，指定要在 Azure Databricks 上執行的工作、可選的基礎參數，以及叢集上安裝的其他函式庫以執行該工作。

    [作業] 活動的 UI 螢幕擷取畫面，其中已醒目提示 [設定] 索引標籤。

Databricks 作業活動定義

以下是 Databricks 作業活動的 JSON 定義範例：

{
    "activity": {
        "name": "MyActivity",
        "description": "MyActivity description",
        "type": "DatabricksJob",
        "linkedServiceName": {
            "referenceName": "MyDatabricksLinkedservice",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "jobID": "012345678910112",
            "jobParameters": {
                "testParameter": "testValue"
            },
        }
    }
}

Databricks 作業活動屬性

下表說明 JSON 定義中使用的 JSON 屬性：

房產 說明 為必填項目
名稱 管線中的活動名稱。 是的
說明 說明活動用途的文字。 否
型別 針對 Databricks 作業活動，活動類型為 DatabricksJob。 是的
連結服務名稱 Databricks 作業執行所在的 Databricks 鏈接服務名稱。 若要深入了解此已連結的服務，請參閱計算已連結的服務一文。 是的
jobId 要在 Databricks 工作區中執行之作業的標識碼。 是的
jobParameters 機碼值組的陣列。 任務參數可以用於每次活動的執行。 如果作業採用未指定的參數，則會使用來自作業的預設值。 在 Databricks 作業中了解更多關於參數的資訊。 否

在作業和管線之間傳遞參數

您可以使用 Databricks 活動中的 jobParameters 屬性，將參數傳遞至作業。

備註

只有自我裝載 IR 5.52.0.0 版或更新版本才支援作業參數。

  • Last updated on