Databricks ジョブを実行してデータを変換する

適用対象: Azure Data Factory Azure Synapse Analytics

ヒント

企業向けのオールインワン分析ソリューションである Microsoft Fabric の Data Factory をお試しください。 Microsoft Fabric は、データ移動からデータ サイエンス、リアルタイム分析、ビジネス インテリジェンス、レポートまで、あらゆるものをカバーしています。 無料で新しい試用版を開始する方法について説明します。

パイプライン内の Azure Databricks ジョブ アクティビティ (プレビュー) は、サーバーレス ジョブを含め、Azure Databricks ワークスペースで Databricks ジョブを実行します。 この記事は、データ変換とサポートされる変換アクティビティの概要を説明する、 データ変換アクティビティ に関する記事に基づいています。 Azure Databricks は、Apache Spark を実行するための管理されたプラットフォームです。

Databricks ジョブは、Azure Data Factory Studio ユーザー インターフェイスを使用して直接作成できます。

重要

Azure Databricks ジョブ アクティビティは現在プレビュー段階です。 この情報は、リリース前に大幅に変更される可能性があるプレリリース製品に関連しています。 Microsoft は、ここに記載されている情報に関して、明示または黙示を問わず、一切の保証を行いません。

UI を使用して Azure Databricks のジョブ アクティビティをパイプラインに追加する

パイプラインで Azure Databricks のジョブ アクティビティを使用するには、次の手順を実行します。

1. [パイプライン アクティビティ] ウィンドウで ジョブ を検索し、ジョブ アクティビティをパイプライン キャンバスにドラッグします。

2. まだ選択されていない場合は、キャンバス上でその新しいジョブ アクティビティを選びます。

3. [Azure Databricks] タブを選択して、ジョブ アクティビティを実行する新しい Azure Databricks のリンクされたサービスを選択または作成します。

   

4. [ 設定] タブを選択し、Azure Databricks で実行するジョブ、ジョブに渡す省略可能な基本パラメーター、およびジョブを実行するためにクラスターにインストールするその他のライブラリを指定します。

   

Databricks ジョブ アクティビティの定義

Databricks ジョブ アクティビティのサンプル JSON 定義を次に示します。

{
    "activity": {
        "name": "MyActivity",
        "description": "MyActivity description",
        "type": "DatabricksJob",
        "linkedServiceName": {
            "referenceName": "MyDatabricksLinkedservice",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "jobID": "012345678910112",
            "jobParameters": {
                "testParameter": "testValue"
            },
        }
    }
}

Databricks ジョブ アクティビティのプロパティ

次の表で、JSON 定義で使用される JSON プロパティについて説明します。

プロパティ	説明	必須
名前	パイプラインのアクティビティの名前。	イエス
説明	アクティビティの動作を説明するテキスト。	いいえ
種類	Databricks ジョブ アクティビティの場合、アクティビティの種類は DatabricksJob です。	イエス
リンクされたサービス名	Databricks ジョブが実行される Databricks のリンクされたサービスの名前。 このリンクされたサービスの詳細については、計算のリンクされたサービスに関する記事をご覧ください。	イエス
jobId	Databricks ワークスペースで実行するジョブの ID。	イエス
ジョブパラメータ	キーと値ペアの配列です。 ジョブ パラメーターは、各アクティビティの実行に使用できます。 指定されていないパラメーターをジョブが受け取った場合、ジョブの既定値が使用されます。 パラメーターの詳細については、 Databricks ジョブを参照してください。	いいえ

ジョブとパイプラインの間でのパラメーターの受け渡し

Databricks アクティビティの jobParameters プロパティを使用して、パラメーターをジョブに渡すことができます。

注

ジョブ パラメーターは、セルフホステッド IR バージョン 5.52.0.0 以降でのみサポートされます。