チュートリアル: Apache Airflow ジョブを使用して Azure Data Factory (ADF) Pipeline を調整します。

注

Apache エアフロー ジョブは Apache エアフローを利用します。

このチュートリアルでは、Apache Airflow ジョブを使用して ADF パイプラインを調整するために、Apache Airflow DAG を構築します。

前提条件

開始するには、次の前提条件を満たしている必要があります。

• ワークスペースに "Apache エアフロー ジョブ" を作成します。

• Azure Data Factory でデータ パイプラインを作成します。

• サービス プリンシパルを作成します。

• Azure Data Factory (ADF) パイプラインを実行するには、パイプラインを実行している ADF インスタンスにサービス プリンシパルを a contributor として追加します。

Apache Airflow の要件を追加する

1. [設定] に移動し、[環境の構成] を選択します。

2. [Apache Airflow 要件] で、[apache-airflow-providers-microsoft-azure]を追加します。

3. [適用] をクリックして変更を保存します。

   

Apache Airflow DAG を作成する

1. まず、[新しい DAG ファイル] カードを選択します。 ファイルに名前を付け、[作成] ボタンをクリックします。

   

2. 作成されると、定型 DAG コードが表示されます。 ファイルを編集して、指定された内容を含めます。 pipeline_name引数を ADF パイプラインの名前で更新します。

from datetime import datetime, timedelta

from airflow.models import DAG
from airflow.providers.microsoft.azure.operators.data_factory import AzureDataFactoryRunPipelineOperator


with DAG(
    dag_id="example_adf_run_pipeline",
    start_date=datetime(2022, 5, 14),
    schedule_interval="@daily",
    catchup=False,
    default_args={
        "retries": 1,
        "retry_delay": timedelta(minutes=3),
        "azure_data_factory_conn_id": "azure_data_factory_conn_id", #This is a connection created on Airflow UI
    },
    default_view="graph",
) as dag:

    run_adf_pipeline = AzureDataFactoryRunPipelineOperator(
        task_id="run_adf_pipeline",
        pipeline_name="<Pipeline Name>",
    )

    run_adf_pipeline

3. [保存] をクリックしてファイルを保存します。

   

Azure Data Factory に接続するために Apache Airflow 接続を作成する

1. [Airflow 接続の表示] をクリックして、構成されているすべての接続の一覧を表示し、新しい接続を設定します。

   

2. > [接続の種類の選択: Azure Data Factory]> で [+] をクリックして、[接続 ID]、[クライアント ID]、[シークレット]、[テナント ID]、[サブスクリプション ID]、[リソース グループ名]、[ファクトリ名] の各フィールドに入力します。

3. [保存] ボタンをクリックします。

Apache Airflow DAG を監視し、Apache Airflow UI から実行する

保存された dag ファイルは、Apache Airflow UI に読み込まれます。 それらを監視するには、[Apache Airflowで監視] ボタンをクリックします。

関連コンテンツ

クイック スタート: Apache エアフロー ジョブを作成する