Compartir a través de


Tutorial: Orquestación de una canalización de Azure Data Factory (ADF) con trabajo de Apache Airflow.

Nota:

El trabajo de Apache Airflow funciona con Apache Airflow.

En este tutorial, creará un DAG de Apache Airflow para orquestar la canalización de ADF con el trabajo de Apache Airflow.

Requisitos previos

Para empezar, debe completar los siguientes requisitos previos:

Añadir requisito de Apache Airflow

  1. Vaya a Configuración y seleccione Configuración del entorno.

  2. En "Requisitos de Apache Airflow", incluya "apache-airflow-providers-microsoft-azure".

  3. Haga clic en Aplicar para guardar los cambios.

    Captura de pantalla para añadir requisitos de Airflow.

Creación de un DAG de Apache Airflow

  1. Comience seleccionando la tarjeta "Nuevo archivo DAG". Luego, asigne un nombre al archivo y haga clic en el botón Crear.

    Captura de pantalla para nombrar el archivo DAG.

  2. Una vez creado, se le presentará un código DAG repetitivo. Edite el archivo para incluir los contenidos proporcionados. Actualice el argumento pipeline_name con el nombre de su canalización ADF.

from datetime import datetime, timedelta

from airflow.models import DAG
from airflow.providers.microsoft.azure.operators.data_factory import AzureDataFactoryRunPipelineOperator


with DAG(
    dag_id="example_adf_run_pipeline",
    start_date=datetime(2022, 5, 14),
    schedule_interval="@daily",
    catchup=False,
    default_args={
        "retries": 1,
        "retry_delay": timedelta(minutes=3),
        "azure_data_factory_conn_id": "azure_data_factory_conn_id", #This is a connection created on Airflow UI
    },
    default_view="graph",
) as dag:

    run_adf_pipeline = AzureDataFactoryRunPipelineOperator(
        task_id="run_adf_pipeline",
        pipeline_name="<Pipeline Name>",
    )

    run_adf_pipeline
  1. Haga clic en Guardar para guardar el archivo.

    Captura de pantalla que muestra cómo guardar el archivo DAG en Microsoft Fabric.

Creación de una conexión de Apache Airflow para conectarse con Azure Data Factory

  1. Haga clic en Ver conexiones de Airflow para ver la lista de todas las conexiones configuradas y para configurar una nueva.

    Captura de pantalla para ver la conexión de Apache Airflow.

  2. Haga clic en "+" -> Seleccione el tipo de conexión: Azure Data Factory -> Complete los campos: ID de conexión, ID de cliente, secreto, ID de inquilino, ID de suscripción, nombre del grupo de recursos, nombre de fábrica.

  3. Haga clic en el botón Guardar.

Supervisión del DAG de Apache Airflow y ejecución desde la interfaz de usuario de Apache Airflow

Los archivos dag guardados se cargan en la interfaz de usuario de Apache Airflow. Para supervisarlos, haga clic en el botón Supervisar en Apache Airflow.

Captura de pantalla para supervisar el DAG de Airflow.Captura de pantalla para cargar el DAG de Airflow.

Inicio rápido: Creación de un trabajo de Apache Airflow