Tutorial: Orquestación de una canalización de Azure Data Factory (ADF) con trabajo de Apache Airflow.

Nota:

El trabajo de Apache Airflow funciona con Apache Airflow.

En este tutorial, creará un DAG de Apache Airflow para orquestar la canalización de ADF con el trabajo de Apache Airflow.

Requisitos previos

Para empezar, debe completar los siguientes requisitos previos:

• Crear el "Trabajo de Apache Airflow" en el área de trabajo.

• Creación de una canalización de datos en Azure Data Factory.

• Crear el Principal del Servicio.

• Para ejecutar la canalización de Azure Data Factory (ADF), añada la entidad de servicio como contributor a la instancia de ADF donde ejecuta la canalización.

Añadir requisito de Apache Airflow

1. Vaya a Configuración y seleccione Configuración del entorno.

2. En "Requisitos de Apache Airflow", incluya "apache-airflow-providers-microsoft-azure".

3. Haga clic en Aplicar para guardar los cambios.

   

Creación de un DAG de Apache Airflow

1. Comience seleccionando la tarjeta "Nuevo archivo DAG". Luego, asigne un nombre al archivo y haga clic en el botón Crear.

   

2. Una vez creado, se le presentará un código DAG repetitivo. Edite el archivo para incluir los contenidos proporcionados. Actualice el argumento pipeline_name con el nombre de su canalización ADF.

from datetime import datetime, timedelta

from airflow.models import DAG
from airflow.providers.microsoft.azure.operators.data_factory import AzureDataFactoryRunPipelineOperator


with DAG(
    dag_id="example_adf_run_pipeline",
    start_date=datetime(2022, 5, 14),
    schedule_interval="@daily",
    catchup=False,
    default_args={
        "retries": 1,
        "retry_delay": timedelta(minutes=3),
        "azure_data_factory_conn_id": "azure_data_factory_conn_id", #This is a connection created on Airflow UI
    },
    default_view="graph",
) as dag:

    run_adf_pipeline = AzureDataFactoryRunPipelineOperator(
        task_id="run_adf_pipeline",
        pipeline_name="<Pipeline Name>",
    )

    run_adf_pipeline

3. Haga clic en Guardar para guardar el archivo.

   

Creación de una conexión de Apache Airflow para conectarse con Azure Data Factory

1. Haga clic en Ver conexiones de Airflow para ver la lista de todas las conexiones configuradas y para configurar una nueva.

   

2. Haga clic en "+" -> Seleccione el tipo de conexión: Azure Data Factory -> Complete los campos: ID de conexión, ID de cliente, secreto, ID de inquilino, ID de suscripción, nombre del grupo de recursos, nombre de fábrica.

3. Haga clic en el botón Guardar.

Supervisión del DAG de Apache Airflow y ejecución desde la interfaz de usuario de Apache Airflow

Los archivos dag guardados se cargan en la interfaz de usuario de Apache Airflow. Para supervisarlos, haga clic en el botón Supervisar en Apache Airflow.

Contenido relacionado

Inicio rápido: Creación de un trabajo de Apache Airflow