Nota
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Nota:
El trabajo de Apache Airflow funciona con Apache Airflow.
En este tutorial, creará un DAG de Apache Airflow para orquestar la canalización de ADF con el trabajo de Apache Airflow.
Requisitos previos
Para empezar, debe completar los siguientes requisitos previos:
Creación de una canalización de datos en Azure Data Factory.
Para ejecutar la canalización de Azure Data Factory (ADF), añada la entidad de servicio como
contributor
a la instancia de ADF donde ejecuta la canalización.
Añadir requisito de Apache Airflow
Vaya a Configuración y seleccione Configuración del entorno.
En "Requisitos de Apache Airflow", incluya "apache-airflow-providers-microsoft-azure".
Haga clic en Aplicar para guardar los cambios.
Creación de un DAG de Apache Airflow
Comience seleccionando la tarjeta "Nuevo archivo DAG". Luego, asigne un nombre al archivo y haga clic en el botón Crear.
Una vez creado, se le presentará un código DAG repetitivo. Edite el archivo para incluir los contenidos proporcionados. Actualice el argumento pipeline_name con el nombre de su canalización ADF.
from datetime import datetime, timedelta
from airflow.models import DAG
from airflow.providers.microsoft.azure.operators.data_factory import AzureDataFactoryRunPipelineOperator
with DAG(
dag_id="example_adf_run_pipeline",
start_date=datetime(2022, 5, 14),
schedule_interval="@daily",
catchup=False,
default_args={
"retries": 1,
"retry_delay": timedelta(minutes=3),
"azure_data_factory_conn_id": "azure_data_factory_conn_id", #This is a connection created on Airflow UI
},
default_view="graph",
) as dag:
run_adf_pipeline = AzureDataFactoryRunPipelineOperator(
task_id="run_adf_pipeline",
pipeline_name="<Pipeline Name>",
)
run_adf_pipeline
Creación de una conexión de Apache Airflow para conectarse con Azure Data Factory
Haga clic en Ver conexiones de Airflow para ver la lista de todas las conexiones configuradas y para configurar una nueva.
Haga clic en "+" -> Seleccione el tipo de conexión: Azure Data Factory -> Complete los campos: ID de conexión, ID de cliente, secreto, ID de inquilino, ID de suscripción, nombre del grupo de recursos, nombre de fábrica.
Haga clic en el botón Guardar.
Supervisión del DAG de Apache Airflow y ejecución desde la interfaz de usuario de Apache Airflow
Los archivos dag guardados se cargan en la interfaz de usuario de Apache Airflow. Para supervisarlos, haga clic en el botón Supervisar en Apache Airflow.
Contenido relacionado
Inicio rápido: Creación de un trabajo de Apache Airflow