¿Cómo funciona el Administrador de orquestación de flujo de trabajo de Azure?
SE APLICA A:
Azure Data Factory 
Azure Synapse Analytics
Sugerencia
Pruebe Data Factory en Microsoft Fabric, una solución de análisis todo en uno para empresas. Microsoft Fabric abarca todo, desde el movimiento de datos hasta la ciencia de datos, el análisis en tiempo real, la inteligencia empresarial y los informes. ¡Obtenga más información sobre cómo iniciar una nueva evaluación gratuita!
Nota:
El Administrador de orquestación de flujo de trabajo cuenta con la tecnología de Apache Airflow.
Nota:
El Administrador de orquestación de flujo de trabajo para Azure Data Factory se basa en la aplicación Apache Airflow de código abierto. Puede encontrar documentación y más tutoriales para Airflow en las páginas de documentación o la comunidad de Apache Airflow.
El Administrador de orquestación de flujo de trabajo en Azure Data Factory usa grafos acíclicos dirigidos (DAG) basados en Python para ejecutar los flujos de trabajo de orquestación. Para usar esta característica, debe indicar sus grafos acíclicos dirigidos y complementos en Azure Blob Storage o a través del repositorio de GitHub. Para administrar los DAG, puede lanzar la interfaz de usuario de Airflow desde ADF mediante una interfaz de línea de comandos (CLI) o un kit de desarrollo de software (SDK).
Creación de un entorno del Administrador de orquestación de flujo de trabajo
Consulta: Creación de un entorno del Administrador de orquestación de flujo de trabajo.
Importación de DAG
El Administrador de orquestación de flujo de trabajo proporciona dos métodos para cargar grafos acíclicos dirigidos desde archivos de origen de Python en el entorno de Airflow. Estos métodos son:
Habilitar sincronización de Git: este servicio permite sincronizar un repositorio de GitHub con el Administrador de orquestación de flujo de trabajo, lo que te permite importar grafos acíclicos dirigidos directamente desde el repositorio de GitHub. Consulta: Sincronización de un repositorio de GitHub en el Administrador de orquestación de flujo de trabajo.
Azure Blob Storage: puede cargar los grafos acíclicos dirigidos, complementos, etc. en una carpeta designada dentro de una cuenta de Blob Storage vinculada a Azure Data Factory. Luego, debes importar la ruta de acceso del archivo de la carpeta en el Administrador de orquestación de flujo de trabajo. Consulte: Importación de grafos acíclicos dirigidos mediante Azure Blob Storage
Eliminación de DAG del entorno de Airflow
Consulta: Eliminación de DAG en el Administrador de orquestación de flujo de trabajo.
Supervisión de ejecuciones de DAG
Para supervisar los DAG de Airflow, inicie sesión en la interfaz de usuario de Airflow con el nombre de usuario y la contraseña creados anteriormente.
Seleccione en el entorno de Airflow creado.
Inicie sesión con el nombre de usuario y la contraseña proporcionados durante la creación del entorno de ejecución de integración de Airflow. (Puede restablecer el nombre de usuario o la contraseña editando el entorno de ejecución de integración de Airflow si es necesario).
Solución de problemas de importación de DAG
Problema: la importación de DAG tarda más de 5 minutos. Mitigación: reduzca el tamaño de los DAG importados con una sola importación. Una manera de lograrlo es creando varias carpetas DAG con menos DAG en cada una en varios contenedores.
Problema: los DAG importados no aparecen al iniciar sesión en la interfaz de usuario de Airflow. Mitigación: inicie sesión en la interfaz de usuario de Airflow y compruebe si hay errores de análisis de DAG. Esto podría ocurrir si los archivos DAG contienen código incompatible. Encontrará los números de línea exactos y los archivos que tienen el problema mediante la interfaz de usuario de Airflow.
