Compartir a través de

¿Qué es el trabajo de Apache Airflow?

Nota:

El trabajo de Apache Airflow funciona con Apache Airflow.

Apache Airflow representa la próxima generación del administrador de orquestaciones de flujos de trabajo de Azure Data Factory. Son una manera sencilla y eficaz de crear y administrar trabajos de orquestación de Apache Airflow, lo que le permite ejecutar gráficos acíclicos dirigidos (DAG) a escala con facilidad. Es la parte de Data Factory de Fabric que le permite obtener una experiencia de integración de datos moderna para ingerir, preparar y transformar datos de un amplio conjunto de orígenes de datos: por ejemplo, bases de datos, almacenamiento de datos, Lakehouse, datos en tiempo real y más.

¿Cuándo usar una tarea de Apache Airflow?

Los trabajos de Apache Airflow ofrecen un servicio administrado que permite a los usuarios crear y administrar DAG (gráficos acíclicos dirigidos) basados en Python para la orquestación de flujos de trabajo, sin tener que preocuparse por la infraestructura subyacente. Si tiene experiencia con Apache Airflow o prefiere el enfoque centrado en código, esta opción es ideal. Por el contrario, si prefiere una solución sin código para la orquestación de datos, las canalizaciones ofrecen una alternativa fácil de usar, que no requiere administrar ni escribir flujos de trabajo basados en Python.

Principales características

El trabajo de Apache Airflow hospedado en Microsoft Fabric ofrece una variedad de características eficaces, entre las que se incluyen:

Principales características Trabajo de Apache Airflow en Fabric El administrador de orquestación de flujo de trabajo en Azure Data Factory
Sincronización de Git Sí Sí
La habilitación de AKV (Azure Key Vault) como back-end Sí Sí
Instalación del paquete privado como requisito Sí Sí
Registros y métricas de diagnóstico No Sí
Almacenamiento de Blobs No Sí
Dirección IP del clúster de Apache Airflow Sí Sí
Escalabilidad automática para administrar picos de ejecución de cargas de trabajo de producción Sí Parcial
Alta disponibilidad para mitigar la interrupción o el tiempo de inactividad Sí No
Operadores aplazables para suspender operadores inactivos y liberar trabajos Sí No
Pausa y reanudación de TTL (período de vida) Sí No
Experiencia SaaS - 10 segundos para empezar - creación de DAGs - prueba gratuita de Fabric Sí No

Disponibilidad de regiones

  • Este de Australia
  • Sudeste de Australia
  • Sur de Brasil
  • Centro de Canadá
  • Este de Canadá
  • Centro de la India
  • Centro de EE. UU.
  • Este de Asia
  • Este de EE. UU.
  • Este de EE. UU. 2
  • Centro de Francia
  • Centro-oeste de Alemania
  • Centro de Indonesia (próximamente)
  • Centro de Israel
  • Norte de Italia
  • Japón Oriental
  • Oeste de Japón
  • Centro de Corea del Sur
  • Oeste de Malasia (próximamente)
  • Centro de México
  • Norte de Nueva Zelanda (próximamente)
  • Norte de Europa
  • Este de Noruega
  • Centro de Polonia
  • Centro de Qatar (próximamente)
  • Centro de España (próximamente)
  • Norte de Sudáfrica
  • Centro-sur de EE. UU.
  • Sur de la India
  • Sudeste de Asia
  • Centro de Suecia
  • Norte de Suiza
  • Oeste de Suiza
  • Norte de Taiwán (próximamente)
  • Noroeste de Taiwán (próximamente)
  • Norte de Emiratos Árabes Unidos
  • Sur de Reino Unido 2
  • Oeste de Reino Unido
  • Oeste de Europa
  • Oeste de EE. UU.
  • Oeste de EE. UU. 2
  • Oeste de EE. UU. 3

Versiones compatibles de Apache Airflow

  • 2.10.5

Soporte para la versión de Python

  • 3,12

Nota:

Actualmente no se admite el cambio de la versión de Apache Airflow dentro de un trabajo de Apache Airflow existente. En su lugar, la solución recomendada es crear un nuevo trabajo de Apache Airflow con la versión deseada.

Contenido relacionado