Guia de início rápido: criar um trabalho do Apache Airflow

Nota

O trabalho do Apache Airflow é alimentado pelo Apache Airflow.
O Apache Airflow é uma plataforma de código aberto usada para criar, programar e monitorar programaticamente trabalhos complexos. Ele permite definir um conjunto de tarefas, chamadas operadores, que podem ser combinadas em gráficos acíclicos direcionados (DAGs) para representar pipelines de dados.

O Apache Airflow Job fornece uma maneira simples e eficiente de criar e gerenciar ambientes Apache Airflow, permitindo que você execute seus trabalhos de orquestração em escala com facilidade. Neste início rápido, vamos criar um trabalho simples do Apache Airflow para se familiarizar com o ambiente e as funcionalidades do Apache Airflow Job.

Pré-requisitos

• Habilite o Apache Airflow Job em seu locatário.

Nota

Como o trabalho do Apache Airflow está em estado de visualização, você precisa habilitá-lo por meio do administrador do locatário. Se você já vir o Apache Airflow Job, o administrador do locatário pode já tê-lo habilitado.

1. Vá para Portal de Administração -> Configurações do Locatário -> Em Microsoft Fabric -> Expanda a seção 'Os usuários podem criar e usar o Apache Airflow Job (visualização)'.
2. Selecione Aplicar.

Criar um trabalho de fluxo de ar Apache

1. Você pode usar um espaço de trabalho existente ou Criar um novo espaço de trabalho.

2. Expandir + New lista suspensa -> Clique em Mais Opções -> Na Data Factory seção -> Selecione Apache Airflow Job (visualização)

   

   

3. Dê um nome adequado ao seu projeto e clique no botão "Criar".

Criar um arquivo DAG

1. Clique no cartão "New DAG file" -> dê o nome ao arquivo e clique no botão "Criar".

   

2. Um código DAG clichê é apresentado a você. Você pode editar o arquivo de acordo com suas necessidades.

   

3. Clique em "Salvar ícone".

   

Executar um DAG

1. Comece clicando no botão "Executar DAG".

   

2. Uma vez iniciado, uma notificação aparecerá imediatamente indicando que o DAG está em execução.

3. Para monitorar o progresso da execução do DAG, basta clicar em "Ver detalhes" dentro da central de notificações. Essa ação irá redirecioná-lo para a interface do usuário do Apache Airflow, onde você pode rastrear convenientemente o status e os detalhes da execução do DAG.

   

Monitore seu DAG Apache Airflow na interface do usuário do Apache Airflow

Os arquivos dag salvos são carregados na interface do usuário do Apache Airflow. Você pode monitorá-los clicando no botão "Monitor in Apache Airflow".

Conteúdo relacionado

• Instalar pacote privado no trabalho Apache Airflow