Crie um ambiente Airflow no gerenciador de orquestração de fluxo de trabalho

Observação

O gerenciador de orquestração de fluxo de trabalho é desenvolvido com Apache Airflow.

Esse artigo descreve como instalar e configurar um ambiente gerenciador de orquestração de fluxo de trabalho.

Pré-requisitos

• Assinatura do Azure: caso você não tenha uma assinatura do Azure, crie uma conta gratuita antes de começar.
• Azure Data Factory: Crie ou selecione uma instância existente do Data Factory na região onde há suporte para a visualização do gerenciador de orquestração de fluxo de trabalho.

Criar o ambiente

Para criar um novo ambiente do gerenciador de orquestração de fluxo de trabalho:

1. Vá para o hub Gerenciar e selecione Airflow (visualização)>+ Novo para abrir a página Configuração do ambiente Airflow.

   

2. Insira informações e selecione opções para sua configuração do Airflow.

   

   Importante

   Ao usar a autenticação Básica, lembre-se do nome de usuário e da senha especificados nesta página. Você precisa que eles façam login mais tarde na IU do Airflow. A opção padrão é Azure AD. Não é necessário criar um nome de usuário e senha para o seu ambiente Airflow. Em vez disso, utiliza a credencial do utilizador inscrito para a Azure Data Factory para iniciar sessão e monitorizar gráficos acíclicos direcionados (DAGs).

   Mais opções na página Configuração do ambiente Airflow:

   • Habilitar sincronização git: você pode permitir que seu ambiente Airflow sincronize automaticamente com um repositório Git em vez de importar DAGs manualmente. Para obter mais informações, veja Sincronizar um repositório GitHub no gerenciador de orquestração de fluxo de trabalho.
   • Substituições de configuração do Airflow Você pode substituir as configurações do Airflow definidas no airflow.cfg. Os exemplos são name: AIRFLOW__VAR__FOO e value: BAR. Para obter mais informações, veja Configurações do Airflow.
   • Variáveis de ambiente: você pode usar esse armazenamento de chave-valor no Airflow para armazenar e recuperar conteúdo ou configurações arbitrárias.
   • Requisitos: Você pode usar esta opção para instalar bibliotecas Python. Você pode atualizar esses requisitos posteriormente.
   • Segredos do Kubernetes: você pode criar um segredo personalizado do Kubernetes para seu ambiente Airflow. Um exemplo é Credenciais de registro privado para extrair imagens para KubernetesPodOperator.

3. Após preencher todas as informações de acordo com os requisitos, selecione Criar.