Como funciona o Azure Workflow Orchestration Manager?
APLICA-SE A:
Azure Data Factory 
Azure Synapse Analytics
Gorjeta
Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange tudo, desde a movimentação de dados até ciência de dados, análises em tempo real, business intelligence e relatórios. Saiba como iniciar uma nova avaliação gratuitamente!
Nota
O Workflow Orchestration Manager é alimentado pelo Apache Airflow.
Nota
O Workflow Orchestration Manager para Azure Data Factory depende do aplicativo Apache Airflow de código aberto. Documentação e mais tutoriais sobre o fluxo de ar podem ser encontrados nas páginas de documentação ou comunidade do Apache Airflow.
O Workflow Orchestration Manager no Azure Data Factory usa DAGs (Directed Acyclic Graphs) baseados em Python para executar seus fluxos de trabalho de orquestração. Para usar esse recurso, você precisa fornecer seus DAGs e plug-ins no Armazenamento de Blobs do Azure ou por meio do repositório GitHub. Você pode iniciar a interface do usuário do Airflow a partir do ADF usando uma interface de linha de comando (CLI) ou um kit de desenvolvimento de software (SDK) para gerenciar seus DAGs.
Criar um ambiente do Workflow Orchestration Manager
Consulte a: Criar um ambiente do Workflow Orchestration Manager
Importar DAGs
O Workflow Orchestration Manager fornece dois métodos distintos para carregar DAGs de arquivos de origem python no ambiente do Airflow. Esses métodos são:
Ativar a sincronização do Git: este serviço permite sincronizar o repositório do GitHub com o Workflow Orchestration Manager, permitindo que você importe DAGs diretamente do repositório do GitHub. Consulte Sincronizar um repositório GitHub no Workflow Orchestration Manager
Armazenamento de Blobs do Azure: você pode carregar seus DAGs, plug-ins, etc. em uma pasta designada dentro de uma conta de armazenamento de blob vinculada ao Azure Data Factory. Em seguida, importe o caminho do arquivo da pasta no Workflow Orchestration Manager. Consulte: Importar DAGs usando o Armazenamento de Blobs do Azure
Remover DAGs do ambiente de fluxo de ar
Consulte a: Excluir DAGs no Workflow Orchestration Manager
O Monitor DAG é executado
Para monitorar os DAGs do Airflow, entre na interface do usuário do Airflow com o nome de usuário e a senha criados anteriormente.
Selecione no ambiente de fluxo de ar criado.
Entre usando o nome de usuário-senha fornecido durante a criação do Airflow Integration Runtime. (Você pode redefinir o nome de usuário ou senha editando o tempo de execução da integração do Airflow, se necessário)
Solução de problemas de importação do DAG
Problema: a importação do DAG está demorando mais de 5 minutos Atenuação: reduza o tamanho dos DAGs importados com uma única importação. Uma maneira de conseguir isso é criando várias pastas DAG com DAGs menores em vários contêineres.
Problema: os DAGs importados não aparecem quando você entra na interface do usuário do Airflow. Atenuação: entre na interface do usuário do Airflow e veja se há erros de análise do DAG. Isso pode acontecer se os arquivos DAG contiverem qualquer código incompatível. Você encontrará os números exatos das linhas e os arquivos, que têm o problema através da interface do usuário do Airflow.
