Importar DAGs usando o Armazenamento de Blobs do Azure

Nota

Esta funcionalidade está em pré-visualização pública. O Workflow Orchestration Manager é alimentado pelo Apache Airflow.

Este artigo mostra instruções passo a passo sobre como importar gráficos acíclicos direcionados (DAGs) para o Workflow Orchestration Manager usando o Armazenamento de Blobs do Azure.

Pré-requisitos

• Assinatura do Azure: se você não tiver uma assinatura do Azure, crie uma conta gratuita do Azure antes de começar.
• Azure Data Factory: crie ou selecione uma instância existente do Data Factory em uma região onde a visualização do Workflow Orchestration Manager é suportada.
• Conta de Armazenamento do Azure: se você não tiver uma conta de armazenamento, consulte Criar uma conta de Armazenamento do Azure para conhecer as etapas para criar uma. Certifique-se de que a conta de armazenamento permite o acesso apenas a partir de redes selecionadas.

O armazenamento de Blob atrás de redes virtuais não é suportado durante a visualização. A configuração do Cofre de Chaves do Azure não storageLinkedServices é suportada para importar DAGs.

Importar DAGs

1. Copie o DAG Sample Apache Airflow v2.x ou o Sample Apache Airflow v1.10 DAG com base no ambiente Airflow que você configurou. Cole o conteúdo em um novo arquivo chamado tutorial.py.

   Carregue o arquivo tutorial.py para o Armazenamento de Blobs. Para obter mais informações, consulte Carregar um arquivo em um blob.

   Nota

   Você precisa selecionar um caminho de diretório de uma conta de Armazenamento de Blob que contenha pastas chamadas dags e plug-ins para importá-los para o ambiente Airflow. Os plugins não são obrigatórios. Você também pode ter um contêiner chamado dags e carregar todos os arquivos Airflow dentro dele.

2. Em Gerenciar hub, selecione Apache Airflow. Em seguida, passe o mouse sobre o ambiente Airflow criado anteriormente e selecione Importar arquivos para importar todos os DAGs e dependências para o ambiente Airflow.

   

3. Crie um novo serviço vinculado à conta de armazenamento acessível mencionada na seção "Pré-requisitos". Você também pode usar um existente se já tiver seus próprios DAGs.

   

4. Use a conta de armazenamento onde você carregou o DAG. (Verifique a seção "Pré-requisitos".) Teste a conexão e selecione Criar.

   

5. Procure e selecione fluxo de ar se estiver usando o exemplo de URL SAS. Você também pode selecionar a pasta que contém a pasta dags com arquivos DAG.

   Nota

   Você pode importar DAGs e suas dependências por meio dessa interface. Você precisa selecionar um caminho de diretório de uma conta de armazenamento de Blob que contenha pastas chamadas dags e plug-ins para importá-los para o ambiente Airflow. Os plugins não são obrigatórios.

   

   

6. Selecione Importar para importar arquivos.

   

   

A importação de DAGs pode levar alguns minutos durante a visualização. Você pode usar a central de notificações (ícone de sino na interface do usuário do Data Factory) para acompanhar as atualizações de status de importação.