Usar um fluxo de dados em um pipeline

Neste tutorial, você cria um pipeline de dados para mover o OData de uma fonte Northwind para um destino lakehouse e envia uma notificação por e-mail quando o pipeline é concluído.

Pré-requisitos

Para começar, você deve preencher os seguintes pré-requisitos:

• Verifique se você tem um Espaço de Trabalho habilitado para Microsoft Fabric que não seja o Meu Espaço de Trabalho padrão.

Crie uma Lakehouse

Para começar, primeiro você precisa criar uma casa no lago. Um lakehouse é um data lake otimizado para análises. Neste tutorial, você cria uma casa de lago que é usada como destino para o fluxo de dados.

1. Vá para o espaço de trabalho habilitado para malha.

   

2. Selecione Lakehouse no menu de criação.

   

3. Insira um Nome para a casa do lago.

4. Selecione Criar.

Agora você criou uma casa de lago e agora pode configurar o fluxo de dados.

Criar um fluxo de dados

Um fluxo de dados é uma transformação de dados reutilizável que pode ser usada em um pipeline. Neste tutorial, você cria um fluxo de dados que obtém dados de uma fonte OData e grava os dados em um destino lakehouse.

1. Vá para o espaço de trabalho habilitado para malha.

   

2. Selecione Dataflow Gen2 no menu criar.

   

3. Ingerir os dados da fonte OData.

   1. Selecione Obter dados e, em seguida, selecione Mais.

      

   2. Em Escolher fonte de dados, procure OData e selecione o conector OData.

      

   3. Insira a URL da fonte OData. Para este tutorial, use o serviço de exemplo OData.

   4. Selecione Seguinte.

   5. Selecione a Entidade que pretende ingerir. Neste tutorial, use a entidade Orders .

      

   6. Selecione Criar.

Agora que você ingeriu os dados da fonte OData, você pode configurar o destino lakehouse.

Para ingerir os dados para o destino lakehouse:

1. Selecione Adicionar destino de dados.

2. Selecione Lakehouse.

   

3. Configure a conexão que você deseja usar para se conectar à casa do lago. As configurações padrão são boas.

4. Selecione Seguinte.

5. Navegue até o espaço de trabalho onde você criou a casa do lago.

6. Selecione a casa do lago que você criou nas etapas anteriores.

   

7. Confirme o nome da tabela.

8. Selecione Seguinte.

9. Confirme o método de atualização e selecione Salvar configurações.

   

10. Publique o fluxo de dados.

    Importante

    Quando o primeiro Dataflow Gen2 é criado em um espaço de trabalho, os itens Lakehouse e Warehouse são provisionados junto com seus modelos semânticos e de ponto de extremidade de análise SQL relacionados. Esses itens são compartilhados por todos os fluxos de dados no espaço de trabalho e são necessários para que o Dataflow Gen2 funcione, não devem ser excluídos e não se destinam a ser usados diretamente pelos usuários. Os itens são um detalhe de implementação do Dataflow Gen2. Os itens não são visíveis no espaço de trabalho, mas podem ser acessíveis em outras experiências, como as experiências Notebook, SQL-endpoint, Lakehouse e Warehouse. Você pode reconhecer os itens por seu prefixo no nome. O prefixo dos itens é 'DataflowsStaging'.

Agora que você ingeriu os dados para o destino lakehouse, você pode configurar seu pipeline de dados.

Criar um pipeline de dados

Um pipeline de dados é um fluxo de trabalho que pode ser usado para automatizar o processamento de dados. Neste tutorial, você cria um pipeline de dados que executa o Dataflow Gen2 criado no procedimento anterior.

1. Navegue de volta para a página de visão geral do espaço de trabalho e selecione Pipelines de Dados no menu Criar.

   

2. Forneça um Nome para o pipeline de dados.

3. Selecione a atividade Fluxo de dados.

   

4. Selecione o Fluxo de Dados que você criou no procedimento anterior na lista suspensa Fluxo de Dados em Configurações.

   

5. Adicione uma atividade do Office 365 Outlook .

   

6. Configure a atividade do Office 365 Outlook para enviar notificações por email.

   1. Autentique-se com a sua conta do Office 365.

   2. Selecione o endereço de e-mail para o qual deseja enviar a notificação.

   3. Insira um Assunto para o e-mail.

   4. Insira um Corpo para o e-mail.

      

Executar e agendar o pipeline de dados

Nesta seção, você executa e agenda o pipeline de dados. Esse agendamento permite que você execute o pipeline de dados em uma agenda.

1. Vá para a área de trabalho.

2. Abra o menu suspenso do pipeline de dados criado no procedimento anterior e selecione Agendar.

   

3. Em Execução agendada, selecione Ativado.

   

4. Forneça o agendamento que você deseja usar para executar o pipeline de dados.

   1. Repita, por exemplo, todos os dias ou todos os minutos.
   2. Quando selecionado Diariamente, você também pode selecionar a Hora.
   3. Comece em uma data específica.
   4. Terminar numa data específica.
   5. Selecione o fuso horário.

5. Selecione Aplicar para aplicar as alterações.

Agora você criou um pipeline de dados que é executado em uma agenda, atualiza os dados na casa do lago e envia uma notificação por e-mail. Você pode verificar o status do pipeline de dados acessando o Hub do Monitor. Você também pode verificar o status do pipeline de dados indo para Data Pipeline e selecionando a guia Histórico de execução no menu suspenso.

Conteúdos relacionados

Este exemplo mostra como usar um fluxo de dados em um pipeline com o Data Factory no Microsoft Fabric. Aprendeu a:

• Criar um fluxo de dados.
• Crie um pipeline invocando seu fluxo de dados.
• Execute e agende seu pipeline de dados.

Em seguida, avance para saber mais sobre como monitorar suas execuções de pipeline.

Como monitorar execuções de pipeline no Microsoft Fabric