Preparar dados com estruturação de dados

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

A estruturação de dados no Data Factory permite que você crie combinações do Power Query interativas de maneira nativa no ADF (Azure Data Factory) e, em seguida, execute-as em escala dentro de um pipeline do ADF.

Criar uma atividade do Power Query

Há duas maneiras de criar um Power Query no Azure Data Factory. Uma maneira é clicar no ícone de adição e selecionar Power Query no painel de recursos do Factory.

O outro método está no painel atividades da tela do pipeline. Abra o acordeão do Power Query e arraste a atividade de Power Query para a tela.

Criar uma atividade de estruturação de dados do Power Query

Adicione um conjuntos de dados de origem para a combinação do Power Query. Você pode escolher um conjunto de dados existente ou criar um. Após salvar o mashup, será possível criar um pipeline, adicionar a atividade de estruturação de dados do Power Query ao pipeline e selecionar um conjunto de dados do coletor para informar ao ADF onde colocar os dados. Embora você possa escolher um ou mais conjuntos de dados de origem, apenas um coletor é permitido no momento. A escolha de um conjunto de dados do coletor é opcional, mas pelo menos um conjunto de dados de origem é necessário.

Clique em Criar para abrir o editor de combinação do Power Query Online.

Primeiro, você escolhe uma origem de conjunto de dados para o editor de mashup.

Após concluir a criação do Power Query, você poderá salvá-lo e criar um pipeline. É necessário adicionar o mashup como uma atividade ao pipeline. É quando você criará/selecionará o conjunto de dados do coletor para obter os dados. Também é possível definir as propriedades do conjunto de dados do coletor clicando no segundo botão no lado direito do conjunto de dados do coletor. Lembre-se de alterar a "opção de partição" em "Otimizar" para "Partição única" se quiser obter apenas um único arquivo de saída.

Crie seu Power Query de estruturação usando a preparação de dados sem código. Para obter a lista de funções disponíveis, veja funções de transformação. O ADF converte o script M em um script de fluxo de dados para que você possa executar o Power Query em escala usando o ambiente do Spark do fluxo de dados do ADF.

Executar e monitorar uma atividade de estruturação de dados do Power Query

Para realizar uma execução de depuração de pipeline de uma atividade do Power Query, na tela do pipeline, clique em Depurar. Depois de publicar o pipeline, o Gatilho agora realiza uma execução sob demanda do último pipeline publicado. Os pipelines do Power Query podem ser agendados com todos os gatilhos do Azure Data Factory existentes.

Acesse a guia Monitor para visualizar a saída de uma execução de atividade do Power Query acionada.

Conteúdo relacionado

Saiba como criar um fluxo de dados de mapeamento.