Preparar dados com estruturação de dados

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Experimente o Data Factory no Microsoft Fabric, uma solução de análise tudo-em-um para empresas. O Microsoft Fabric abrange desde movimentação de dados até ciência de dados, análise em tempo real, business intelligence e relatórios. Saiba como iniciar uma avaliação gratuita!

A preparação de dados no Data Factory permite que você crie mash-ups do Power Query interativos de maneira nativa no ADF (Azure Data Factory) e, em seguida, execute-os em grande escala dentro de um pipeline do ADF.

Criar uma atividade do Power Query

Há duas maneiras de criar um Power Query no Azure Data Factory. Uma maneira é clicar no ícone de adição e selecionar Power Query no painel de recursos da fábrica.

O outro método está no painel atividades da tela do pipeline. Abra o acordeão do Power Query e arraste a atividade de Power Query para a tela.

Autorar uma atividade de processamento de dados no Power Query

Adicione um conjunto de dados de origem para a combinação do Power Query. Você pode escolher um conjunto de dados existente ou criar um. Após salvar o seu mash-up, será possível criar um pipeline, adicionar a atividade de transformação de dados do Power Query ao pipeline e selecionar um conjunto de dados de destino para especificar ao ADF onde colocar os dados. Embora você possa escolher um ou mais conjuntos de dados de origem, apenas um coletor é permitido no momento. A escolha de um conjunto de dados do coletor é opcional, mas pelo menos um conjunto de dados de origem é necessário.

Clique em Criar para abrir o editor de combinação do Power Query Online.

Primeiro, você escolhe uma origem de conjunto de dados para o editor de mashup.

Após concluir a criação do Power Query, você poderá salvá-lo e criar um pipeline. É necessário adicionar o mashup como uma atividade ao pipeline. É nesse momento que você criará ou selecionará o conjunto de dados de destino para armazenar os seus dados. Também é possível definir as propriedades do conjunto de dados de destino clicando no segundo botão no lado direito do mesmo. Lembre-se de alterar a "opção de partição" em "Otimizar" para "Partição única" se quiser obter apenas um único arquivo de saída.

Escreva o seu Power Query de tratamento de dados usando preparação de dados sem a necessidade de código. Para obter a lista de funções disponíveis, veja funções de transformação. O ADF converte o script M em um script de fluxo de dados para que você possa operar o Power Query em escala, usando o ambiente Spark de fluxo de dados do ADF.

Executar e monitorar uma atividade de preparação de dados do Power Query

Para executar uma execução de depuração do pipeline de uma atividade do Power Query, clique em Depurar na tela do pipeline. Depois de publicar o pipeline, o Acionar agora realiza uma execução imediata do último pipeline publicado. Os pipelines do Power Query podem ser agendados com todos os gatilhos existentes do Azure Data Factory.

Acesse a guia Monitor para visualizar a saída de uma execução de atividade do Power Query acionada.

Conteúdo relacionado

Saiba como criar um fluxo de dados de mapeamento.