Atividade do Power Query no Azure Data Factory
A atividade do Power Query permite que você compile e execute combinações do Power Query para executar estruturação de dados em escala em um pipeline do Data Factory. Você pode criar uma nova combinação do Power Query na opção de menu Novos recursos ou adicionando uma atividade Power ao seu pipeline.
Você pode trabalhar diretamente dentro do editor de combinação do Power Query para executar a exploração interativa de dados e, em seguida, salvar seu trabalho. Uma vez concluído, você pode pegar sua atividade do Power Query e adicioná-la a um pipeline. O Azure Data Factory o escalará automaticamente e colocará em operação a estruturação de dados usando o ambiente do Spark de fluxo de dados do Azure Data Factory.
Criar uma atividade do Power Query com a interface do usuário
Para usar uma atividade do Power Query em um pipeline, conclua as etapas a seguir:
Procure Power Query no painel Atividades do pipeline e arraste uma atividade do Power Query para a tela do pipeline.
Selecione a nova atividade do Power Query na tela, se ainda não estiver selecionada, e a guia Configurações para editar os detalhes.
Selecione um Power Query existente e selecione Abrir ou o botão Novo para criar um novo Power Query, abrindo o editor do Power Query.
Selecione um conjunto de um existente ou selecione Novo para definir um novo. Use os recursos avançados de Power Query diretamente na experiência de edição de pipeline para transformar o conjunto de da como achar melhor. Você pode adicionar várias consultas de vários conjuntos de dados no editor e usá-las depois.
Depois de definir um ou mais Power Queries na etapa anterior, você também pode designar os locais de coletor para qualquer um/todos/nenhum deles, na guia Coletor para a atividade do Power Query.
Você também pode usar a saída de sua atividade do Power Query como entradas para outras atividades. Vejamos um exemplo de uma atividade For Each que faz referência à saída do Power Query definido anteriormente para a propriedade Items dele. Os Itens dele dão suporte ao conteúdo dinâmico, no qual você pode fazer referência a qualquer saída do Power Query usada como entrada.
Todas as saídas de atividade são exibidas, e podem ser usadas ao definir o conteúdo dinâmico selecionando-as no painel Compilador de expressão do pipeline.
Tradução para o script de fluxo de dados
Para alcançar a escala com a atividade do Power Query, o Azure Data Factory converte o script M em um script de fluxo de dados para que você possa executar o Power Query em escala usando o ambiente do Spark de fluxo de dados do Azure Data Factory. Crie o fluxo de dados de estruturação usando a preparação de dados sem código. Para obter a lista de funções disponíveis, veja funções de transformação.
Configurações
- Power Query: escolha um Power Query existente para executar ou criar um novo.
- Executar no Azure IR: escolha os Azure Integration Runtimes existentes para definir o ambiente de computação para seu Power Query ou crie um novo.
- Tipo de computação: se você escolher o runtime de integração de resolução automática padrão, poderá selecionar o tipo de computação a ser aplicado à computação de cluster do Spark para sua execução do Power Query.
- Contagem de núcleos: se você escolher o runtime de integração de resolução automática padrão, poderá selecionar o número de núcleos a ser aplicado à computação de cluster do Spark para sua execução do Power Query.
Coletor
Escolha o conjunto de dados que deseja usar para obter seus dados transformados, uma vez que o script do Power Query M foi executado no Spark. Para obter mais detalhes sobre como configurar os coletores, confira a documentação de coletores de fluxo de dados.
Você tem a opção de coletar a saída para vários destinos. Clique no botão de mais (+) para adicionar mais coletores à consulta. Você também pode direcionar cada saída de consulta individual de sua atividade do Power Query de estruturação para destinos diferentes.
Mapeamento
Na guia Mapeamento, você pode configurar o mapeamento da coluna da saída do Power Query para o esquema de destino do seu coletor escolhido. Leia mais sobre o mapeamento de coluna da documentação de mapeamento do coletor do fluxo de dados.
Conteúdo relacionado
Saiba mais sobre os conceitos de estruturação de dados usando o Power Query no Azure Data Factory