Importar dados com o Power Query

Artigo
05/15/2024

Microsoft Cloud for Sustainability

A experiência guiada do Power Query é a abordagem de ingestão mais abrangente disponível no Microsoft Sustainability Manager. Ela permite que você importe dados para várias entidades por meio de fontes únicas ou múltiplas, tudo isso por meio de uma única importação. Você pode adicionar uma ou mais entidades ao longo do fluxo de ingestão junto com orientações detalhadas para garantir que a ingestão seja bem-sucedida.

Esse fluxo separa as etapas de transformação e mapeamento de dados para permitir que diferentes usuários transformem e mapeiem dados durante a ingestão. Ele também permite transformar e mapear dados dentro do mesmo fluxo de ingestão. A experiência de mapeamento também inclui lógica inteligente para identificar as entidades de modelo de dados corretas usando informações de atributo das consultas de transformação de dados.

As etapas nesta seção ajudam você a usar a experiência do Power Query como Sustainability Manager.

Passo 1: Iniciar a experiência do Power Query

Para acessar a nova experiência do Power Query, selecione Importações de dados em Gerenciamento de dados na área Dados na navegação esquerda.
Selecione Experiência guiada do Power Query. Uma nova tela de navegação é aberta onde você pode selecionar as entidades para importação.

O Sustainability Manager agora criou uma experiência de carrinho de compras onde todas as entidades disponíveis são divididas nas seguintes categorias.
- Atividades de Carbono
- Emissões de Carbono
- Água
- Resíduo
- Dados de Referência
Selecione qualquer uma dessas categorias de dados para visualizar uma lista de todas as suas entidades que você pode importar.

Etapa 2: Adicionar entidades

Você pode adicionar uma ou mais entidades na mesma importação de dados. Selecione o botão Adicionar antes de cada entidade no carrinho de compras à direita. Você também pode adicionar entidades entre categorias na mesma importação.

Uma marca de seleção indica cada entidade selecionada no carrinho de compras. Você pode remover entidades do carrinho de compras selecionando o X ao lado delas.

Você também pode visualizar todos os dados importados para cada uma dessas entidades selecionando Exibir ao lado do nome da entidade. Uma nova janela exibe todos os dados que já foram importados para o Sustainability Manager.

A experiência do carrinho de compras é fornecida em uma navegação separada à direita chamada Ferramentas de transformação de dados. Essas ferramentas aparecem em três guias. Cada guia está disponível durante a experiência de importação, mas você pode ocultá-las, se necessário, selecionando Ocultar ferramentas de transformação de dados no canto superior direito. Cada guia ajuda a guiá-lo para importar dados com sucesso.

Dados
Lista de Verificação
Modelos e dicas

Dados

A guia Dados fornece uma lista de todas as entidades adicionadas à importação de dados junto com uma lista suspensa de todas as entidades disponíveis para importação no Sustainability Manager. Selecione o menu suspenso para listar as entidades. Selecione uma entidade para adicioná-la à importação de dados. Essa ferramenta oferece a opção de adicionar entidades, caso você tenha esquecido de fazer a seleção na primeira etapa.

Lista de Verificação

A guia Lista de verificação fornece uma lista de todas as entidades com as entidades da importação mostradas primeiro. Depois de selecionar qualquer entidade, você verá uma lista de todos os atributos obrigatórios e opcionais para uma importação bem-sucedida. Essa ferramenta fornece uma referência rápida para garantir que todos os atributos necessários sejam importados da fonte de dados para que a importação seja bem-sucedida.

A lista de verificação também fornece mais informações sobre cada um dos atributos, por exemplo, se for uma pesquisa ou uma lista de seleção. Você pode obter mais detalhes sobre alguns desses atributos selecionando o ícone de informações ao lado deles.

Captura de tela mostrando como obter mais detalhes sobre os atributos.

Para alguns atributos, abre uma nova janela com as informações disponíveis.

Captura de tela mostrando a abertura de uma nova janela com detalhes do atributo.

Observação

A guia Lista de verificação fornece apenas informações sobre os atributos associados à entidade selecionada, então você não pode usá-la para adicionar mais entidades à sua importação de dados do menu suspenso, que é disponível apenas na guia Dados. No entanto, você pode selecionar Adicionar na tela de navegação principal para adicionar mais entidades com qualquer uma das três guias selecionadas em Ferramentas de transformação de dados. Você só pode ver a lista de entidades selecionadas para importação na guia Dados.

Modelos e dicas

A guia Modelos e dicas fornece a opção de baixar e usar modelos simplificados do Excel na experiência do Power Query. A experiência de modelos dedicados detalhada em Importar dados com modelos do Excel é usada para uma importação única e fornece orientação para importar dados com êxito para o Sustainability Manager. No entanto, os modelos no Power Query incluem apenas as entidades e atributos que você pode baixar por meio da experiência do Power Query, adicionar os dados e criar uma conexão do Power Query.

Captura de tela mostrando a guia Modelos e Dicas da página Ferramentas de transformação de dados.

Esta guia inclui orientações sobre como usar esses modelos na experiência do Power Query. Ele também inclui vídeos e documentação sobre como transformar dados no Sustainability Manager, juntamente com documentação detalhada sobre o Power Query. Todas essas informações ajudam a atender às suas necessidades, dependendo do nível de experiência, tanto em entidades de sustentabilidade quanto na experiência do Power Platform. A opção de incluir modelos na experiência do Power Query fornece flexibilidade se você achar difícil usar as ferramentas de transformação do Power Query, mesmo com as informações fornecidas.

Etapa 3: Escolher uma fonte de dados

Depois de adicionar todas as entidades ao carrinho de compras, selecione Avançar para escolher o fonte de dados. Uma lista é exibida com todos os conectores do Power Query que você pode usar para importar dados.
Selecione fonte de dados para acessar a página Configurações de conexão. Dependendo da fonte selecionada, pode ser necessário autenticar com suas credenciais e estabelecer uma conexão com a fonte de dados.

Exemplo de fonte de dados do Excel:

Exemplo de um banco de dados SQL:
Selecione a fonte de dados, depois Avançar na parte inferior da tela. Selecione a guia na navegação à esquerda para visualizar o conjunto de dados e selecione Transformar dados.

Etapa 4: Transformar dados

O exemplo a seguir usando dados de amostra ilustra a experiência guiada para transformar dados usando o Power Query.

O arquivo de dados que estamos usando para extrair dados para combustão estacionária não contém cabeçalhos de coluna e convenções de nomenclatura, conforme definido no modelo de dados do Sustainability Manager. Também não está claro se todos os dados de referência necessários estão no sistema para importar com sucesso os dados de combustão estacionária. Todos os dados de dependência agora podem ser verificados e importados por meio da mesma importação de dados, caso ainda não estejam no sistema.

20.

Adicionar Consultas: Primeiro, adicione consultas para transformar os dados de origem. Para garantir que os dados de origem estejam intactos, recomendamos que você crie uma cópia da consulta de dados de origem. Selecione a consulta de dados de demonstração, pressione CTRL+C e, em seguida, pressione CTRL+V para criar uma nova consulta e renomeie-a como combustão estacionária.
Revisar Atributos de Dados: selecione a guia Lista de verificação em Ferramentas de transformação de dados, selecione o menu suspenso e escolha combustão estacionária em Módulos de dados recentes. Uma lista exibe todos os atributos necessários para importar dados com êxito, juntamente com os atributos opcionais para esta entidade. Módulos de dados recentes no menu suspenso da lista de verificação sempre fornecem a lista de todas as entidades no carrinho de compras que você selecionou em uma importação de dados.

A lista de verificação indica que existem outras entidades que já devem estar no sistema ou precisam ser importadas junto com outros atributos que incluem datas, lista de seleção e pesquisa. As instruções a seguir mostram como adicionar cada uma dessas entidades e atributos dependentes.
Datas de Início/Término do Consumo: O conjunto de dados não inclui as datas de início e término do consumo, que são atributos necessários para a combustão estacionária. Para adicionar esses atributos, selecione Adicionar coluna na parte superior e, em seguida, selecione Coluna personalizada. Na janela, atualize Nome da nova coluna para Data de início do consumo, selecione o tipo de dados data no menu suspenso, adicione #date(2021,09,01) sob Fórmula de coluna personalizada e, em seguida, selecione OK. Repita esta etapa para adicionar uma coluna de Data final de consumo no mesmo formato (ano, mês, data). Esta etapa adiciona as colunas para esses dois atributos obrigatórios. Para copiar a coluna, selecione Coluna duplicada e, em seguida, selecione Substituir valores para alterar qualquer um dos valores nele.
Instalação: Selecione o ícone de informações ao lado da instalação para obter uma lista de todas as instalações atualmente no sistema. Para este conjunto de dados, parece que todas as instalações já estão no sistema e estão listadas na coluna intitulada Operação. Altere o cabeçalho da coluna para Instalação.
Unidade organizacional: Para adicionar Unidade organizacional a esta importação, vá para a guia Dados abaixo de Ferramentas de transformação de dados e entre no menu suspenso Organização. Esta ação mostra a entidade da Unidade organizacional sob dados de referência. Selecione-a e adicione-a ao carrinho de compras.

Crie uma nova consulta copiando a consulta de dados de demonstração no lado esquerdo e renomeando-a para Unidade organizacional. A lista de verificação da unidade organizacional indica que os atributos necessários incluem o nome e o tipo de unidade organizacional. Selecione Escolher colunas na parte superior, desmarque Selecionar tudo e escolha organização para mostrar apenas a coluna organização. Para adicionar o tipo de organização, selecione Adicionar coluna na parte superior, selecione Coluna personalizada para abrir uma nova janela e em seguida, altere Nome da nova coluna para Tipo de unidade organizacional. Selecione o texto do tipo de dados no menu suspenso, adicione "Divisão" entre aspas duplas em Fórmula de coluna personalizada e selecione OK.

Esta ação adiciona a coluna tipo de unidade organizacional à consulta. Renomeie a coluna organização como Nome, conforme definido no modelo de dados. Certifique-se de verificar se há duplicatas. Clique com o botão direito no cabeçalho da coluna Nome , clique com o botão direito, e selecione Remover duplicidades.
Tipo de Qualidade de Dados: Tipo de Qualidade de Dados é uma lista de seleção que pode ser uma das três opções. Para adicionar esse atributo, selecione a consulta de combustão estacionária, selecione Adicionar coluna na parte superior e selecione Coluna personalizada. Em uma nova janela, Novo nome da coluna atualiza Tipo de qualidade de dados. Na lista suspensa, selecione tipo de dados como texto, adicione “Medido” entre aspas duplas em Fórmula da coluna personalizada e, em seguida, selecione OK. Esta ação adiciona a coluna Tipo de qualidade de dados à consulta.
Tipo de Combustível: Para Tipo de Combustível, o método mais fácil é criar uma pasta de trabalho do Excel e adicionar os tipos de combustível de origem em uma única coluna. Embora você possa usar o Power Query para extrair essas informações do arquivo de origem, seria necessário um certo nível de experiência do Power Platform que pode não ser ideal para um pequeno subconjunto de dados. Para este exemplo, criamos um arquivo Excel que lista os tipos de combustível do arquivo da fonte de dados. Para importar este arquivo, selecione Obter dados na parte superior, o que o adiciona à lista de consultas já criadas. Selecione Usar a primeira linha como cabeçalho para garantir que a nova consulta use a primeira linha como cabeçalho.

O tipo de combustível que a origem de dados precisa corresponder exatamente ao descrito no modelo de dados do Sustainability Manager. Selecione o ícone de informações ao lado do tipo de combustível na lista de verificação para ver a lista completa e a convenção de nomenclatura. Neste conjunto de dados, Carvão precisa ser atualizado para Alcatrão de Carvão. Selecione a célula com Carvão, clique com o botão direito do mouse, selecione Renomear, substitua Carvão por Alcatrão de Carvão e, em seguida, selecione OK.

Os dados de demonstração usam uma convenção de nomenclatura diferente para os tipos de combustível, portanto, devemos alinhá-los com os tipos de combustível descritos no modelo de dados. Precisamos adicionar uma coluna condicional disponível no Power Query. Selecione a consulta de combustão estacionária, escolha Adicionar coluna na parte superior e selecione Coluna condicional. Atualize o nome da coluna para Tipo de Combustível e, em seguida, selecione o primeiro combustível da fonte de dados usando o menu suspenso sob o nome da coluna para aplicar uma condição. Neste exemplo, se qualquer um dos tipos de combustível de origem tiver um valor maior que 0, selecionamos o tipo de combustível apropriado que corresponda ao nosso modelo de dados que carregamos anteriormente. Continue adicionando as cláusulas para todos os seis tipos de combustível nos dados de demonstração. Selecione OK para adicionar uma coluna de tipo de combustível com essas condições à consulta de combustão estacionária.
Nome: o conjunto de dados não inclui uma coluna Nome, que também é um atributo obrigatório para combustão estacionária. Você pode renomear qualquer uma das colunas na consulta de combustão estacionária ou adicionar uma coluna personalizada e um nome exclusivo. Adicione uma coluna personalizada intitulada Nome, com Combustão Estacionária como texto.
Quantidade e Unidade de Quantidade: Quantidade e Unidade de Quantidade são campos obrigatórios para combustão estacionária, então temos que adicioná-los à consulta. Selecione Adicionar coluna na parte superior e selecione Coluna Condicional. Atualize o nome da coluna para Quantidade e selecione Tipo de Combustível no nome da coluna para aplicar uma condição. Neste exemplo, estamos combinando a quantidade do tipo de combustível com a quantidade nos dados de demonstração. Insira cada um dos tipos de combustível. Na lista suspensa Saída, selecione Usar valores em uma coluna para selecionar o tipo de combustível correspondente no próximo menu suspenso. Continue adicionando as cláusulas para todos os seis tipos de combustível nos dados de demonstração. Selecione OK para adicionar uma coluna Quantidade com essas condições à consulta de combustão estacionária.

Repita essas etapas para adicionar uma coluna à unidade de quantidade.
Verificar Unidades: Para que a importação seja bem-sucedida, as unidades na fonte de dados devem corresponder às unidades definidas no modelo de dados do Sustainability Manager. Para verificar a convenção de nomenclatura, selecione o Resumo de informações ao lado da unidade de quantidade na lista de verificação da entidade. Uma nova janela é aberta para todas as unidades e sua convenção de nomenclatura. Para atualizar as unidades para os dados de demonstração:
1. Selecione o menu suspenso ao lado do cabeçalho da Unidade da Quantidade.
2. Selecione Carregar mais para fornecer uma lista de todas as unidades dentro dessa coluna.
3. Clique com o botão direito na primeira unidade e selecione Substituir valores.
4. Insira o nome do modelo de dados da unidade e selecione OK.
Repita esta etapa para todas as unidades nos dados.
Limpeza de Dados: é importante garantir que nenhum dos registros tenha células vazias na consulta. Para verificá-los e removê-los, selecione qualquer um dos menus suspensos do cabeçalho da coluna Quantidade de Combustível e selecione Remover vazio. Repita esta etapa para todas as colunas de Quantidade de Combustível. Repita a mesma etapa para a coluna chamada Unidade da Quantidade.
Finalizar Consultas: A última etapa é selecionar os atributos necessários para a combustão estacionária e finalizar a consulta. Selecione Escolher colunas na janela de navegação superior, desmarque Selecionar tudo e selecione todos os atributos necessários. Para verificar se todos os atributos estão disponíveis e selecionados na consulta, consulte a lista de verificação em Ferramentas de transformação de dados. Depois de selecionar, escolha OK.
Remover Dados de Demonstração: Antes de transformar as consultas, remova a consulta de dados de demonstração original.

Etapa 5: Criar uma importação de dados

Depois que as consultas forem criadas e transformadas, selecione Criar na parte inferior da página para criar sua importação de dados.
Agendar importação de dados: esta página fornece uma opção para definir uma programação recorrente para atualização de dados da fonte conectada que pode ser desativada usando um botão de alternância. A atualização pode ser automática em uma frequência definida ou em um cronograma definido. Você também pode optar por substituir os dados importados anteriormente. Depois de selecionar uma opção, escolha Avançar.
Revisão e nome: insira um nome para a importação de dados junto com uma descrição (opcional) e selecione Conectar.

Uma importação de dados é criada para este conjunto de dados. Os dados não aparecem no Sustainability Manager até que sejam mapeados para as entidades do modelo de dados. Você pode continuar com o mapeamento após a conclusão da transformação ou você ou outro usuário pode concluir o mapeamento posteriormente.
Selecione Concluído para ir até a página Importações de dados ou selecione **Mapear campos para mapear seus dados.

Etapa 6: Dados do mapa

A experiência de mapeamento fornece mais orientação, lógica para mapear entidades e atributos, capacidade de visualizar dados mapeados e inteligência para identificar entidades que correspondem aos dados das consultas.

34.

A página Mapeamento contém os seguintes componentes:

Consultas: Todas as consultas geradas na etapa de transformação de dados. Um ponto azul ao lado de uma consulta indica que o mapeamento está incompleto, deve ser revisado e não foi salvo.
Fonte de Dados: Este menu suspenso fornece uma lista de todas as entidades disponíveis que podem ser mapeadas para as consultas selecionadas. As entidades selecionadas durante as etapas de importação anteriores sempre são mostradas na parte superior do menu suspenso em Usadas recentemente.
Dados de Visualização: depois que uma consulta é mapeada para uma entidade, uma visualização dos dados mapeados é gerada para você revisar o mapeamento antes de salvá-lo.

37.

Mapear automaticamente: O mapeamento automático permite mapear os dados para uma consulta se você souber para qual entidade a consulta é. Ela analisa palavras parciais e correspondências parciais de palavras. Selecione uma consulta na navegação à esquerda, selecione a entidade apropriada no menu suspenso fonte de dados e selecione Mapeamento automático para mapear os campos.
Localizar a Melhor Correspondência: você pode mapear consultas para as entidades do modelo de dados mesmo com informações parciais ou incompletas. A lógica compara a correspondência percentual para todos os atributos obrigatórios na consulta primeiro, depois para os atributos opcionais, depois combinando o nome da consulta com a definição de dados de sustentabilidade e, finalmente, qualquer uma das definições de dados adicionadas ou selecionadas durante a importação. Selecione a consulta no lado esquerdo e, em seguida, selecione Localizar a melhor correspondência para mapear os campos de origem para a entidade de modelo de dados correta. Outra verificação de validação na experiência de mapeamento é quando os campos não são uma correspondência exata e exigem sua validação antes que o mapeamento seja salvo. Esses campos são destacados em azul, indicando que devem ser verificados antes de salvar o mapeamento.
Pronto para importar: você pode importar várias entidades por meio de uma única importação, o que requer várias consultas que devem ser mapeadas na importação de dados. O mapeamento é feito individualmente para cada consulta para garantir que os campos de origem possam ser revisados e mapeados com precisão. Se o trabalho de importação for executado antes da conclusão do mapeamento, ocorrerão erros de importação. A experiência de mapeamento inclui uma alternância dedicada que é ativada após a conclusão do mapeamento. Essa etapa garante que a importação não seja executada até que o mapeamento seja concluído, eliminando quaisquer erros de ingestão que possam surgir do mapeamento incompleto.

Para os dados de demonstração, selecione cada uma das consultas e conclua o mapeamento usando Mapear automaticamente ou Localizar a melhor correspondência. Revise os campos de origem durante cada mapeamento. Após a verificação, salve o mapeamento e alterne Pronto para importar para Ativado. Vá para a tela Importações de dados para ver o status de importação dos dados adicionados.

39.

A página Importações de dados é atualizada e inclui os seguintes detalhes para cada importação:

Nome da importação de dados.
Descrição, se adicionada pelo usuário.
Status do mapeamento para indicar que a importação está mapeada ou não mapeada.
Alterne para Pronto para importar.
Status da importação dos dados.
Última atualização, incluindo data e hora da atualização.
Definição de dados da entidade ou entidades que estão sendo importadas.
Proprietário da importação de dados.
Proprietário da etapa de mapeamento.

Você pode editar a importação e o mapeamento separadamente.

40.

Editar uma importação do Power Query

O Sustainability Manager permite atualizar ou editar uma importação anterior e fazer alterações no arquivo de origem, nas entidades, na atualização programada ou no nome da importação. Siga estas etapas para editar uma importação existente.

No painel de navegação esquerdo, em Gerenciamento de dados, selecione Importações de dados.
Selecione a importação de dados que você deseja editar.
Selecione Editar importação na parte superior da página. A página Definir seus dados aparece com a opção de adicionar entidades de dados à importação.
Adicione ou altere entidades e selecione Avançar.
Selecione Configurar conexão.
Selecione as credenciais e, em seguida Conectar.
Se você quiser alterar o tipo de importação ou o arquivo de origem, selecione Obter dados no painel de navegação superior. Você voltou para a página Conectar à fonte dados, onde você pode repetir as etapas anteriores. Você também pode editar e transformar dados nas consultas existentes usando recursos do Power Query.

Mais documentação sobre como usar o Power Query está disponível dentro de Modelos e dicas em Ferramentas de transformação de dados.
Se você planeja atualizar apenas o agendamento de atualização de dados, selecione Criar na parte inferior da página. Você pode então atualizar a atualização de dados, importar nome ou descrição. Ao concluir, selecione Conectar.
Selecione Concluído, se nenhuma atualização de mapeamento for necessária. Se o mapeamento precisar ser atualizado, selecione Campos do mapa para ir para a tela de mapeamento.
Selecione as consultas que devem ser remapeadas e siga as etapas de mapeamento anteriores. Após a conclusão do mapeamento, salve o mapeamento e defina a alternância Pronto para importar como Sim.

A importação agora é atualizada na página de importações de dados.
Se apenas o mapeamento precisar ser atualizado, vá para a página de mapeamento na página Importações de dados selecionando Editar mapeamento na navegação superior.

Importar dimensões personalizadas

A importação de dimensões personalizadas é parte integrante da nova experiência de importação e está disponível apenas por meio da experiência do Power Query.

As etapas a seguir são o fluxo de trabalho preferencial para a ingestão de dimensões personalizadas:

Definir novas colunas nos seus dados de origem.
Transformar em uma forma homogênea para que possam ser processadas em cálculos e relatórios.
Criar e mapear para dimensões personalizadas.
Consultar as dimensões personalizadas em cálculos e análises.

Esta seção se concentra na importação e no mapeamento. Para saber mais sobre a ingestão de dimensões personalizadas, acesse Dimensões personalizadas.

Para ingerir dimensões personalizadas, defina mais atributos (colunas) em sua origem de dados, como Excel ou banco de dados que deseja ingerir.

Exemplo de dados adicionais:

49.

Na experiência do Power Query, transforme os dados, possivelmente com várias consultas para que eles sejam consistentes e válidos para cálculos (se forem usados em cálculos). Por exemplo, aqui transformamos um conjunto de dados heterogêneo em vários homogêneos.

Consulta pré-transformação:

50.

Consulta pós-transformação:

51.

Mapeamento

Siga as etapas para detectar e mapear os atributos de entidade do modelo de dados. Revise todos os mapeamentos e verifique se nenhuma dimensão personalizada foi mapeada para um campo de destino de dimensão personalizada padrão ou incorreto.

Na seção Dimensões Personalizadas:

Campos de origem: selecione na lista suspensa um campo de origem dos seus dados originais.
Campos de Destino:
- Se a dimensão personalizada já existir na lista suspensa, selecione-a e, em seguida, selecione Adicionar.
- Se não estiver disponível, digite um nome para o qual mapear, selecione o tipo e, em seguida, selecione Adicionar.

Você também pode criar as dimensões nas configurações de gerenciamento Dimensões personalizadas antes do mapeamento para que estejam disponíveis para seleção no controle suspenso.

Adicione uma dimensão personalizada existente:

52.