Importar dados com o Power Query

Artigo
05/15/2024

Microsoft Cloud for Sustainability

A experiência guiada do Power Query é a abordagem de ingestão mais abrangente disponível no Microsoft Sustainability Manager. Permite-lhe importar dados para várias entidades através de várias fontes, tudo isto através de uma única importação. Pode adicionar uma ou várias entidades ao longo do fluxo de ingestão, juntamente com orientações detalhadas, para assegurar que a ingestão foi bem-sucedida.

Este fluxo separa os passos de transformação e mapeamento de dados para permitir que diferentes utilizadores transformem e mapeiem dados durante a ingestão. Também lhe permite transformar e mapear dados no mesmo fluxo de ingestão. A experiência de mapeamento também inclui lógica inteligente para identificar as entidades do modelo de dados corretas utilizando informações de atributos das consultas de transformação de dados.

Os passos desta secção ajudam-no a utilizar a experiência do Power Query no Sustainability Manager.

Passo 1: iniciar a experiência do Power Query

Para aceder à nova experiência do Power Query, selecione Importações de dados em Gestão de dados na área Dados da navegação esquerda.
Selecione Experiência Guiada do Power Query. É aberto um novo ecrã de navegação onde pode selecionar as entidades para importação.

O Sustainability Manager criou agora uma experiência carrinho de compras em que todas as entidades disponíveis são divididas nas seguintes categorias.
- Atividades de Carbono
- Emissões de Carbono
- Hidráulica
- Resíduos
- Dados de Referência
Selecione qualquer uma destas categorias de dados para ver uma lista de todas as entidades que pode importar.

Passo 2: adicionar entidades

Pode adicionar uma ou mais entidades na mesma importação de dados. Selecione o botão Adicionar antes de cada entidade no carrinho de compras à direita. Também pode adicionar entidades às várias categorias na mesma importação.

Um marcador de verificação indica cada entidade selecionada no carrinho de compras. Pode remover entidades do carrinho de compras selecionando o X junto das mesmas.

Também pode ver quaisquer dados importados para cada uma destas entidades selecionando Vista junto do nome da entidade. Uma nova janela apresenta todos os dados que já foram importados para o Sustainability Manager.

A experiência de carrinho de compras é fornecida numa navegação separada à direita, denominada Ferramentas de transformação de dados. Estas ferramentas aparecem em três separadores. Cada separador está disponível ao longo da experiência de importação, mas pode o ocultá-los se necessário, selecionando Ocultar ferramentas de transformação de dados, na parte superior direita. Cada separador ajuda-o a importar dados com êxito.

Dados
Lista de Verificação
Modelos e sugestões

Dados

O separador Dados fornece uma lista de todas as entidades adicionadas à importação de dados, juntamente com uma lista pendente de todas as entidades disponíveis para importação no Sustainability Manager. Selecione a lista pendente para listar as entidades. Selecione uma entidade para a adicionar à importação de dados. Esta ferramenta dá-lhe a opção de adicionar entidades caso se tenha esquecido de fazer a seleção no primeiro passo.

Lista de Verificação

O separador Lista de verificação fornece uma lista de todas as entidades com as entidades da importação apresentadas primeiro. Depois de selecionar qualquer entidade, verá uma lista de todos os atributos necessários e opcionais para uma importação com êxito. Esta ferramenta fornece-lhe uma referência rápida para assegurar que todos os atributos necessários estão a ser importados da origem de dados para que a importação tenha êxito.

A lista de verificação também fornece mais informações sobre cada um dos atributos, por exemplo, se for uma procura ou lista de opções. Para obter mais detalhes sobre alguns destes atributos, ao selecionar o ícone de informações junto dos mesmos.

Captura de ecrã a mostrar como obter mais detalhes sobre atributos.

Para alguns atributos, abre uma nova janela com informações disponíveis.

Captura de ecrã a mostrar a abertura da nova janela com detalhes do atributo.

Nota

O separador Lista de Verificação só fornece informações sobre os atributos associados à entidade selecionada, pelo que não pode ser usado para adicionar mais entidades à importação de dados a partir da lista pendente, que só está disponível através do separador Dados. No entanto, pode selecionar Adicionar no ecrã de navegação principal para adicionar mais entidades com qualquer um dos três separadores selecionados em Ferramentas de transformação de dados. Só pode ver a lista de entidades selecionadas para importação no separador Dados.

Modelos e sugestões

O separador Modelos e sugestões oferece-lhe a opção de transferir e utilizar modelos do Excel simplificados durante a experiência do Power Query. A experiência detalhada de modelos dedicados em Importar dados com modelos do Excel é utilizada para uma importação única e fornece orientações para importação com êxito de dados para o Sustainability Manager. No entanto, os modelos do Power Query incluem apenas as entidades e atributos que pode transferir ao longo da experiência do Power Query, adicionar os dados e criar uma ligação ao Power Query.

Captura de ecrã com o separador Modelos e Sugestões da página Ferramentas de Transformação de dados.

Este separador inclui orientações sobre como utilizar estes modelos na experiência do Power Query. Também inclui vídeos e documentação sobre como transformar dados no Sustainability Manager, juntamente com a documentação detalhada no Power Query. Todas estas informações ajudam a abordar as suas necessidades, consoante o nível de experiência, sobre entidades de sustentabilidade e sobre os conhecimentos técnicos do Power Platform. A opção de incluir modelos na experiência do Power Query fornece flexibilidade se for difícil utilizar ferramentas de transformação do Power Query mesmo com as informações fornecidas.

Passo 3: escolher uma origem de dados

Depois de adicionar todas as entidades ao carrinho de compras, selecione Seguinte para escolher a origem de dados. É apresentada uma lista de todos os conectores do Power Query que pode utilizar para importar dados.
Selecione a origem de dados para ir para a página Definições de ligação. Dependendo da origem selecionada, poderá ter de se autenticar com as suas credenciais e estabelecer uma ligação com a origem de dados.

Exemplo de uma origem de dados do Excel:

Exemplo de uma base de dados SQL:
Selecione a origem de dados e, em seguida, selecione Seguinte na parte inferior do ecrã. Selecione o separador na navegação esquerda para pré-visualizar a conjunto de dados e, em seguida, selecione Transformar dados.

Passo 4: transformar dados

O exemplo seguinte, utilizando dados de amostra, ilustra a experiência guiada para transformar dados utilizando o Power Query.

O ficheiro de dados que estamos a utilizar para extrair dados para a combustão estacionária não contém cabeçalhos de colunas e convenções de nomenclatura, conforme definido no modelo de dados do Sustainability Manager. Também não é claro se todos os dados de referência necessários estão no sistema para importar com êxito os dados da combustão estacionária. Agora, todos os dados de dependência podem ser verificados e importados através da mesma importação de dados, se ainda não estiverem no sistema.

20.

Adicionar Consultas: primeiro, adicione consultas para transformar os dados de origem. Para garantir que os dados de origem estão intactos, recomendamos que crie uma cópia da consulta de dados de origem. Selecione a consulta de dados de demonstração, prima CTRL+C e, em seguida, prima CTRL+V para criar uma nova consulta e mudar o nome da mesma para combustão estacionária.
Rever Atributos de Dados: seleccione o separador Lista de Verificação em Ferramentas de transformação de dados, selecione o menu pendente e, em seguida, selecione combustão estacionária em Módulos de dados recentes. Uma lista apresenta todos os atributos necessários para importar dados com êxito, juntamente com os atributos opcionais para esta entidade. Módulos de dados recentes na lista de verificação pendente fornece sempre a lista de todas as entidades no carrinho de compras que selecionou numa importação de dados.

A lista de verificação indica que existem outras entidades que têm de já estar no sistema ou que necessitam de ser importadas juntamente com outros atributos que incluam datas, lista de opções e procura. As instruções seguintes mostram como adicionar cada uma destas entidades e atributos dependentes.
Datas de Início/Fim do Consumo: o conjunto de dados não inclui datas de início e de fim de consumo, que são atributos obrigatórios para a combustão estacionária. Para adicionar estes atributos, selecione Adicionar coluna na parte superior e, em seguida, selecione Coluna personalizada. Na janela, atualize o Novo nome da coluna para Data de início do consumo, selecione o tipo de dados data na lista pendente, adicione #data(2021,09,01) em Personalizar fórmula de coluna e, em seguida, selecione OK. Repita este passo para adicionar uma coluna para a Data de fim do consumo no mesmo formato (ano, mês, data). Este passo adiciona as colunas para estes dois atributos obrigatórios. Para copiar a coluna, selecione Duplicar coluna e, em seguida, selecione Substituir valores para alterar qualquer um dos valores na mesma.
Instalações: selecione o ícone de informações junto das instalações para obter uma lista de todas as instalações atualmente no sistema. Para este conjunto de dados, parece que todas as instalações já estão no sistema e estão listadas na coluna intitulada Operação. Altere o cabeçalho da coluna para Instalações.
Unidade Organizacional: para adicionar a Unidade organizacional a esta importação, aceda ao separador Data em Ferramentas de transformação de dados e introduza Organização na lista pendente. Esta ação mostra a entidade Unidade organizacional por baixo dos dados de referência. Selecione-a para a adicionar ao carrinho de compras.

Crie uma nova consulta copiando a consulta de dados de demonstração no lado esquerdo e mudando-lhe o nome para Unidade organizacional. A lista de verificação da unidade organizacional indica que os atributos obrigatórios incluem o nome e o tipo de unidade organizacional. Selecione Escolher colunas na parte superior, desmarque Selecionar tudo e, em seguida, selecione a organização para mostrar apenas a coluna organização. Para adicionar o tipo de organização, selecione Adicionar coluna na parte superior, selecione Coluna personalizada para abrir uma nova janela e, em seguida, altere o Novo nome da coluna para Tipo de unidade organizacional. Selecione o tipo de dados texto da lista pendente, adicione "Divisão" com aspas em Personalizar fórmula de coluna e, em seguida, selecione OK.

Esta ação adiciona a coluna tipo de unidade organizacional à consulta. Mude o nome da coluna organização para Nome como definido no modelo de dados. Certifique-se de que verifica a existência de certificados. Clique com o botão direito do rato no cabeçalho da coluna Nome, clique com o botão direito do rato e selecione Remover duplicados.
Tipo de Qualidade de Dados: Tipo de Qualidade de Dados é uma lista de opções que pode ser uma de três opções. Para adicionar este atributo, selecione a consulta combustão estacionária, selecione Adicionar coluna na parte superior e, em seguida, selecione Coluna personalizada. Numa nova janela, o Novo nome da coluna atualiza o Tipo de qualidade de dados. Na lista pendentes, selecione o tipo de dados como texto, adicione "Medido" com aspas em Personalizar fórmula de coluna e, em seguida, selecione OK. Esta ação adiciona a coluna Tipo de qualidade de dados à consulta.
Tipo de Combustível: para o Tipo de Combustível, o método mais fácil é criar um livro do Excel e adicionar os tipos de combustível da origem numa única coluna. Apesar de poder utilizar o Power Query para extrair estas informações do ficheiro de origem, necessitaria de um determinado nível de conhecimento técnico do Power Platform, o que poderá não ser ideal para um pequeno subconjunto de dados. Para este exemplo, criámos um ficheiro Excel que lista os tipos de combustível da origem de dados. Para importar este ficheiro, selecione Obter dados na parte superior, que os adiciona à lista de consultas já criadas. Selecione Utilizar a primeira linha como cabeçalhos para assegurar que a nova consulta utiliza a primeira linha como um cabeçalho.

O tipo de combustível na origem de dados tem de corresponder exatamente ao que é descrito no modelo de dados do Sustainability Manager. Selecione o ícone de informação junto do tipo de combustível na lista de verificação para ver a lista completa e a convenção de nomenclatura. Neste conjunto de dados, Carvão deve ser atualizado para Alcatrão de Carvão Selecione a célula com Carvão, clique com o botão direito do rato, selecione Mudar o nome, substitua Carvão por Alcatrão de Carvão e, em seguida, selecione OK.

Os dados de demonstração utilizam uma convenção de nomenclatura diferente para os tipos de combustível, pelo que é necessário alinhá-los com os tipos de combustível descritos no modelo de dados. É necessário adicionar uma coluna condicional disponível no Power Query. Selecione a consulta combustão estacionária, selecione Adicionar coluna na parte superior e, em seguida, selecione Coluna condicional. Atualize o nome da coluna para Tipo de Combustível e, em seguida, selecione o primeiro combustível a partir da origem de dados utilizando a lista pendente por baixo do nome da coluna para aplicar uma condição. Neste exemplo, se algum dos tipos de combustível de origem tiver um valor maior que 0, então selecionamos o tipo de combustível apropriado que corresponde ao modelo de dados que carregámos anteriormente. Continue a adicionar as cláusulas de todos os seis tipos de combustível nos dados de demonstração. Selecione OK para adicionar uma coluna de tipo de combustível com estas condições à consulta de combustão estacionária.
Nome: o conjunto de dados não inclui uma coluna Nome, que também é um atributo obrigatório para a combustão estacionária. Pode mudar o nome de qualquer uma das colunas na consulta combustão estacionária ou adicionar uma coluna personalizada e um nome exclusivo. Adicione uma coluna personalizada denominada Nome, com Combustão Estacionária como texto.
Quantidade e Unidade de Quantidade: Quantidade e Unidade de Quantidade são campos obrigatórios para a combustão estacionária, pelo que os devemos adicionar à consulta. Selecione Adicionar coluna no topo e, em seguida, selecione Coluna Condicional. Atualize o nome da coluna para Quantidade e, em seguida, selecione Tipo de Combustível por baixo do nome da coluna para aplicar uma condição. Neste exemplo, estamos a corresponder a quantidade do tipo de combustível à quantidade nos dados de demonstração. Introduza cada um dos tipos de combustível. Na lista pendente Saída , selecione Utilizar valores numa coluna para selecionar o tipo de combustível correspondente na próxima lista pendente. Continue a adicionar as cláusulas para todos os seis tipos de combustível nos dados de demonstração. Selecione OK para adicionar uma coluna Quantidade com estas condições à consulta de combustão estacionária.

Repita estes passos para adicionar uma coluna para a unidade de quantidade.
Verificar Unidades: para que a importação tenha êxito, as unidades na origem de dados têm de corresponder às unidades definidas no modelo de dados do Sustainability Manager. Para verificar a convenção de nomenclatura, selecione o ícone Contorno de informações junto à unidade de quantidade na lista de verificação de entidades. É aberta uma nova janela para todas as unidades e sua convenção de nomenclatura. Para atualizar as unidades para os dados de demonstração:
1. Selecione a lista pendente junto do cabeçalho Unidade de Quantidade.
2. Selecione Carregar mais para fornecer uma lista de todas as unidades nessa coluna.
3. Clique com o botão direito do rato na primeira unidade e selecione Substituir valores.
4. Introduza o nome do modelo de dados da unidade e selecione OK.
Repita este passo para todas as unidades nos dados.
Limpar Dados: é importante assegurar que nenhum dos registos tem células vazias na consulta. Para os verificar e remover, selecione qualquer uma das listas suspensas do cabeçalho da coluna Quantidade de Combustível e, em seguida, selecione Remover vazios. Repita este passo para todas as colunas Quantidade de Combustível. Repita o mesmo passo para a coluna denominada Unidade de Quantidade.
Finalizar Consultas: o último passo é selecionar os atributos necessários para a combustão estacionária e finalizar a consulta. Selecione Escolher Colunas na janela de navegação superior, desmarque Selecionar tudo e selecione todos os atributos obrigatórios. Para verificar se todos os atributos estão disponíveis e selecionados na consulta, consulte a lista de verificação em Ferramentas de transformação de dados. Depois de selecionar, selecione OK.
Remover Dados de Demonstração: antes de transformar as consultas, remova a consulta de dados de demonstração original.

Passo 5: Criar uma importação de dados

Depois de as consultas terem sido criadas e transformadas, selecione Criar na parte inferior da página para criar a sua importação de dados.
Agendar a importação de dados: esta página fornece uma opção para definir um agendamento recorrente para atualização de dados a partir da origem ligada que pode ser desligada utilizando um comutador. A atualização pode ser automática numa frequência definida ou numa agenda definida. Pode também optar por substituir os dados importados anteriormente. Depois de selecionar uma opção, selecione Seguinte.
Rever e nomear: introduza um nome para a importação de dados juntamente com uma descrição (opcional) e, em seguida, selecione Ligar.

É criada uma importação de dados para este conjunto de dados. Os dados não aparecem no Sustainability Manager até serem mapeados para as entidades do modelo de dados. Pode continuar com o mapeamento depois de concluída a transformação, ou pode concluir o mapeamento posteriormente.
Selecione Concluído para ir para a página Importações de Dados ou selecione **Mapear campos para mapear os dados.

Passo 6: mapear dados

A experiência de mapeamento fornece mais orientação, lógica para mapear entidades e atributos, capacidade de pré-visualizar dados mapeados e inteligência para identificar entidades que correspondem a dados das consultas.

34.

A página Mapeamento contém os seguintes componentes:

Consultas: Todas as consultas geradas no passo de transformação de dados. Um ponto azul junto de uma consulta indica que o mapeamento está incompleto, tem de ser revisto e não foi guardado.
Origem de Dados: esta lista listada fornece uma lista de todas as entidades disponíveis que podem ser mapeadas para as consultas selecionadas. As entidades selecionadas durante os passos de importação anteriores são sempre mostradas na parte superior da lista pendente em Recentemente utilizado.
Pré-visualizar Dados: depois de uma consulta ser mapeada para uma entidade, é gerada uma pré-visualização de dados mapeados para que o mapeamento seja revisto antes de ser guardado.

37.

Mapear automaticamente: mapear automaticamente permite-lhe mapear os dados para uma consulta se souber a entidade para a qual é a consulta. Analisa palavras parciais e combinações parciais de palavras. Selecione uma consulta na navegação esquerda, selecione a entidade apropriada da lista pendente da origem de dados e, em seguida, selecione Mapear automaticamente para mapear os campos.
Encontrar a Melhor Correspondência: pode mapear consultas para as entidades do modelo de dados mesmo com informações parciais ou incompletas. A lógica compara a percentagem de correspondência para todos os atributos necessários na consulta primeiro e, em seguida, para os atributos opcionais, correspondendo o nome da consulta à definição de dados de sustentabilidade e, por fim, qualquer uma das definições de dados adicionados ou selecionados durante a importação. Selecione a consulta no lado esquerdo e, em seguida, selecione Encontrar a melhor correspondência para mapear os campos de origem para a entidade do modelo de dados correta. Outra verificação de validação na experiência de mapeamento é quando os campos não são uma correspondência exata e necessitam da sua validação antes de o mapeamento ser guardado. Estes campos são realçados a azul, indicando que têm de ser verificados antes de o mapeamento ser guardado.
Pronto para importar: pode importar várias entidades através de uma única importação, o que requer que várias consultas sejam mapeadas na importação de dados. O mapeamento é endossado individualmente para cada consulta, de forma a assegurar que os campos de origem possam ser revistos e mapeados de forma precisa. Se o trabalho de importação for executado antes de o mapeamento ser concluído, ocorrem erros de importação. A experiência de mapeamento inclui um comutador dedicado que fica ligado depois de o mapeamento estar concluído. Este passo assegura que a importação não é executada até que o mapeamento seja concluído, eliminando quaisquer erros de ingestão que possam surgir do mapeamento incompleto.

Para os dados de demonstração, selecione cada uma das consultas e conclua o mapeamento utilizando Mapear automaticamente ou Encontrar melhor correspondência. Reveja os campos de origem durante cada mapeamento. Após a verificação, guarde o mapeamento e alterne o comutador Pronto para importar para Ativado. Aceda ao ecrã Importações de dados para ver o estado da importação de dados adicionada.

39.

A página Importações de dados é atualizada e inclui os seguintes detalhes para cada importação:

Nome da importação de dados.
Descrição se adicionada pelo utilizador.
Estado do mapeamento para indicar que a importação está mapeada ou não mapeada.
Alterne o comutador para Pronto para importar.
Estado da importação de dados.
Última atualização incluindo a data e hora da atualização.
Definição de dados da entidade ou entidades a importar.
Proprietário da importação de dados.
Proprietário do passo de mapeamento.

Pode editar a importação e o mapeamento separadamente.

40.

Editar uma importação do Power Query

O Sustainability Manager permite-lhe atualizar ou editar uma importação anterior e fazer alterações ao ficheiro de origem, entidades, atualização agendada ou nome de importação. Siga estes passos para editar uma importação existente.

Na navegação à esquerda, por baixo de Gestão de dados, selecione Importações de dados.
Selecione a importação de dados que pretende editar.
Selecione Editar importação no topo da página. A página Defina os seus dados aparece com a opção de adicionar entidades de dados à importação.
Adicione ou altere entidades e selecione Seguinte.
Selecione Configurar ligação.
Selecione as credenciais e, em seguida, selecione Ligar.
Se pretender alterar o tipo de importação ou o ficheiro de origem, selecione Obter dados na navegação superior. Regressou à página Ligar à origem de dados, onde pode repetir os passos anteriores. Também pode editar e transformar dados nas consultas existentes utilizando funcionalidades do Power Query.

Está disponível mais documentação sobre como utilizar o Power Query em Modelos e sugestões sob Ferramentas de transformação de dados.
Se pretende atualizar apenas a agenda de atualização dos dados, selecione Criar na parte inferior da página. Pode então atualizar a atualização de dados, nome da importação ou descrição. Quando tiver terminado, selecione Ligar.
Selecione Concluído se não for necessária nenhuma atualização de mapeamento. Se for necessário atualizar o mapeamento, selecione Mapear campos para ir para o ecrã de mapeamento.
Selecione as consultas que têm de ser novamente mapeadas e siga os passos de mapeamento anteriores. Depois de concluído o mapeamento, guarde o mapeamento e defina o comutador Pronto para importar como Sim.

A importação está agora atualizada na página de importação de dados.
Se só for necessário atualizar o mapeamento, aceda à página de mapeamento a partir da página Importações de dados ao selecionar Editar mapeamento na navegação superior.

Importar dimensões personalizadas

A importação de dimensões personalizadas é uma parte integral da nova experiência de importação e só está disponível através da experiência do Power Query.

Os seguintes passos são o fluxo de trabalho preferencial para ingestão das dimensões personalizadas:

Defina novas colunas nos seus dados de origem.
Transforme num formulário homogéneo, para que possa ser processado em cálculos e relatórios.
Crie e mapeie para dimensões personalizadas.
Consulte as dimensões personalizadas nos cálculos e análise.

Esta secção foca-se na importação e no mapeamento. Para saber mais sobre dimensões personalizadas, aceda a Dimensões personalizadas.

Para ingerir dimensões personalizadas, defina mais atributos (colunas) na sua origem de dados, como o Excel ou a base de dados que pretende ingerir.

Exemplo de dados adicionais:

49.

Na experiência do Power Query, transforme os dados, potencialmente com várias consultas de modo a que os dados sejam consistentes e válidos para cálculos (se necessário). Por exemplo, aqui, transformamos um conjunto de dados heterogéneos em vários homogéneos.

Consulta pré-transformação:

50.

Consulta pós-transformação:

51.

Mapeamento

Siga os passos para detetar e mapear os atributos da entidade do modelo de dados. Reveja todos os mapeamentos e certifique-se de que não existe nenhuma dimensão personalizada mapeada para o campo de destino da dimensão personalizada padrão ou incorreta.

Na secção Dimensões Personalizadas:

Campos de origem: selecione na lista pendente um campo de origem dos dados originais.
Campos de Destino:
- Se já existir uma dimensão personalizada na lista pendente, selecione-a e selecione Adicionar.
- Se não estiver disponível, introduza um nome para o mapear, selecione o tipo e selecione Adicionar.

Também pode criar as dimensões nas definições de gestão de Dimensões personalizadas antes de mapear, para que estejam disponíveis para seleção no controlo pendente.

Adicionar dimensão personalizada existente:

52.