Importar dados usando o Power Query

Inscrição num período experimental gerido pelo administrador

A experiência guiada Power Query é a abordagem de ingestão mais abrangente disponível em Microsoft Dynamics 365 Sustainability. Permite-lhe importar dados de múltiplas entidades a partir de várias fontes, tudo através de uma única importação. Pode adicionar uma ou várias entidades ao longo do fluxo de ingestão, e recebe orientações detalhadas para garantir que a ingestão é bem-sucedida.

Este fluxo separa os passos de transformação e mapeamento dos dados, permitindo que diferentes utilizadores transformem e mapeem os dados durante a ingestão. Também pode transformar e mapear dados dentro do mesmo fluxo de ingestão. A experiência de mapeamento inclui lógica inteligente que utiliza a informação dos atributos das consultas de transformação de dados para identificar as entidades corretas do modelo de dados.

Os passos desta secção ajudam-no a utilizar a experiência Power Query dentro do Dynamics 365 Sustainability.

Passo 1: iniciar a experiência do Power Query

  1. Para aceder à nova experiência do Power Query, selecione Importações de dados em Gestão de dados na área Dados da navegação esquerda.

  2. Selecione Experiência Guiada do Power Query. É aberto um novo ecrã de navegação onde pode selecionar as entidades para importação.

    Captura de ecrã que mostra onde selecionar entidades para exportação.

    A Dynamics 365 Sustainability criou uma experiência de carrinho de compras onde todas as entidades disponíveis são divididas nas seguintes categorias.

    • Atividades de Carbono
    • Emissões de Carbono
    • Hidráulica
    • Resíduos
    • Dados de Referência
    • Cadeia de valor
    • Métricas de relatórios

    Selecione qualquer uma destas categorias de dados para ver uma lista de todas as entidades que pode importar.

Passo 2: adicionar entidades

Pode adicionar uma ou mais entidades na mesma importação de dados. Selecione o botão Adicionar antes de cada entidade no carrinho de compras à direita. Também pode adicionar entidades às várias categorias na mesma importação.

Captura de ecrã que mostra como adicionar entidades à importação.

Uma marca de verificação indica cada entidade selecionada no carrinho de compras. Pode remover entidades do carrinho de compras selecionando o X junto das mesmas.

Também pode ver quaisquer dados importados para cada uma destas entidades selecionando Vista junto do nome da entidade. Uma nova janela mostra todos os dados já importados para o Dynamics 365 Sustainability.

A experiência do carrinho de compras encontra-se numa navegação separada à direita chamada ferramentas de transformação de dados. Estas ferramentas aparecem em três separadores. Cada separador está disponível ao longo da experiência de importação, mas pode o ocultá-los se necessário, selecionando Ocultar ferramentas de transformação de dados, na parte superior direita. Cada separador ajuda-o a importar dados com êxito.

Data

O separador Dados fornece uma lista de todas as entidades adicionadas à importação de dados, juntamente com um menu suspenso de todas as entidades disponíveis para importação dentro do Dynamics 365 Sustainability. Selecione a lista pendente para listar as entidades. Selecione uma entidade para a adicionar à importação de dados. Esta ferramenta dá-lhe a opção de adicionar entidades caso se tenha esquecido de fazer a seleção no primeiro passo.

Captura de ecrã que mostra como adicionar entidades à importação se não o fez anteriormente.

Lista de Verificação

O separador Checklist fornece uma lista de todas as entidades, com as entidades da importação apresentadas primeiro. Depois de selecionar qualquer entidade, vê uma lista de todos os atributos necessários e opcionais para uma importação bem-sucedida. Esta ferramenta fornece-lhe uma referência rápida para assegurar que todos os atributos necessários estão a ser importados da origem de dados para que a importação tenha êxito.

Captura de ecrã a mostrar uma lista de todas as entidades.

A lista de verificação também fornece mais informações sobre cada um dos atributos, como se é uma pesquisa ou lista de escolhas. Pode obter mais detalhes sobre alguns destes atributos selecionando o ícone de informação ao lado deles.

Captura de ecrã a mostrar como obter mais detalhes sobre atributos.

Para alguns atributos, abre uma nova janela com informações disponíveis.

Captura de ecrã a mostrar a abertura da nova janela com detalhes do atributo.

Note

O separador Checklist apenas fornece informações sobre os atributos associados à entidade selecionada, por isso não pode usá-lo para adicionar mais entidades à importação de dados através do menu suspenso. O menu suspenso está disponível apenas através do separador Dados . No entanto, pode selecionar Adicionar no ecrã principal de navegação para adicionar mais entidades com qualquer um dos três separadores selecionados em ferramentas de transformação de dados. Só pode ver a lista de entidades selecionadas para importação no separador Dados.

Modelos e sugestões

O separador Modelos e sugestões oferece-lhe a opção de transferir e utilizar modelos do Excel simplificados durante a experiência do Power Query. A experiência de modelos dedicados detalhada em Importar dados com modelos Excel é usada para uma importação única e fornece orientação para importar dados com sucesso no Dynamics 365 Sustainability. No entanto, os templates dentro do Power Query incluem apenas as entidades e atributos que pode descarregar através da experiência Power Query, adicionar os dados e criar uma ligação ao Power Query.

Captura de ecrã com o separador Modelos e Sugestões da página Ferramentas de Transformação de dados.

Este separador inclui orientações sobre como utilizar estes modelos na experiência do Power Query. Inclui também vídeos e documentação sobre como transformar dados no Dynamics 365 Sustainability, juntamente com documentação detalhada sobre o Power Query. Todas estas informações ajudam a suprir as suas necessidades de acordo com o nível de experiência, tanto em entidades de sustentabilidade como em conhecimento em Power Platform. A opção de incluir modelos na experiência do Power Query fornece flexibilidade se for difícil utilizar ferramentas de transformação do Power Query mesmo com as informações fornecidas.

Passo 3: escolher uma origem de dados

  1. Depois de adicionar todas as entidades ao carrinho de compras, selecione Seguinte para escolher a fonte de dados. Uma lista mostra todos os conectores Power Query que podes usar para importar dados.

    16.

  2. Selecione a fonte de dados para ir à página de definições de Ligação . Dependendo da fonte que escolher, poderá precisar de autenticar-se usando as suas credenciais e estabelecer uma ligação com a fonte de dados.

    Exemplo de uma origem de dados do Excel:

    17.

    Exemplo de uma base de dados SQL:

    18.

  3. Selecione a origem de dados e, em seguida, selecione Seguinte na parte inferior do ecrã. Selecione o separador na navegação esquerda para pré-visualizar a conjunto de dados e, em seguida, selecione Transformar dados.

    19.

Passo 4: transformar dados

O exemplo seguinte utiliza dados de exemplo para ilustrar a experiência orientada de transformação de dados utilizando o Power Query.

O ficheiro de dados que está a usar para extrair dados para combustão estacionária não contém cabeçalhos de coluna nem convenções de nomenclatura conforme definido no modelo de dados de Sustentabilidade do Dynamics 365. Também não é claro se todos os dados de referência necessários estão no sistema para importar com êxito os dados da combustão estacionária. Agora podes verificar todos os dados de dependência e importá-los através da mesma importação de dados se ainda não estiverem no sistema.

20.

  1. Adicionar consultas: Primeiro, adicione consultas para transformar os dados de origem. Para garantir que os dados de origem se mantêm intactos, crie uma cópia da consulta de dados de origem. Selecione a consulta de dados de demonstração, pressione Ctrl+C e depois pressione Ctrl+V para criar uma nova consulta. Renomeia-o para combustão estacionária.

  2. Reveja os atributos dos dados: Selecione o separador Checklist em Ferramentas de transformação de dados, selecione o menu suspenso e, em seguida, selecione combustão estacionária em Módulos de dados recentes. Uma lista apresenta todos os atributos necessários para importar dados com sucesso, juntamente com os atributos opcionais desta entidade. Módulos de dados recentes no dropdown da lista de verificação fornece sempre a lista de todas as entidades no carrinho de compras que selecionou no âmbito de uma importação de dados.

    21.

    A lista de verificação indica que existem outras entidades que têm de já estar no sistema ou que necessitam de ser importadas juntamente com outros atributos que incluam datas, lista de opções e procura. As instruções seguintes mostram como adicionar cada uma destas entidades e atributos dependentes.

  3. Datas de início e fim do consumo: O conjunto de dados não inclui as datas de início e fim do consumo, que são atributos necessários para a combustão estacionária. Para adicionar estes atributos, selecione a coluna Adicionar no topo e depois selecione a coluna Personalizada. Na janela, atualize o Novo nome da coluna para Data de início do consumo, selecione o tipo de dados data na lista pendente, adicione #data(2021,09,01) em Personalizar fórmula de coluna e, em seguida, selecione OK. Repita este passo para adicionar uma coluna para a Data de fim do consumo no mesmo formato (ano, mês, data). Este passo adiciona as colunas para estes dois atributos obrigatórios. Para copiar a coluna, selecione Duplicar coluna e, em seguida, selecione Substituir valores para alterar qualquer um dos valores na mesma.

    22.

  4. Instalações: selecione o ícone de informações junto das instalações para obter uma lista de todas as instalações atualmente no sistema. Para este conjunto de dados, parece que todas as instalações já estão no sistema e estão listadas na coluna intitulada Operação. Altere o cabeçalho da coluna para Instalações.

  5. Unidade organizacional: Para adicionar unidade organizacional a esta importação, dirija-se ao separador Dados em ferramentas de transformação de dados e introduza Organização no menu suspenso. Esta ação mostra a entidade Unidade organizacional nos dados de referência. Selecione-a para a adicionar ao carrinho de compras.

    23.

    Crie uma nova consulta copiando a consulta de dados de demonstração no lado esquerdo e mudando-lhe o nome para Unidade organizacional. A lista de verificação da unidade organizacional indica que os atributos obrigatórios incluem o nome e o tipo de unidade organizacional. Selecione Escolher colunas na parte superior, desmarque Selecionar tudo e, em seguida, selecione a organização para mostrar apenas a coluna organização. Para adicionar o tipo de organização, selecione Adicionar coluna na parte superior, selecione Coluna personalizada para abrir uma nova janela e, em seguida, altere o Novo nome da coluna para Tipo de unidade organizacional. Selecione o tipo de dados texto da lista pendente, adicione "Divisão" entre aspas duplas na fórmula de coluna personalizada e, em seguida, selecione OK.

    24.

    Esta ação adiciona a coluna tipo de unidade organizacional à consulta. Mude o nome da coluna organização para Nome como definido no modelo de dados. Certifique-se de verificar a existência de duplicados. Clique com o botão direito no cabeçalho da coluna Nome e depois selecione Remover duplicados.

  6. Tipo de qualidade de dados: O tipo de qualidade de dados é uma lista de seleção que pode ser uma de três opções. Para adicionar este atributo, selecione a consulta combustão estacionária, selecione Adicionar coluna na parte superior e, em seguida, selecione Coluna personalizada. Numa nova janela, atualize o nome da nova coluna para o tipo de qualidade dos dados. No menu suspenso, selecione o tipo de dado como texto, adicione "Medido" entre aspas duplas na fórmula da coluna Personalizada, e depois selecione OK. Esta ação adiciona a coluna Tipo de qualidade de dados à consulta.

  7. Tipo de combustível: Para o tipo de combustível, o método mais fácil é criar um livro de exercícios Excel e adicionar os tipos de combustível fonte numa única coluna. Embora possa usar o Power Query para extrair esta informação do ficheiro fonte, precisa de um certo nível de conhecimento em Power Platform que pode não ser ideal para um pequeno subconjunto de dados. Neste exemplo, criou um ficheiro Excel que lista os tipos de combustível da fonte de dados. Para importar este ficheiro, selecione Obter dados na parte superior, que os adiciona à lista de consultas já criadas. Selecione Utilizar a primeira linha como cabeçalhos para assegurar que a nova consulta utiliza a primeira linha como um cabeçalho.

    25.

    O tipo de combustível na fonte de dados precisa de corresponder exatamente à sua descrição dentro do modelo de dados de Sustentabilidade do Dynamics 365. Selecione o ícone de informação junto do tipo de combustível na lista de verificação para ver a lista completa e a convenção de nomenclatura. No conjunto de dados, Carvão deverá ser atualizado para Alcatrão de Carvão. Selecione a célula com Carvão, clique com o botão direito do rato, selecione Renomear, substitua Carvão por Alcatrão de carvão e, em seguida, selecione OK.

    26.

    Os dados da demonstração usam uma convenção de nomenclatura diferente para os tipos de combustível, pelo que deve alinhá-los com os tipos de combustível descritos no modelo de dados. Precisas de adicionar uma coluna condicional disponível no Power Query. Selecione a consulta combustão estacionária, selecione Adicionar coluna na parte superior e, em seguida, selecione Coluna condicional. Atualize o nome da coluna para Tipo de Combustível e, em seguida, selecione o primeiro combustível a partir da origem de dados utilizando a lista pendente por baixo do nome da coluna para aplicar uma condição. Neste exemplo, se algum dos tipos de combustível fonte tiver um valor superior a zero, selecione o tipo de combustível apropriado que corresponda ao modelo de dados que carregou anteriormente. Continue a adicionar as cláusulas para todos os seis tipos de combustível nos dados de demonstração. Selecione OK para adicionar uma coluna de tipo de combustível com estas condições à consulta de combustão estacionária.

    27.

  8. Nome: o conjunto de dados não inclui uma coluna Nome, que também é um atributo obrigatório para a combustão estacionária. Pode renomear qualquer uma das colunas na consulta de combustão estacionária ou adicionar uma coluna personalizada com um nome exclusivo. Adicione uma coluna personalizada denominada Nome, com Combustão Estacionária como texto.

  9. Quantidade e unidade de quantidade: Quantidade e Unidade de Quantidade são campos necessários para combustão estacionária, por isso adicione-os à consulta. Selecione Adicionar coluna no topo e, em seguida, selecione Coluna Condicional. Atualize o nome da coluna para Quantidade e, em seguida, selecione Tipo de Combustível por baixo do nome da coluna para aplicar uma condição. Neste exemplo, compare a quantidade do tipo de combustível com a quantidade nos dados de demonstração. Introduza cada um dos tipos de combustível. Na caixa de seleção Saída, escolha Utilizar valores numa coluna para selecionar o tipo de combustível correspondente no próximo menu suspenso. Continue a adicionar as cláusulas para todos os seis tipos de combustível nos dados de demonstração. Selecione OK para adicionar uma coluna Quantidade com estas condições à consulta de combustão estacionária.

    28.

    Repita estes passos para adicionar uma coluna para a unidade de quantidade.

    29.

  10. Verificar unidades: Para que a importação seja bem-sucedida, as unidades na fonte de dados devem corresponder às unidades definidas no modelo de dados Dynamics 365 Sustainability. Para verificar a convenção de nomenclatura, selecione o ícone Estrutura de informações ao lado da unidade de quantidade na lista de verificação da entidade. Uma nova janela é aberta para todas as unidades e a respetiva convenção de nomenclatura. Para atualizar as unidades para os dados de demonstração:

    1. Selecione o menu suspenso próximo ao cabeçalho Unidade de Quantidade.
    2. Selecione Carregar mais para fornecer uma lista de todas as unidades nessa coluna.
    3. Clique com o botão direito na primeira unidade e selecione Substituir valores.
    4. Introduza o nome do modelo de dados da unidade e selecione OK.

    Repita este passo para todas as unidades nos dados.

    30.

  11. Dados limpos: Certifique-se de que nenhum dos registos tem células vazias na consulta. Para verificar e remover células vazias, selecione qualquer um dos menus suspensos do cabeçalho da coluna Quantidade de Combustível e depois selecione Remover vazias. Repita este passo para todas as colunas Quantidade de Combustível. Repita o mesmo passo para a coluna denominada Unidade de Quantidade.

  12. Finalizar consultas: Selecionar os atributos necessários para combustão estacionária e finalizar a consulta. Selecione Escolher colunas na parte superior da janela, desmarque Selecionar tudo e, em seguida, selecione todos os atributos necessários. Para verificar se todos os atributos estão disponíveis e selecionados na consulta, consulte a lista de verificação em Ferramentas de transformação de dados. Depois de selecionar, selecione OK.

  13. Remover dados de demonstração: Antes de transformar as consultas, remova a consulta original de dados de demonstração.

Passo 5: Criar uma importação de dados

  1. Depois de criar e transformar as consultas, selecione Criar no final da página para criar a importação de dados.

  2. Agendar importação de dados: Esta página oferece a opção de definir um cronograma recorrente para a atualização de dados a partir da fonte conectada, que pode ser desativado usando uma opção de alternância. A atualização pode ser automática numa frequência definida ou numa agenda definida. Pode também optar por substituir os dados importados anteriormente. Depois de selecionar uma opção, selecione Seguinte.

    31.

  3. Rever e nomear: introduza um nome para a importação de dados juntamente com uma descrição (opcional) e, em seguida, selecione Ligar.

    32.

    É criada uma importação de dados para este conjunto de dados. Os dados não aparecem no Dynamics 365 Sustainability até estarem mapeados para as entidades do modelo de dados. Pode continuar com o mapeamento após a transformação ser concluída, ou você ou outro utilizador pode concluir o mapeamento posteriormente.

    33.

  4. Seleccione Concluir para ir à página de Importação de Dados ou seleccione Mapear campos para mapear os seus dados.

Passo 6: mapear dados

A experiência de mapeamento fornece mais orientação e lógica para mapear entidades e atributos. Oferece a capacidade de pré-visualizar dados mapeados e inteligência para identificar entidades que correspondem aos dados das consultas.

34.

A página Mapeamento contém os seguintes componentes:

  • Consultas: todas as consultas geradas no passo de transformação de dados. Um ponto azul ao lado de uma consulta indica que o mapeamento está incompleto, precisa de revisão e não está guardado.

  • Fonte de dados: Este menu suspenso apresenta uma lista de todas as entidades disponíveis que pode associar às consultas selecionadas. As entidades que selecionas durante os passos de importação aparecem sempre no topo do menu suspenso, em Usados recentemente.

    36.

  • Dados de pré-visualização: Depois de mapear uma consulta para uma entidade, vê uma pré-visualização dos dados mapeados. Revise o mapeamento antes de os dados serem guardados.

37.

  • Mapear automaticamente: mapear automaticamente permite-lhe mapear os dados para uma consulta se souber a entidade para a qual é a consulta. Analisa palavras parciais e combinações parciais de palavras. Selecione uma consulta na navegação esquerda, selecione a entidade apropriada da lista pendente da origem de dados e, em seguida, selecione Mapear automaticamente para mapear os campos.

  • Encontrar a melhor correspondência: Pode mapear consultas para as entidades do modelo de dados mesmo com informação parcial ou incompleta. A lógica compara a percentagem de correspondência para todos os atributos necessários na consulta primeiro e, em seguida, para os atributos opcionais, correspondendo o nome da consulta à definição de dados de sustentabilidade e, por fim, qualquer uma das definições de dados adicionados ou selecionados durante a importação. Selecione a consulta no lado esquerdo e, em seguida, selecione Encontrar a melhor correspondência para mapear os campos de origem para a entidade do modelo de dados correta. Outra verificação de validação na experiência de mapeamento é quando os campos não são uma correspondência exata e necessitam da sua validação antes de o mapeamento ser guardado. Estes campos são realçados a azul, indicando que têm de ser verificados antes de o mapeamento ser guardado.

    38.

  • Pronto para importar: Pode importar várias entidades através de uma única importação. Este processo requer múltiplas consultas que deve mapear dentro da importação de dados. Fazes o mapeamento individualmente para cada consulta para garantir que consegues rever e mapear os campos de origem com precisão. Se o trabalho de importação for executado antes de o mapeamento ser concluído, ocorrem erros de importação. A experiência de mapeamento inclui uma opção dedicada que se ativa após a conclusão do mapeamento. Este passo assegura que a importação não é executada até que o mapeamento seja concluído, eliminando quaisquer erros de ingestão que possam surgir do mapeamento incompleto.

Para os dados da demonstração, selecione cada uma das consultas e complete o mapeamento usando o Auto Map ou Encontrar a melhor correspondência. Reveja os campos de origem durante cada mapeamento. Após a verificação, guarde o mapeamento e comute Pronto para importar para Ligado. Vá à página de importações de dados para ver o estado da importação de dados adicionados.

39.

A página Importações de dados é atualizada e inclui os seguintes detalhes para cada importação:

  • Nome da importação de dados.
  • Descrição se adicionada pelo utilizador.
  • Estado do mapeamento para indicar que a importação está mapeada ou não mapeada.
  • Altere para Pronto para importar.
  • Estado da importação de dados.
  • Última atualização incluindo a data e hora da atualização.
  • Definição de dados da entidade ou entidades a importar.
  • Proprietário da importação de dados.
  • Proprietário da etapa de mapeamento.

Pode editar a importação e o mapeamento separadamente.

40.

Editar uma importação do Power Query

O Dynamics 365 Sustainability permite-lhe atualizar ou editar uma importação anterior e fazer alterações ao ficheiro de origem, às entidades, à atualização programada ou ao nome da importação. Para editar uma importação existente:

  1. Na navegação à esquerda, por baixo de Gestão de dados, selecione Importações de dados.

  2. Selecione a importação de dados que pretende editar.

  3. Selecione Editar importação no topo da página. A página Defina os seus dados aparece com a opção de adicionar entidades de dados à importação.

    41.

  4. Adicione ou altere entidades e selecione Seguinte.

  5. Selecione Configurar ligação.

    42.

  6. Selecione as credenciais e, em seguida, selecione Ligar.

    43.

  7. Se pretender alterar o tipo de importação ou o ficheiro de origem, selecione Obter dados na navegação superior. Regressa à página Ligar à origem de dados, onde será possível repetir os passos anteriores. Também pode editar e transformar dados nas consultas existentes usando funcionalidades do Power Query.

    44. 45. 46. 47. 48.

    Está disponível mais documentação sobre como utilizar o Power Query em Modelos e sugestões sob Ferramentas de transformação de dados.

  8. Se pretende atualizar apenas a agenda de atualização dos dados, selecione Criar na parte inferior da página. Pode então atualizar a atualização de dados, nome da importação ou descrição. Selecione Conectar.

  9. Selecione Concluído se não for necessária nenhuma atualização de mapeamento. Se for necessário atualizar o mapeamento, selecione Mapear campos para ir para o ecrã de mapeamento.

  10. Selecione as consultas que têm de ser novamente mapeadas e siga os passos de mapeamento anteriores. Depois de concluído o mapeamento, guarde o mapeamento e defina o comutador Pronto para importar como Sim.

    A importação está agora atualizada na página de importações de dados .

  11. Se só for necessário atualizar o mapeamento, aceda à página de mapeamento a partir da página Importações de dados ao selecionar Editar mapeamento na navegação superior.

Importar dimensões personalizadas

Importar dimensões personalizadas é parte integrante da nova experiência de importação e só está disponível através da experiência Power Query.

Os seguintes passos são o fluxo de trabalho preferencial para ingestão das dimensões personalizadas:

  • Defina novas colunas nos seus dados de origem.
  • Transforme os dados numa forma homogénea para que o Power BI possa processá-los em cálculos e relatórios.
  • Criar e mapear dimensões personalizadas.
  • Utilize ou faça referência às dimensões personalizadas nos cálculos e na análise.

Esta secção foca-se na importação e no mapeamento. Para saber mais sobre dimensões personalizadas, consulte Dimensões personalizadas.

Para ingerir dimensões personalizadas, defina mais atributos (colunas) na sua fonte de dados, como Excel ou base de dados.

Exemplo de dados adicionais:

49.

Na experiência do Power Query, transforme os dados, potencialmente com múltiplas consultas, para que os dados sejam consistentes e válidos para cálculos (se necessário). Por exemplo, transformar um conjunto de dados heterogéneo em múltiplos conjuntos homogéneos.

Consulta pré-transformação:

50.

Consulta pós-transformação:

51.

Mapping

Siga estes passos para detetar e mapear os atributos da entidade do modelo de dados. Revê todos os mapeamentos e certifica-te de que não atribuis nenhuma dimensão personalizada ao campo de destino padrão ou incorreto.

Na secção Dimensões Personalizadas:

  • Campos de origem: selecione na lista pendente um campo de origem dos dados originais.
  • Campos de Destino:
    • Se a dimensão personalizada existir no menu suspenso, selecione-a e selecione Adicionar.
    • Se não estiver disponível, introduza um nome para mapear, selecione o tipo e depois Adicionar.

Também pode criar as dimensões nas configurações de gestão de Dimensões personalizadas antes de mapear, para que estejam disponíveis para seleção no menu pendente.

Adicionar dimensão personalizada existente:

52.

Adicione uma nova dimensão personalizada:

53.

  • Última atualização a