Integrar dados no Microsoft Dataverse
O Integrador de Dados (para Admins) é um serviço de integração ponto a ponto utilizado para integrar dados no Dataverse. Suporta a integração de dados entre as aplicações de finanças e operações e o Dataverse. Também suporta a integração de dados nas aplicações de finanças e operações e no Dynamics 365 Sales. Este serviço foi disponibilizado desde julho de 2017.
Nota
Recomendamos vivamente que os clientes comecem a utilizar a escrita dupla que proporciona uma integração bidirecional e estreita entre as aplicações de finanças e operações e o Dataverse. Qualquer alteração de dados nas aplicações de finanças e operações causa escritas para o Dataverse e qualquer alteração de dados no Dataverse causa escritas nas aplicações de finanças e operações. Este fluxo de dados automatizado proporciona uma experiência de utilizador integrada em todas as aplicações.
Gorjeta
Consulte o blogue: atualizações do integrador de dados – novas funcionalidades com uma interface de utilizador intuitiva que fornece uma experiência fluente.
Como pode utilizar o integrador de dados para a sua empresa?
O Integrador de Dados (para Administradores) também suporta cenários de integração baseados em processos, tais como a solução Prospect to Cash, que proporciona sincronização direta entre as aplicações de finanças e operações e o Dynamics 365 Sales. Os modelos Prospect to Cash que estão disponíveis com a funcionalidade de integração de dados ativa o fluxo de dados para contas, contactos, produtos, cotações de vendas, ordens de venda e faturas de vendas entre aplicações de finanças e operações e o Sales. Apesar de os dados fluírem entre aplicações de finanças e operações e o Sales, pode efetuar atividades de vendas e marketing no Sales e pode processar o cumprimento de encomendas utilizando a gestão de inventários em aplicações de finanças e operações.
A integração do Prospect to Cash permite que os vendedores manipulem e monitorizem os processos de vendas com os pontos fortes Dynamics 365 Sales, enquanto todos os aspetos de cumprimento e faturação acontecem utilizando a caraterística em aplicações de finanças e operações. Com a integração do Microsoft Dynamics 365 Prospect, obtém o poder combinado dos dois sistemas.
Para mais informações sobre a integração Prospect to Cash, consulte a documentação na solução Prospect to Cash.
Também suportamos a integração do Field Service e a integração do PSA (Project Service Automation) para as aplicações de finanças e operações.
Plataforma de integradores de dados
O Integrador de Dados (para Administradores) consiste na plataforma de Integração de Dados, em modelos prontos a utilizar fornecidos pelas nossas equipas de aplicações (por exemplo, aplicações de finanças e operações e o Dynamics 365 Sales) e em modelos personalizados criados pelos nossos clientes e parceiros. Construímos uma plataforma independente da aplicação que pode ser dimensionada em várias origens. No núcleo do mesmo, é possível criar ligações (para os pontos de extremidade da integração), escolher um dos modelos personalizáveis com mapeamentos predefinidos (que pode personalizar adicionalmente) e criar e executar o projeto de integração de dados.
Os modelos de integração funcionam como um esquema com entidades e mapeamentos de campos predefinidos para ativar o fluxo de dados da origem para o destino. Também fornece a capacidade de transformar os dados antes de os importar. Muitas vezes, o esquema entre as aplicações de origem e destinos pode ser muito diferente e um modelo com entidades e mapeamentos de campos predefinidos serve como ponto de partida ideal para um projeto de integração.
Como configurar um projeto de integração de dados
Existem três passos primários:
Crie uma ligação (forneça credenciais a origens de dados).
Crie um conjunto de ligações (identifique ambientes para as ligações que criou no passo anterior).
Criar um projeto de integração de dados utilizando um modelo (criar ou utilizar mapeamentos predefinidos para uma ou mais entidades).
Depois de criar um projeto de integração, é possível executar manualmente o projeto e configurar uma atualização baseada num cronograma para o futuro. O resto deste artigo expande estes três passos.
Nota
A interface de utilizador para gestão de projetos do Integrador de Dados está alojada em https://dataintegrator.trafficmanager.net. As políticas da sua organização podem exigir a adição deste site à lista de permissões para aceder à interface.
Como criar uma ligação
Antes de poder criar um projeto de integração de dados, tem de provisionar uma ligação para cada sistema em que pretende trabalhar no portal do Microsoft Power Apps. Pense nas seguintes ligações como os seus pontos de integração.
Criar uma ligação
Aceder a Power Apps.
Por baixo de Dados, selecione ligações e, em seguida, selecione Nova ligação.
Pode selecionar uma ligação a partir da lista de ligações ou procurar a sua ligação.
Depois de selecionar a ligação, selecione criar. De seguida, ser-lhe-à pedido para introduzir as suas credenciais.
Depois de fornecer as suas credenciais, a ligação será listada nas ligações.
Nota
Certifique-se de que a conta que especificar para cada ligação tem acesso a entidades para as aplicações correspondentes. Além disso, a conta para cada ligação pode estar num inquilino diferente.
Como criar um conjunto de ligações
Conjuntos de ligações são uma coleção de duas ligações, ambientes para ligações, informações de mapeamento da organização e chaves de integração que podem ser reutilizadas entre projetos. Pode começar a utilizar um conjunto de ligações para o desenvolvimento e, em seguida, mudar para um outro diferente para produção. Uma informação-chave que é armazenada com um conjunto de ligações é o mapeamento das unidades organizacionais — por exemplo, mapeamentos entre a entidade legal de aplicações de finanças e operações (ou empresa) e a organização ou unidades de negócio do Dynamics 365 Sales. Pode armazenar vários mapeamentos de organização num conjunto de ligações.
Criar um conjunto de ligações
Aceder ao centro de administração do Power Apps.
Selecione o separador Integração de dados no painel de navegação do lado esquerdo.
Selecione o separador Conjuntos de ligações e, em seguida, selecione Novo conjunto de ligações.
Indique um nome para o conjunto de ligações.
Escolha as ligações que criou anteriormente e selecione o ambiente apropriado.
Repita os passos escolhendo a ligação seguinte (imagine-o como origem e destino sem ordem específica).
Especifique a organização para o mapeamento da unidade de negócio (se estiver a integrar entre aplicações de finanças e operações e sistemas do Sales).
Nota
Pode especificar vários mapeamentos para cada conjunto de ligações.
Depois de ter concluído todos os campos, selecione criar.
Verá o novo conjunto de ligações que acabou de criar na página de lista de conjuntos de ligações.
O conjunto de ligação está pronto para ser utilizado em vários projetos de integração.
Como criar um projeto de integração de dados
Os projetos permitem o fluxo de dados entre sistemas. Um projeto contém mapeamentos para uma ou mais entidades. Os mapeamentos indicam os campos que são mapeados para os outros campos.
Criar um projeto de integração de dados
Aceder ao centro de administração do Power Apps.
Selecione o separador Integração de dados no painel de navegação esquerdo.
Enquanto estiver no separador Projetos, selecione novo projeto no canto superior direito.
Indique um nome para o projeto de integração.
Selecione um dos modelos disponíveis (ou crie o seu próprio modelo). Neste caso, estamos a mover a entidade de Produtos de aplicações de finanças e operações para o Sales.
Selecione Seguinte e escolha um conjunto de ligações que tenha criado anteriormente (ou crie um novo conjunto de ligações).
Certifique-se de que escolheu o correto ao confirmar os nomes da ligação e do ambiente.
Selecione seguinte e, em seguida, escolha a entidade legal para mapeamentos de unidades de negócio.
Reveja e aceite o aviso de privacidade e o consentimento no ecrã seguinte.
Vá para criar o projeto e, em seguida, execute o projeto que, por sua vez, executa o projeto.
Neste ecrã, irá observar vários separadores —Agendamentoe Histórico de execuções— juntamente com alguns botões—adicionar tarefa, atualizar entidades e consulta avançada—que será descrito posteriormente neste artigo.
Histórico de execuções
O histórico de execução mostra o histórico de todas as execuções do projeto com o nome do projeto, o carimbo de data/hora de quando o projeto foi executado e o estado de execução, juntamente com o número de upserts e/ou erros.
Exemplo de histórico de execução do projeto.
Exemplo de execução com êxito, a mostrar o estado como concluído o número de upserts. (Atualizar Insert é uma lógica para atualizar o registo, se já existir, ou para inserir um novo registo.)
Para falhas de execução, pode desagregar para ver a causa raiz.
Segue-se um exemplo de falha com erros de validação de projeto. Neste caso, o erro de validação do projeto é devido à falta de campos de origem nos mapeamentos de entidade.
Se a execução do projeto estiver no estado "ERRO", a execução será repetida na próxima execução agendada.
Se a execução do projeto estiver no estado "AVISO", terá de corrigir os problemas existentes na origem. A execução será repetida na próxima execução agendada.
Em qualquer dos casos, também pode optar por "voltar a executar manualmente".
Nota
Sempre que executa um projeto, manualmente ou com base em agendamento, gera um registo detalhado que mostra o nome do projeto, o carimbo de data/hora atualizado com o estado. Pode ver isto no histórico de execução de cada projeto. O histórico de execução do projeto é mantido por 45 dias após os quais é eliminado automaticamente.
Como configurar uma atualização baseada em agendamento
Suportamos dois tipos de execuções/gravações hoje:
Gravações manuais (executar e atualizar manualmente o projeto)
Gravações baseadas em agendamentos (atualização automática)
Depois de criar um projeto de integração, tem a opção de o executar manualmente ou configurar gravações baseadas em agendamentos, o que lhe permite configurar a atualização automática para os seus projetos.
Configurar gravações baseadas em agendamentos
Aceder ao centro de administração do Power Apps.
Poderá agendar projetos de duas formas diferentes.
Selecione o projeto e selecione o separador Agendamento ou inicie o Programador a partir da página da lista de projetos clicando nas reticências junto do nome do projeto.
Selecione repetir a cada e depois de ter preenchido todos os campos, selecione Guardar Agenda.
É possível definir uma frequência com a frequência igual a 1 minuto ou que a mesma repita num determinado número de horas, dias, semanas ou meses. Note que a atualização seguinte só é iniciada depois de a tarefa de projeto anterior concluir a respetiva execução.
Tenha também em atenção que, em notificações, pode optar por notificações de alerta baseadas em e-mails, que o alertam sobre execuções de tarefas que foram concluídas com avisos e/ou com falhas devido a erros. Pode fornecer vários destinatários, incluindo grupos separados por vírgulas.
Nota
- Atualmente, damos suporte ao agendamento de 50 projetos de integração a qualquer momento por cada inquilino pago. No entanto, pode criar mais projetos e executá-los interativamente. Para os inquilinos de avaliação, temos uma limitação adicional de que um projeto agendado só é executado para as primeiras execuções 50.
- Ao mesmo tempo que damos suporte ao agendamento de projetos para serem executados a cada minuto, tenha em atenção que isto pode colocar muita pressão sobre as suas aplicações e, por sua vez, impactar o desempenho geral. É altamente aconselhável que os utilizadores testem as execuções de projetos em condições de carga verdadeira e optimizem o desempenho com atualizações menos frequentes. Em ambientes de produção, não recomendamos a execução de mais de 5 projetos por minuto, por inquilino.
- Para optimizar o desempenho e não sobrecarregar as aplicações, limitámos atualmente as execuções do projeto a 500k de linhas por execução por projeto.
- Sempre que executa um projeto, manualmente ou com base em agendamento, gera um registo detalhado que mostra o nome do projeto, o carimbo de data/hora atualizado com o estado. Pode ver isto no histórico de execução de cada projeto. O histórico de execução do projeto é mantido por 45 dias após os quais é eliminado automaticamente.
Personalizar projetos, modelos e mapeamentos
Utilize um modelo para criar um projeto de integração de dados. Um modelo comoditiza a movimentação de dados que, por sua vez, ajuda um utilizador de negócio ou Administrador agilizar a integração de dados de origens para os destinos e reduz a carga e o custo global. Um utilizador ou Administrador de um negócio pode começar com um modelo pronto para ser publicado pela Microsoft ou pelo seu parceiro e, em seguida, personalizá-lo posteriormente antes de criar um projeto. Em seguida, pode guardar o projeto como modelo e partilhar com a sua organização e/ou criar um novo projeto.
Um modelo fornece-lhe a origem, destino e direção do fluxo de dados. Tem de ter isto em consideração ao mesmo tempo que personaliza e/ou cria o seu próprio modelo.
Pode personalizar projetos e modelos das seguintes formas:
Personalizar mapeamentos de campos.
Personalizar um modelo adicionando uma entidade à sua escolha.
Como personalizar mapeamentos de campos
Criar um conjunto de ligações
Aceder ao centro de administração do Power Apps.
Selecione o projeto para o qual pretende personalizar mapeamentos de campos e, em seguida, selecione a seta entre os campos de origem e de destino.
Isto leva-o para o ecrã de mapeamento onde pode adicionar um novo mapeamento selecionando Adicionar mapeamento no canto superior direito ou Personalizar mapeamentos existentes a partir da lista pendente.
Depois de personalizar os mapeamentos de campo, selecione Guardar.
Como criar o seu próprio modelo
Criar o seu próprio modelo modificando os modelos existentes
Aceder ao centro de administração do Power Apps.
Identificar a origem e o destino e a direção do fluxo para o novo modelo.
Crie um projeto escolhendo um modelo existente que corresponda à sua escolha de origem e destino e direção de fluxo.
Crie o projeto após escolher a ligação apropriada.
Antes de guardar e/ou executar o projeto, no canto superior direito, selecione Adicionar tarefa.
Isto irá iniciar o diálogoAdicionar tarefa.
Forneça um nome de tarefa significativo e adicione entidades de origem e destino à sua escolha.
A lista pendente mostra-lhe todas as suas entidades de origem e destino.
Neste caso, foi criada uma nova tarefa para sincronizar a entidade utilizador a partir do SalesForce para a entidade utilizadores no Dataverse.
Depois de criar a tarefa, verá a nova tarefa listada e poderá eliminar a tarefa original.
Acabou de criar um novo modelo — neste caso, um modelo para extrair dados de entidade de utilizador do SalesForce para o Dataverse. Selecione Guardar para guardar a personalização.
Siga os passos para personalizar os mapeamentos de campo para este novo modelo. Poderá executar este projeto e/ou guardar o projeto como modelo a partir da página Lista do projeto.
Forneça um nome e descrição e/ou partilhe com outras pessoas na organização.
Para criar o seu próprio modelo a partir de modelos em branco
Aceder ao centro de administração do Power Apps
Crie um projeto de integração de dados. Selecione o separador Integração de dados no painel de navegação esquerdo.
Selecione Novo projeto e forneça um nome para o seu projeto. Por exemplo, "Demo_Projeto CriarOSeuPróprioModelo".
Na página da lista Selecione um modelo e escolha um modelo genérico em branco. Para este exemplo, escolha o modelo Sales para Fin e Ops, uma vez que queremos mover dados de aplicações de finanças e operações para o Dynamics 365 Sales.
Siga os passos 6 a 9 aquipara concluir a criação de um projeto de integração de dados. Selecione Guardar.
Verá a página tarefas que está vazia já que se trata de um modelo em branco, sem qualquer tarefa. Selecione Adicionar tarefa para escolher uma entidade na lista pendente e adicionar uma nova tarefa. Neste caso, para fins de demonstração, vamos criar uma tarefa Activities Sales para Fin e Ops ao escolher a entidade Atividades para as aplicações de finanças e operações e o Dynamics 365 Sales. Selecione Criar.
Verá que uma nova tarefa foi adicionada Atividades de vendas para Fin and Ops. Selecione Guardar para guardar as alterações.
O projeto foi criado! Selecione Guardar como modelo na página da lista Projetos.
Forneça o nome e a descrição e, em seguida, selecione Guardar. Para além disso, selecione Partilhar com todas as pessoas na minha organização para partilhar este modelo.
Verá o modelo recém-criado listado na página da lista de Modelos.
Além disso, depois de criar um novo projeto de integração, quando escolhe Selecionar um modelo, verá o seu modelo recém-criado como parte da lista Selecionar um modelo.
Transformação e filtragem de dados avançadas
Com o suporte do Power Query, proporcionamos filtragem avançada e transformação de dados da origem de dados. O Power Query permite que os utilizadores voltem a formatar dados de acordo com suas necessidades através de uma experiência de utilizador fácil, atrativa e sem código. Pode ativá-lo numa base de projeto-a-projeto.
Como activar a consulta e a filtragem avançadas
Configurar transformação e filtragem de dados avançadas
Aceder ao centro de administração do Power Apps.
Selecione o projeto onde pretende ativar a consulta avançada e, em seguida selecione Consulta Avançada.
Receberá um aviso de que a ativação da consulta avançada é uma operação unidirecional e não pode ser anulada. Selecione Ok para continuar e, em seguida, selecione a seta de mapeamento de origem e destino.
Agora, é apresentada a página de mapeamento da entidade familiar com uma hiperligação para iniciar a Consulta e a Filtragem Avançadas.
Selecione para ligar para iniciar a interface de utilizador de Consulta e Filtragem Avançadas, que fornece os dados do campo de origem em forma de colunas no Microsoft Excel.
No menu superior, são obtidas várias opções para transformar dados, tais como Adicionar coluna condicional, Duplicar coluna e Extrair.
Também pode clicar com o botão direito do rato em qualquer coluna para mais opções, tais como Remover colunas, Remover duplicados e Dividir coluna.
Também pode filtrar clicando em cada coluna e utilizando filtros tipo do Excel.
Os transformadores de valor predefinidos podem ser obtidos utilizando a coluna condicional. Para o fazer, na lista suspensa Adicionar Coluna, selecione Adicionar Coluna Condicional e introduza o nome da nova coluna. Preencha Então e Caso Contrário com o valor que deve ser predefinido e utilize qualquer campo e valor para Se e igual a.
Observe a cláusula cada no editor fx, na parte superior.
Corrija a cláusula cada no editor fx e selecione Ok.
Sempre que efetuar uma alteração, aplica um passo. Pode ver os passos aplicados no painel do lado direito (role para baixo para ver o passo mais recente). Pode desfazer um passo para o caso de necessitar de editar. Para além disso, pode ir para o editor avançado, clicando com o botão direito em QrySourceData no painel esquerdo, na parte superior, para ver o idioma M que é executado em segundo plano, com os mesmos passos.
Selecione Ok para fechar a interface de Filtragem e Consulta Avançadas e, em seguida, na página Mapear tarefa, escolha a coluna recém-criada como origem para criar o mapeamento em conformidade.
Para mais informações sobre o Power Query, consulte a documentação do Power Query.
Nota
Depois de Consulta e Filtragem Avançada ser ativado, as transformações através de Fn não são suportadas e, em vez disso, devem ser definidas através da Consulta e Filtragem Avançadas.
Atualmente, efetuar associações em várias origens de dados (através do botão Obter dados ou consulta M) na Consulta e Filtragem Avançadas não é suportado.
Se encontrar limites de avaliação do Power Query com o erro:
A tarefa de powerquery falhou com o erro: Exception ExceptionType:MashupEvaluationException, ExceptionMessage:EvaluationQuotaReached, EvaluationResponse:{"ResultType":"ErrorCode","Code":"EvaluationQuotaReached"
Reveja as orientações sobre Limites Online do Power Query.
Modificar o url diretamente no editor mashup não é suportado. Só será utilizado o filtro aplicado utilizando a IU do editor de mashup ou especificado no campo de edição do filtro de origem na página de mapeamento.
Afinação de Desempenho
Existem vários fatores que influenciam o desempenho de um cenário de integração. O desempenho depende muito de:
Que aplicações está a integrar: aplicações de finanças e operações e o Dataverse
Entidades utilizadas: a forma, validação e lógica de negócio (padrão e personalizações) das entidades
O integrador de dados tira os dados da aplicação de origem e coloca-os na aplicação alvo. As considerações de desempenho principais são a forma como as aplicações de origem e alvo são dimensionadas com as entidades envolvidas. Aproveita as melhores tecnologias disponíveis para puxar e enviar dados tendo em conta o desempenho.
As aplicações de finanças e operações utilizam a estrutura de gestão de dados que fornece uma forma de solicitar/emitir dados com um melhor desempenho. A estrutura de gestão de dados é utilizada para gerir entidades de dados e pacotes de entidades de dados em aplicações de finanças e operações.
O Dynamics 365 para Dataverse utiliza APIs OData, juntamente com o paralelismo, para maximizar o desempenho.
Pode utilizar as seguintes definições para sintonizar o desempenho de aplicações de finanças e operações com base na carga, entidade e recursos.
Exportar dados de aplicações de finanças e operações:
Exportação direta (ignorar o Teste Ligado) Certifique-se de que as entidades utilizadas para a integração suportam a exportação direta (ignorar o Teste Ligado). Isto permite que a exportação seja executada em massa e a tabela de teste é ignorada. Se executar com a opção Ignorar Teste Desligado, volta às chamadas de linha por linha e os dados são inseridos na tabela de teste.
Ative o controlo de alterações para as entidades; o Controlo de alterações permite a exportação incremental de dados de aplicações de finanças e operações utilizando a gestão de dados. Numa exportação incremental, apenas os registos que foram alterados são exportados. Para ativar a exportação incremental, tem de ativar a monitorização de alterações nas entidades. Sem a monitorização de alterações, irá efetuar exportações completas, o que poderá afetar o desempenho. Para cenários complexos, utilize a consulta personalizada para monitorização de alterações.
Importar dados para aplicações de finanças e operações:
Certifique-se de que a própria entidade tem um bom desempenho. Se possível, crie entidades baseadas em conjuntos.
Se o número de linhas a importar for alto e a entidade não suportar operações de definição: a gestão de dados pode ser configurada para importar a entidade com tarefas paralelas. Isto pode ser configurado na gestão de dados (parâmetros), configurando os parâmetros de execução de entidade. Isto usaria a estrutura de lotes para criar tarefas paralelas, com base na disponibilidade do recurso para execução em paralelo.
Desativar validações (opcional): apesar de o integrador de dados não ignorar a lógica de negócio e validações, poderá opcionalmente desativar as que não são necessárias para melhorar o desempenho.
Considere as seguintes sugestões para assegurar o desempenho ao importar ou exportar dados dos ambientes.
Importar/Exportar dados de/para aplicações de interação com os clientes
- Certifique-se de que os índices estão definidos para chaves de integração.