Compartilhar via

Preços do Mapa de Dados do Microsoft Purview

  • Artigo

Este guia aborda as diretrizes de preço para o mapa de dados no portal de governança do Microsoft Purview.

Para obter detalhes completos da diretriz de preço para o Microsoft Purview (antigo Azure Purview), confira a visão geral da diretriz de preços.

Para obter detalhes de preço específicos, consulte a página de preços do Microsoft Purview (antigo Azure Purview). Este artigo orientará você pelos recursos e fatores que afetarão os preços do Mapa de Dados do Microsoft Purview.

Os custos diretos que afetam os preços do Mapa de Dados do Microsoft Purview baseiam-se nas três dimensões a seguir:

Mapa de dados elástico

  • O mapa de dados é a base da arquitetura do portal de governança do Microsoft Purview e, portanto, precisa estar atualizado com as informações de ativos no conjunto de dados em qualquer ponto

  • O mapa de dados é cobrado em termos de CU (Unidade de Capacidade ). O mapa de dados será provisionado em uma CU se o catálogo estiver armazenando até 10 GB de armazenamento de metadados e atender até 25 operações de mapa de dados/s

  • O mapa de dados é sempre provisionado em uma CU quando uma conta é criada pela primeira vez

  • No entanto, o mapa de dados é dimensionado automaticamente entre os limites mínimos e máximos dessa janela de elasticidade, para atender a alterações no mapa de dados em relação a dois fatores-chave - taxa de transferência de operação e armazenamento de metadados

Taxa de transferência de operação

  • Um fator controlado por eventos com base nas operações Criar, Ler, Atualizar, Excluir executadas no mapa de dados
  • Alguns exemplos das operações de mapa de dados seriam:
    • Criando um ativo no Mapa de Dados
    • Adicionar uma relação a um ativo como proprietário, administrador, pai, linhagem
    • Editando um ativo para adicionar metadados de negócios, como descrição, termo glossário
    • Pesquisa de palavras-chave retornando resultados para a página de resultados da pesquisa
    • Importar ou exportar informações usando a API
  • Se houver várias consultas executadas no Mapa de Dados, o número de operações de E/S também aumentará, resultando no dimensionamento do mapa de dados
  • O número de usuários simultâneos também forma um fator que rege a unidade de capacidade do mapa de dados
  • Outros fatores a serem considerados são tipo de consulta de pesquisa, interação de API, fluxos de trabalho, aprovações e assim por diante
  • Nível de explosão de dados
    • Quando há necessidade de mais operações/segunda taxa de transferência, o mapa de dados pode dimensionar automaticamente dentro da janela de elasticidade para atender à carga alterada
    • Isso constitui a característica de estouro que precisa ser estimada e planejada para
    • A característica de estouro compreende o nível de explosão e a duração da explosão para a qual a explosão existe
      • O nível de explosão é um índice multiplicativo da elasticidade consistente esperada em estado estável
      • A duração da explosão é o percentual do mês que essas explosões (em elasticidade) são esperadas devido ao aumento de metadados ou maior número de operações no mapa de dados

Armazenamento de metadados

  • Se o número de ativos reduzir no conjunto de dados e, em seguida, for removido no mapa de dados por meio de verificações incrementais subsequentes, o componente de armazenamento reduzirá automaticamente e, portanto, o mapa de dados reduzirá

Verificação, classificação e ingestão automatizadas

Há dois processos automatizados importantes que podem disparar a ingestão de metadados no Mapa de Dados do Microsoft Purview:

  • Verificações automáticas usando conectores nativos. Esse processo inclui três etapas de main:

    • Verificação de metadados
    • Classificação automática
    • Ingestão de metadados no Mapa de Dados do Microsoft Purview

  • Ingestão automatizada usando pipelines Azure Data Factory e/ou Azure Synapse. Esse processo inclui:

    • A ingestão de metadados e linhagem no Mapa de Dados do Microsoft Purview se a conta estiver conectada a qualquer Azure Data Factory ou Azure Synapse pipelines.

Verificações automáticas usando conectores nativos

  • Uma verificação completa processa todos os ativos dentro de um escopo selecionado de uma fonte de dados, enquanto uma verificação incremental detecta e processa ativos, que foram criados, modificados ou excluídos desde a verificação bem-sucedida anterior

  • Todas as verificações (verificações completas ou incrementais) pegarão ativos atualizados, modificados ou excluídos

  • É importante considerar e evitar os cenários quando várias pessoas ou grupos pertencentes a diferentes departamentos configuram verificações para a mesma fonte de dados, resultando em mais preços para a verificação duplicada

  • Agendar verificações incrementais frequentes após a verificação completa inicial alinhada com as alterações no conjunto de dados. Isso garantirá que o mapa de dados seja mantido atualizado sempre e que as verificações incrementais consumam horas menores do v-core em comparação com uma verificação completa

  • O link "Exibir Detalhes" para uma fonte de dados permitirá que os usuários executem uma verificação completa. No entanto, considere executar verificações incrementais após uma verificação completa para verificação otimizada, exceto quando há uma alteração no conjunto de regras de verificação (classificações/tipos de arquivo)

  • Registre a fonte de dados em uma coleção pai e escopo verifica na coleção filho com controles de acesso diferentes para garantir que não haja custos de verificação duplicados sendo implicados

  • Reduza os usuários que têm permissão para registrar fontes de dados para verificação por meio do controle de acesso refinado e da função administrador de fonte de dados usando a autorização de coleta. Isso garantirá que apenas fontes de dados válidas possam ser registradas e a verificação das horas do v-core seja controlada, resultando em custos mais baixos para verificação

  • Considere que o tipo de fonte de dados e o número de ativos que estão sendo verificados afetam a duração da verificação

  • Crie conjuntos de regras de verificação personalizados para incluir apenas o subconjunto de tipos de arquivo disponíveis em seu conjunto de dados e classificações relevantes para seus requisitos de negócios para garantir o uso ideal dos scanners

  • Ao criar uma nova verificação de uma fonte de dados, siga a ordem de preparação recomendada antes de executar a verificação. Isso inclui a coleta dos requisitos para classificações específicas de negócios e tipos de arquivo (para contas de armazenamento) para permitir que conjuntos de regras de verificação apropriados sejam definidos para evitar várias verificações e controlar custos desnecessários para várias verificações por meio de requisitos perdidos

  • Alinhar seus agendamentos de verificação com o tamanho das VMs (Máquinas Virtuais) de Self-Hosted Integration Runtime (SHIR) para evitar custos extras vinculados a máquinas virtuais

Ingestão automatizada usando pipelines de Azure Data Factory e/ou Azure Synapse

  • Metadados e linhagem são ingeridos de pipelines Azure Data Factory ou Azure Synapse sempre que os pipelines são executados no sistema de origem.

Conjuntos de recursos avançados

  • O Mapa de Dados do Microsoft Purview usa conjuntos de recursos para enfrentar o desafio de mapear um grande número de ativos de dados para um único recurso lógico, fornecendo a capacidade de examinar todos os arquivos no data lake e encontrar padrões (GUID, padrões de localização etc.) para agrupar eles como um único ativo no mapa de dados

  • O Conjunto avançado de recursos é um recurso opcional, que permite que os clientes obtenham informações de conjunto de recursos enriquecidas calculadas como Tamanho Total, Contagem de Partições etc., e permite a personalização do agrupamento de conjuntos de recursos por meio de regras de padrão. Se o recurso Conjunto de Recursos Avançado não estiver habilitado, seu catálogo de dados ainda conterá ativos de conjunto de recursos, mas sem as propriedades agregadas. Não haverá nenhum medidor "Conjunto de Recursos" cobrado para o cliente nesse caso.

  • Use o recurso básico do conjunto de recursos, antes de alternar os Conjuntos avançados de recursos no Mapa de Dados do Microsoft Purview para verificar se os requisitos são atendidos

  • Considere ativar conjuntos de recursos avançados se:

    • O esquema de data lakes está em constante alteração e você está procurando mais valor além do recurso básico do Conjunto de Recursos para habilitar o Mapa de Dados do Microsoft Purview a calcular parâmetros como #partitions, tamanho do conjunto de dados etc., como um serviço
    • É necessário personalizar como os ativos de conjunto de recursos são agrupados.

  • É importante observar que a cobrança de Conjuntos avançados de recursos é baseada na computação usada pela camada offline para agregar informações do conjunto de recursos e depende do tamanho/número de conjuntos de recursos em seu catálogo

Próximas etapas