Compartilhar via

Origens de dados e tipos de ficheiro suportados

  • Artigo

Este artigo aborda as origens de dados, os tipos de ficheiro e os conceitos de análise atualmente suportados no Mapa de Dados do Microsoft Purview.

Mapa de Dados do Microsoft Purview origens de dados disponíveis

A tabela abaixo mostra todas as origens que têm metadados técnicos disponíveis no Microsoft Purview. Selecione a origem de dados para saber mais. A tabela também lista capacidades suportadas adicionais para cada origem de dados e pode selecionar a funcionalidade para obter mais informações.

Categoria Arquivo de dados suportado Examinar Classificação Rotulamento Políticas Linhagem Modo de exibição ao vivo
Azure*** Várias origens Sim Sim Dependente de Origem Sim Não Limitado
Azure Storage Blob Sim Sim Sim Sim (Pré-visualização) Limitado* Sim
Azure Cosmos DB (API para NoSQL) Sim Sim Sim Não Não* Não
Azure Data Explorer Sim Sim Sim Não Não* Não
Azure Data Factory Sim Não Não Não Sim Não
Azure Data Lake Storage Gen1 Sim Sim Sim Não Limitado* Não
Azure Data Lake Storage Gen2 Sim Sim Sim Sim (Pré-visualização) Limitado* Sim
Azure Data Share Sim Não Não Não Sim Não
Banco de Dados do Azure para MySQL Sim Sim Sim Não Não* Não
Banco de dados do Azure para PostgreSQL Sim Sim Sim Não Não* Não
Azure Databricks Hive Metastore Sim Não Não Não Sim Não
Catálogo do Unity no Azure Databricks Sim Sim Sim Não Não Não
Pool de SQL Dedicado do Azure (antigo SQL DW) Sim Sim Não Não Não* Não
Arquivos do Azure Sim Sim Sim Não Limitado* Não
Azure Machine Learning Sim Não Não Não Sim Não
Banco de Dados SQL Azure Sim Sim Sim Sim Sim (Pré-visualização) Sim
Instância Gerenciada de SQL do Azure Sim Sim Sim Sim Não* Não
Azure Synapse Analytics (Área de Trabalho) Sim Sim Sim Não Sim - Pipelines do Synapse Não
Categoria Arquivo de dados suportado Arquivo de dados suportado Classificação Rotulamento Política de Acesso Linhagem Modo de exibição ao vivo
Banco de dados Amazon RDS Sim Sim Não Não Não Não
Amazon Redshift Sim Não Não Não Não Não
Cassandra Sim Não Não Não Sim Não
DB2 Sim Não Não Não Sim Não
BigQuery do Google Sim Não Não Não Sim Não
Banco de Dados do Metastore do Hive Sim Não Não Não Sim* Não
Mongodb Sim Não Não Não Não Não
MySQL Sim Não Não Não Sim Não
Oracle Sim Sim Não Não Sim* Não
PostgreSQL Sim Não Não Não Sim Não
Warehouse de Negócios do SAP Sim Não Não Não Não Não
SAP HANA Sim Não Não Não Não Não
Snowflake Sim Sim Sim Não Sim Não
SQL Server Sim Sim Sim Não Não* Não
SQL Server no Azure-Arc Sim Sim Não Sim Não* Não
Teradata Sim Sim Não Não Sim* Não
Categoria Arquivo de dados suportado Arquivo de dados suportado Classificação Rotulamento Política de Acesso Linhagem Modo de exibição ao vivo
Arquivo Amazon S3 Sim Sim Sim Sim Limitado* Não
HDFS Sim Sim Não Não Não Não
Serviços e aplicações Fluxo de ar Sim Não Não Não Sim Não
Dataverse Sim Sim Sim Não Não Não
Erwin Sim Não Não Não Sim Não
Recursos de Infraestrutura Sim Não Não Não Sim Sim
Looker Sim Não Não Não Sim Não
Power BI Sim Não Não Não Sim Sim**
Qlik Sense Sim Não Não Não Não Não
Salesforce Sim Não Não Não Não Não
SAP ECC Sim Não Não Não Sim* Não
SAP S/4HANA Sim Não Não Não Sim* Não
Tableau Sim Não Não Não Não Não

* Além da linhagem nos recursos na origem de dados, a linhagem também é suportada se o conjunto de dados for utilizado como origem/sink no pipeline do Data Factory ou do Synapse.

** Os itens do Power BI num inquilino dos Recursos de Infraestrutura estão disponíveis através da vista dinâmica.

Os recursos do Azure só estão disponíveis no mesmo inquilino que a sua conta do Microsoft Purview, a menos que estejam especificamente listados na página da origem de dados.

Observação

Atualmente, o Mapa de Dados do Microsoft Purview não consegue analisar um recurso que tenha /, \ou # no respetivo nome. Para definir o âmbito da análise e evitar a análise de recursos que tenham esses carateres no nome do recurso, utilize o exemplo em Registar e analisar um SQL do Azure Base de Dados.

Importante

Se planear utilizar um runtime de integração autoalojado, analisar algumas origens de dados requer uma configuração adicional no computador runtime de integração autoalojado. Por exemplo, JDK, Pacote Redistribuível do Visual C++ ou controlador específico. Para obter a sua origem, consulte cada artigo de origem para obter detalhes de pré-requisitos. Todos os requisitos serão listados na secção Pré-requisitos .

Analisar regiões

Segue-se uma lista de todas as regiões de origem de dados (datacenter) do Azure onde o Mapa de Dados do Microsoft Purview scanner é executado. Se a origem de dados do Azure estiver numa região fora desta lista, o scanner será executado na região da sua instância do Microsoft Purview.

Mapa de Dados do Microsoft Purview regiões do scanner

  • Leste da Austrália
  • Sudeste da Austrália
  • Sul do Brasil
  • Canadá Central
  • Leste do Canadá
  • Índia Central
  • China Norte 3
  • Leste da Ásia
  • Leste dos EUA
  • Leste 2 dos EUA
  • França Central
  • Centro-Oeste da Alemanha
  • Leste do Japão
  • Coréia Central
  • Centro-Norte dos EUA
  • Norte da Europa
  • Catar Central
  • Norte da África do Sul
  • Centro-Sul dos EUA
  • Sudeste da Ásia
  • Suíça (Norte)
  • Emirados Árabes Unidos Norte
  • Sul do Reino Unido
  • USGov Virginia
  • Centro-Oeste dos EUA
  • Europa Ocidental
  • Oeste dos EUA
  • Oeste 2 dos EUA
  • E.U.A. Oeste 3

Tipos de ficheiro suportados para análise

Os seguintes tipos de ficheiro são suportados para análise, extração de esquemas e classificação, sempre que aplicável:

  • Os formatos de ficheiro estruturados suportados pela extensão incluem análise, extração de esquemas e classificação ao nível dos recursos e colunas: AVRO, ORC, PARQUET, CSV, JSON, PSV, SSV, TSV, TXT, XML, GZIP
  • Os formatos de ficheiro de documento suportados pela extensão incluem análise e classificação ao nível dos recursos: DOC, DOCM, DOCX, DOT, ODP, ODS, ODT, PDF, POT, PPS, PPSX, PPT, PPTM, PPTX, XLC, XLS, XLSB, XLSM, XLSX, XLT
  • O Mapa de Dados do Microsoft Purview também suporta extensões de ficheiros personalizadas e analisadores personalizados.

Observação

Limitações Conhecidas:

  • O Mapa de Dados do Microsoft Purview scanner só suporta a extração de esquemas para os tipos de ficheiro estruturados listados acima.
  • Para os tipos de ficheiro AVRO, ORC e PARQUET, o analisador não suporta a extração de esquemas para ficheiros que contenham tipos de dados complexos (por exemplo, MAP, LIST, STRUCT).
  • O scanner suporta a análise de tipos PARQUET comprimidos snappy para extração e classificação de esquemas.
  • Para os tipos de ficheiro GZIP, o GZIP tem de ser mapeado para um único ficheiro csv. Os ficheiros Gzip estão sujeitos às regras de Classificação Personalizada e do Sistema. Atualmente, não suportamos a análise de um ficheiro gzip mapeado para vários ficheiros no ou qualquer tipo de ficheiro que não seja csv.
  • Para tipos de ficheiro delimitados (CSV, PSV, SSV, TSV, TXT):
    • Os ficheiros delimitados com apenas uma coluna não podem ser determinados como ficheiros CSV e não terão esquema.
    • Não suportamos a deteção de tipos de dados. O tipo de dados será listado como "cadeia" para todas as colunas.
    • Só suportamos vírgula(','), ponto e vírgula(';'), barra vertical('|') e tabulação('\t') como delimitadores.
    • Os ficheiros delimitados com menos de três linhas não podem ser determinados como ficheiros CSV se estiverem a utilizar um delimitador personalizado. Por exemplo: os ficheiros com ~ delimitador e menos de três linhas não poderão ser determinados como ficheiros CSV.
    • Se um campo contiver aspas duplas, as aspas duplas só podem aparecer no início e no fim do campo e têm de ser correspondidas. As aspas duplas que aparecem no meio do campo ou aparecem no início e no fim, mas que não são correspondidas, serão reconhecidas como dados incorretos e não haverá nenhum esquema a ser analisado do ficheiro. As linhas que têm um número diferente de colunas do que a linha de cabeçalho serão consideradas linhas de erro. (os números de linhas de erro/números de linhas amostradas ) têm de ser inferiores a 0,1.
  • Para ficheiros Parquet, se estiver a utilizar um runtime de integração autoalojado, tem de instalar o JRE 11 de 64 bits (Ambiente de Runtime Java) ou o OpenJDK no seu computador IR. Consulte a nossa secção Ambiente de Runtime Java na parte inferior da página para obter um guia de instalação.
  • Atualmente, o formato delta não é suportado. Se estiver a analisar o formato delta diretamente a partir da origem de dados de armazenamento, como Azure Data Lake Storage (ADLS Gen2), o conjunto de ficheiros parquet do formato delta será analisado e processado como conjunto de recursos, conforme descrito em Compreender os conjuntos de recursos. Além das colunas utilizadas para a criação de partições, não serão reconhecidas como parte do esquema do conjunto de recursos.

Extração de esquemas

Para origens de dados que suportam a extração de esquemas durante a análise, o esquema de recursos não será diretamente truncado pelo número de colunas.

Dados aninhados

Atualmente, os dados aninhados só são suportados para conteúdos JSON.

Para todos os tipos de ficheiro suportados pelo sistema, se existir conteúdo JSON aninhado numa coluna, o analisador analisa os dados JSON aninhados e apresenta-os no separador esquema do elemento.

Os dados aninhados ou a análise de esquema aninhado não são suportados no SQL. Uma coluna com dados aninhados será reportada e classificada como está e os subdados não serão analisados.

Dados de amostragem para classificação

Na terminologia Mapa de Dados do Microsoft Purview,

  • Análise L1: extrai informações básicas e metadados, como nome de ficheiro, tamanho e nome completamente qualificado
  • Análise L2: extrai o esquema para tipos de ficheiro estruturados e tabelas de bases de dados
  • Análise L3: extrai o esquema quando aplicável e sujeita o ficheiro de amostragem às regras de classificação personalizadas e do sistema

Saiba mais sobre como personalizar os níveis de análise.

Para todos os formatos de ficheiro estruturados, o Mapa de Dados do Microsoft Purview scanner mostra os ficheiros da seguinte forma:

  • Para tipos de ficheiro estruturados, mostra as 128 primeiras linhas de cada coluna ou os primeiros 1 MB, o que for inferior.
  • Para formatos de ficheiros de documentos, mostra os primeiros 20 MB de cada ficheiro.
    • Se um ficheiro de documento for superior a 20 MB, não estará sujeito a uma análise profunda (sujeita à classificação). Nesse caso, o Microsoft Purview captura apenas metadados básicos, como o nome de ficheiro e o nome completamente qualificado.
  • Para origens de dados tabulares (SQL), mostra as 128 linhas principais.
  • Para o Azure Cosmos DB para NoSQL, serão recolhidas até 300 propriedades distintas dos primeiros 10 documentos num contentor para o esquema e, para cada propriedade, serão recolhidos valores de até 128 documentos ou os primeiros 1 MB.

Amostragem de ficheiros do conjunto de recursos

Uma pasta ou grupo de ficheiros de partição é detetado como um conjunto de recursos no Mapa de Dados do Microsoft Purview se corresponder a uma política de conjunto de recursos do sistema ou a uma política de conjunto de recursos definida pelo cliente. Se for detetado um conjunto de recursos, o scanner irá provar cada pasta que contém. Saiba mais sobre os conjuntos de recursos aqui.

Amostragem de ficheiros para conjuntos de recursos por tipos de ficheiro:

  • Ficheiros delimitados (CSV, PSV, SSV, TSV) – 1 em cada 100 ficheiros são amostrados (análise L3) numa pasta ou grupo de ficheiros de partição considerados um "Conjunto de recursos"
  • Os tipos de ficheiros do Data Lake (Parquet, Avro, Orc) – 1 em 18446744073709551615 (máximo longo) são amostrados (análise L3) numa pasta ou grupo de ficheiros de partição considerados um "Conjunto de recursos"
  • Outros tipos de ficheiro estruturados (JSON, XML, TXT) – 1 em cada 100 ficheiros são amostrados (análise L3) numa pasta ou grupo de ficheiros de partição considerados um "Conjunto de recursos"
  • Objetos SQL e entidades do Azure Cosmos DB – cada ficheiro é analisado por L3.
  • Tipos de ficheiros de documentos – cada ficheiro é analisado por L3. Os padrões de conjuntos de recursos não se aplicam a estes tipos de ficheiro.

Próximas etapas