Formatos de dados suportados pelo Azure Synapse Data Explorer para ingestão (Pré-visualização)
Artigo
A ingestão de dados é o processo pelo qual os dados são adicionados a uma tabela e disponibilizados para consulta no Data Explorer. Para todos os métodos de ingestão, exceto ingest-from-query, os dados devem estar em um dos formatos suportados. A tabela a seguir lista e descreve os formatos que o Data Explorer oferece suporte para ingestão de dados.
Nota
Antes de ingerir dados, certifique-se de que os dados estão formatados corretamente e define os campos esperados. Recomendamos usar o seu validador preferido para confirmar que o formato é válido. Por exemplo, você pode achar os seguintes validadores úteis para verificar arquivos CSV ou JSON:
Um formato AVRO com suporte para tipos lógicos. Os seguintes codecs de compressão são suportados: null, deflatee snappy. A implementação do apacheavro formato pelo leitor é baseada na biblioteca oficial Apache Avro.
Avro
.avro
Uma implementação herdada para o formato AVRO baseado na biblioteca .NET. Os seguintes codecs de compressão são suportados: null, deflate (for snappy - use ApacheAvro o formato de dados).
Um arquivo de texto com objetos JSON delimitados por \n ou \r\n. Consulte Linhas JSON (JSONL).
MultiJSON
.multijson
Um arquivo de texto com uma matriz JSON de pacotes de propriedades (cada um representando um registro), ou qualquer número de pacotes de propriedades delimitado por espaço em branco, \n ou \r\n. Cada saco de propriedade pode ser espalhado em várias linhas. Este formato é preferível ao JSON, a menos que os dados sejam sacos que não sejam de propriedade.
Blobs e arquivos podem ser compactados através de qualquer um dos seguintes algoritmos de compactação:
Compressão
Extensão
GZip
.gz
Código Postal
.zip
Indique a compactação anexando a extensão ao nome do blob ou arquivo.
Por exemplo:
MyData.csv.zip indica um blob ou um arquivo formatado como CSV, compactado com ZIP (arquivo ou um único arquivo)
MyData.json.gz indica um blob ou um arquivo formatado como JSON, compactado com GZip.
Blob ou nomes de arquivo que não incluem as extensões de formato, mas apenas compactação (por exemplo, MyData.zip) também são suportados. Nesse caso, o formato de arquivo deve ser especificado como uma propriedade de ingestão porque não pode ser inferido.
Nota
Alguns formatos de compressão mantêm o controle da extensão de arquivo original como parte do fluxo compactado. Esta extensão é geralmente ignorada para determinar o formato de arquivo. Se o formato de arquivo não puder ser determinado a partir do blob (compactado) ou nome de arquivo, ele deverá ser especificado por meio da format propriedade ingestion.
Não deve ser confundido com codec de compressão interno (nível de bloco) usado por Parquet, AVRO e ORC formatos. O nome de compressão interna é geralmente adicionado a um nome de arquivo antes da extensão do formato de arquivo, por exemplo: file1.gz.parquet, file1.snappy.avro, etc.
Explore como o Microsoft Fabric permite ingerir e orquestrar dados de várias fontes (como arquivos, bancos de dados ou serviços Web) por meio de fluxos de dados, blocos de anotações e pipelines.
Demonstre a compreensão das tarefas comuns de engenharia de dados para implementar e gerenciar cargas de trabalho de engenharia de dados no Microsoft Azure, usando vários serviços do Azure.