Formato Avro no Data Factory no Microsoft Fabric
Este artigo descreve como configurar o formato Avro no pipeline de dados do Data Factory no Microsoft Fabric.
O formato Avro é suportado para as seguintes atividades e conectores como origem e destino.
Categoria | Conector/Atividade |
---|---|
Conector suportado | Amazon S3 |
Compatível com Amazon S3 | |
Armazenamento de Blobs do Azure | |
Armazenamento do Azure Data Lake Ger1 | |
Azure Data Lake Storage Gen2 (Armazenamento do Azure Data Lake Gen2) | |
Ficheiros do Azure | |
Sistema de ficheiros | |
FTP | |
Google Cloud Storage | |
HTTP | |
Arquivos Lakehouse | |
Armazenamento em nuvem Oracle | |
SFTP | |
Atividade apoiada | Atividade de cópia (origem/destino) |
Atividade de Pesquisa | |
Atividade GetMetadata | |
Excluir atividade |
Para configurar o formato Avro, escolha sua conexão na origem ou no destino da atividade de cópia do pipeline de dados e selecione Avro na lista suspensa de Formato de arquivo. Selecione Configurações para configuração adicional deste formato.
Depois de selecionar Configurações na seção Formato de arquivo , as seguintes propriedades são mostradas na caixa de diálogo pop-up Configurações de formato de arquivo.
Tipo de compressão: Escolha o codec de compressão usado para ler arquivos Avro na lista suspensa. Você pode escolher entre Nenhum ou esvaziar. Você também pode escolher Adicionar conteúdo dinâmico para especificar o tipo no construtor de expressões.
Nível de compressão: especifique a taxa de compressão. Escolha de 1 a 7. Você também pode escolher Adicionar conteúdo dinâmico para especificar o nível no construtor de expressões.
Depois de selecionar Configurações, as seguintes propriedades são mostradas na caixa de diálogo pop-up Configurações de formato de arquivo.
Tipo de compactação: Escolha o codec de compactação usado para gravar arquivos Avro na lista suspensa. Você pode escolher entre Nenhum ou esvaziar. Você também pode escolher Adicionar conteúdo dinâmico para especificar o tipo no construtor de expressões.
Nível de compressão: especifique a taxa de compressão. Escolha de 1 a 7. Você também pode escolher Adicionar conteúdo dinâmico para especificar o nível no construtor de expressões.
Em Configurações avançadas na guia Destino , as seguintes propriedades relacionadas ao formato Avro são exibidas.
- Máximo de linhas por arquivo: Ao gravar dados em uma pasta, você pode optar por gravar em vários arquivos e especificar o máximo de linhas por arquivo.
- Prefixo do nome do arquivo: Aplicável quando o máximo de linhas por arquivo é configurado. Especifique o prefixo do nome do arquivo ao gravar dados em vários arquivos, resultando neste padrão:
<fileNamePrefix>_00000.<fileExtension>
. Se não for especificado, o prefixo do nome do arquivo será gerado automaticamente. Essa propriedade não se aplica quando a origem é um armazenamento baseado em arquivo ou um armazenamento de dados habilitado para opção de partição.
As propriedades a seguir são suportadas na seção Fonte da atividade de cópia ao usar o formato Avro.
Nome | Descrição | valor | Necessário | Propriedade de script Avro |
---|---|---|---|---|
Formato do ficheiro | O formato de ficheiro que pretende utilizar. | Avro | Sim | tipo (em datasetSettings ):Avro |
Tipo de compressão | O codec de compressão usado para ler arquivos Avro. | Nenhuma deflacionar |
Não | avroCompressionCodec: deflacionar |
Nível de compressão | A taxa de compressão. | 1 a 7 anos | Não | avroCompressionLevel: 1 a 7 anos |
As propriedades a seguir são suportadas na seção Destino da atividade de cópia ao usar o formato Avro.
Nome | Descrição | valor | Necessário | Propriedade de script Avro |
---|---|---|---|---|
Formato do ficheiro | O formato de ficheiro que pretende utilizar. | Avro | Sim | tipo (em datasetSettings ):Avro |
Tipo de compressão | O codec de compressão usado para escrever arquivos Avro. | Nenhuma deflacionar |
Não | avroCompressionCodec: deflacionar |
Nível de compressão | A taxa de compressão. | 1 a 7 anos | Não | avroCompressionLevel: 1 a 7 anos |
Máximo de linhas por ficheiro | Ao gravar dados em uma pasta, você pode optar por gravar em vários arquivos e especificar o máximo de linhas por arquivo. | < o máximo de linhas por ficheiro > | Não | maxRowsPerFile |
Prefixo do nome do arquivo | Aplicável quando o máximo de linhas por arquivo é configurado. Especifique o prefixo do nome do arquivo ao gravar dados em vários arquivos, resultando neste padrão: <fileNamePrefix>_00000.<fileExtension> . Se não for especificado, o prefixo do nome do arquivo será gerado automaticamente. Essa propriedade não se aplica quando a origem é um armazenamento baseado em arquivo ou um armazenamento de dados habilitado para opção de partição. |
< seu prefixo de nome de arquivo > | Não | fileNamePrefix |