Fomato Avro en Data Factory en Microsoft Fabric

Este artículo describe cómo configurar el formato Avro en la canalización de datos de Data Factory en Microsoft Fabric.

Funcionalidades admitidas

El formato Avro es compatible con las siguientes actividades y conectores como origen y destino.

Category Conector/Actividad
Conector compatible Amazon S3
Azure Blob Storage
Azure Data Lake Storage Gen1
Azure Data Lake Storage Gen2
FTP
Google Cloud Storage
HTTP
SFTP
Actividad compatible Actividad de copia
Actividad de búsqueda
Actividad GetMetadata
Actividad de eliminación

Formato Avro en la actividad de copia

Para configurar el formato Avro, elija la conexión en el origen o destino de la actividad de copia de la canalización de datos y, a continuación, seleccione Avro en la lista desplegable de Formato de archivo. Seleccione Configuración para una configuración adicional de este formato.

Screenshot showing file format settings.

Formato Avro como origen

Después de seleccionar Configuración en la sección Formato de archivo , se muestran las siguientes propiedades en el cuadro de diálogo emergente Configuración de formato de archivo .

Screenshot showing Avro file format source.

  • Tipo de compresión : elija el códec de compresión utilizado para leer los archivos Avro en la lista desplegable. Puede elegir Ninguno o Deflate. También puede elegir Agregar contenido dinámico para especificar el tipo en el generador de expresiones.

  • Nivel de compresión: Especifica la relación de compresión. Elija entre 1 y 7. También puede elegir Agregar contenido dinámico para especificar el nivel en el generador de expresiones.

Formato Avro como destino

Después de seleccionar Configuración, se muestran las siguientes propiedades en el cuadro de diálogo emergente Configuración de formato de archivo .

Screenshot showing Avro file format destination.

  • Tipo de compresión : elija el códec de compresión utilizado para escribir los archivos Avro en la lista desplegable. Puede elegir Ninguno o Deflate. También puede elegir Agregar contenido dinámico para especificar el tipo en el generador de expresiones.

  • Nivel de compresión: Especifica la relación de compresión. Elija entre 1 y 7. También puede elegir Agregar contenido dinámico para especificar el nivel en el generador de expresiones.

En la configuración Avanzada de la pestaña Destino, se muestran las siguientes propiedades relacionadas con el formato Avro.

  • Máximo de filas por archivo: al escribir datos en una carpeta, puede elegir escribir en varios archivos y especificar el máximo de filas por archivo.
  • Prefijo de nombre de archivo: aplicable cuando se configura Número máximo de filas por archivo. Especifique el prefijo de nombre de archivo al escribir datos en varios archivos, lo que da como resultado este patrón: <fileNamePrefix>_00000.<fileExtension>. Si no se especifica, el prefijo de nombre de archivo se genera automáticamente. Esta propiedad no se aplica cuando el origen es un almacén basado en archivos o una opción de partición habilitada para el almacén de datos.

Resumen de tabla

Avro como origen

Las siguientes propiedades se admiten en la sección Origen de la actividad de copia cuando se utiliza el formato Avro.

Nombre Descripción Value Obligatorio Propiedad de script Avro
Formato de archivo El formato de archivo que quiere usar. Avro tipo (en datasetSettings):
Avro
Tipo de compresión El códec de compresión usado para leer archivos Avro. Ninguna
deflate
No avroCompressionCodec:

deflate
Nivel de compresión La razón de compresión. 1 a 7 No avroCompressionLevel:
1 a 7

Avro como destino

Las siguientes propiedades se admiten en la sección Destino de la actividad de copia cuando se utiliza el formato Avro.

Nombre Descripción Value Obligatorio Propiedad de script Avro
Formato de archivo El formato de archivo que quiere usar. Avro tipo (en datasetSettings):
Avro
Tipo de compresión El códec de compresión usado para escribir archivos Avro. Ninguna
deflate
No avroCompressionCodec:

deflate
Nivel de compresión La razón de compresión. 1 a 7 No avroCompressionLevel:
1 a 7
Número máximo de filas por archivo Al escribir datos en una carpeta, puede optar por escribir en varios archivos y especificar el número máximo de filas por archivo. < el número máximo de filas por archivo > No maxRowsPerFile
Prefijo de nombre de archivo Se aplica cuando Número máximo de filas por archivo está configurado. Especifique el prefijo de nombre de archivo al escribir datos en varios archivos, lo que da como resultado este patrón: <fileNamePrefix>_00000.<fileExtension>. Si no se especifica, el prefijo de nombre de archivo se genera automáticamente. Esta propiedad no se aplica cuando el origen es un almacén basado en archivos o una opción de partición habilitada para el almacén de datos. < el prefijo del nombre de archivo > No fileNamePrefix