Microsoft Fabric 数据工厂中的 Avro 格式

本文概述了如何在 Microsoft Fabric 数据工厂的数据管道中配置 Avro 格式。

支持的功能

以下活动和连接器支持使用 Avro 格式作为源和目标。

类别 连接器/活动
支持的连接器 Amazon S3
Amazon S3 兼容
Azure Blob 存储
Azure Data Lake Storage Gen1
Azure Data Lake Storage Gen2
Azure 文件
文件系统
FTP
Google Cloud Storage
HTTP
Lakehouse 文件
Oracle 云存储
SFTP
支持的活动 复制活动(源/目标)
Lookup 活动
GetMetadata 活动
Delete 活动

复制活动中的 Avro 格式

若要配置 Avro 格式,请在数据管道复制活动的源或目标中选择连接,然后在“文件格式”下拉列表中选择“Avro”。 选择“设置”以进一步配置此格式。

屏幕截图显示文件格式设置。

Avro 格式作为源

在“文件格式”部分选择“设置”后,弹出的“文件格式设置”对话框中将显示以下属性。

显示 Avro 文件格式来源的屏幕截图。

  • 压缩类型:在下拉列表中选择用于读取 Avro 文件的压缩编解码器。 可以选择“”或“取消”。 还可以选择“添加动态内容”以指定表达式生成器中的类型。

  • 压缩级别:指定压缩比。 从 17 中进行选择。 还可以选择“添加动态内容”以指定表达式生成器中的级别。

Avro 格式作为目标

选择“设置”后,弹出的“文件格式设置”对话框中将显示以下属性。

显示 Avro 文件格式目标的屏幕截图。

  • 压缩类型:在下拉列表中选择用于写入 Avro 文件的压缩编解码器。 可以选择“”或“取消”。 还可以选择“添加动态内容”以指定表达式生成器中的类型。

  • 压缩级别:指定压缩比。 从 17 中进行选择。 还可以选择“添加动态内容”以指定表达式生成器中的级别。

在“目标”选项卡中的“高级”设置下,将显示以下 Avro 格式相关属性。

  • 每个文件的最大行数:在将数据写入到文件夹时,可选择写入多个文件,并指定每个文件的最大行数。
  • 文件名前缀:配置“每个文件的最大行数”时适用。 在将数据写入多个文件时,指定文件名前缀,生成的模式为 <fileNamePrefix>_00000.<fileExtension>。 如果未指定,将自动生成文件名前缀。 如果源是基于文件的存储或已启用分区选项的数据存储,则此属性不适用。

表摘要

Avro 作为源

使用 Avro 格式时,复制活动“”部分支持以下属性。

名称 描述 必须 Avro 脚本属性
文件格式 要使用的文件格式。 Avro 类型(datasetSettings):
Avro
压缩类型 用来读取 Avro 文件的压缩编解码器。
deflate
avroCompressionCodec:

deflate
压缩级别 压缩率。 17 avroCompressionLevel:
1 到 7

Avro 作为目标

使用 Avro 格式时,复制活动“目标”部分支持以下属性。

名称 描述 必须 Avro 脚本属性
文件格式 要使用的文件格式。 Avro 类型(datasetSettings):
Avro
压缩类型 用于写入 Avro 文件的压缩编解码器。
deflate
avroCompressionCodec:

deflate
压缩级别 压缩率。 17 avroCompressionLevel:
1 到 7
每个文件的最大行数 在将数据写入到文件夹时,可选择写入多个文件,并指定每个文件的最大行数。 < 每个文件的最大行数 > maxRowsPerFile
文件名前缀 配置“每个文件的最大行数”时适用。 在将数据写入多个文件时,指定文件名前缀,生成的模式为 <fileNamePrefix>_00000.<fileExtension>。 如果未指定,将自动生成文件名前缀。 如果源是基于文件的存储或已启用分区选项的数据存储,则此属性不适用。 < 文件名前缀 > fileNamePrefix