Формат Avro в фабрике данных в Microsoft Fabric

В этой статье описывается настройка формата Avro в конвейере данных фабрики данных в Microsoft Fabric.

Поддерживаемые возможности

Формат Avro поддерживается для следующих действий и соединителей в качестве источника и назначения.

Категория	Подключение or/Activity
Поддерживаемый соединитель	Amazon S3
	Хранилище BLOB-объектов Azure
	Azure Data Lake Storage 1-го поколения
	Azure Data Lake Storage 2-го поколения
	FTP
	Google Cloud Storage
	HTTP
	SFTP
Поддерживаемая активность	Действие копирования
	Действие поиска
	Действие получения метаданных в Фабрике данных Azure
	Действие удаления

Формат Avro в действии копирования

Чтобы настроить формат Avro, выберите подключение в исходном или целевом месте действия копирования конвейера данных, а затем выберите Avro в раскрывающемся списке формата файла. Выберите Параметры для дальнейшей настройки этого формата.

Формат Avro в качестве источника

Выбрав Параметры в разделе "Формат файла", в диалоговом окне "Параметры формата файла" отображаются следующие свойства.

• Тип сжатия: выберите кодек сжатия, используемый для чтения файлов Avro в раскрывающемся списке. Вы можете выбрать вариант None или deflate. Вы также можете выбрать "Добавить динамическое содержимое ", чтобы указать тип в построителе выражений.

• Уровень сжатия: укажите коэффициент сжатия. Выберите от 1 до 7. Вы также можете выбрать "Добавить динамическое содержимое ", чтобы указать уровень в построителе выражений.

Формат Avro в качестве назначения

После выбора Параметры в диалоговом окне параметров формата всплывающего окна отображаются следующие свойства.

• Тип сжатия: выберите кодек сжатия, используемый для записи файлов Avro в раскрывающемся списке. Вы можете выбрать вариант None или deflate. Вы также можете выбрать "Добавить динамическое содержимое ", чтобы указать тип в построителе выражений.

• Уровень сжатия: укажите коэффициент сжатия. Выберите от 1 до 7. Вы также можете выбрать "Добавить динамическое содержимое ", чтобы указать уровень в построителе выражений.

В разделе "Дополнительные параметры" на вкладке "Назначение " отображаются следующие связанные свойства формата Avro.

• Максимальное количество строк для каждого файла: при записи данных в папку можно выбрать запись в несколько файлов и указать максимальные строки для каждого файла.
• Префикс имени файла: применимо, если настроены максимальные строки для каждого файла . Оно задает префикс, добавляемый к имени файла при записи данных с разбиением на несколько файлов. Имя присваивается по следующему шаблону: <fileNamePrefix>_00000.<fileExtension>. Если имя файла не указано, префикс имени файла создается автоматически. Это свойство не применяется, если источник является хранилищем на основе файлов или включенным параметром секции хранилища данных.

Сводка таблицы

Avro в качестве источника

Следующие свойства поддерживаются в разделе источника действия копирования при использовании формата Avro.

Имя	Описание	Значение	Обязательное поле	Свойство скрипта Avro
Формат файлов	Формат файла, который требуется использовать.	Avro	Да	тип (под datasetSettings): Avro
Тип сжатия	Кодек сжатия, используемый для чтения файлов Avro.	Не допускается Deflate	No	avroCompressionCodec: Deflate
Уровень сжатия	Коэффициент сжатия.	От 1 до 7	No	avroCompressionLevel: От 1 до 7

Avro в качестве назначения

Следующие свойства поддерживаются в разделе назначения действия копирования при использовании формата Avro.

Имя	Описание	Значение	Обязательное поле	Свойство скрипта Avro
Формат файлов	Формат файла, который требуется использовать.	Avro	Да	тип (под datasetSettings): Avro
Тип сжатия	Кодек сжатия, используемый для записи файлов Avro.	Не допускается Deflate	No	avroCompressionCodec: Deflate
Уровень сжатия	Коэффициент сжатия.	От 1 до 7	No	avroCompressionLevel: От 1 до 7
Максимальное количество строк на файл	При записи данных в папку можно выбрать запись в несколько файлов и указать максимальные строки для каждого файла.	< максимальное количество строк на файл >	No	maxRowsPerFile
Префикс имени файла	Применимо, если настроены максимальные строки для каждого файла . Оно задает префикс, добавляемый к имени файла при записи данных с разбиением на несколько файлов. Имя присваивается по следующему шаблону: <fileNamePrefix>_00000.<fileExtension>. Если имя файла не указано, префикс имени файла создается автоматически. Это свойство не применяется, если источник является хранилищем на основе файлов или включенным параметром секции хранилища данных.	< префикс имени файла >	No	fileNamePrefix

Связанный контент

• Обзор соединителей