Avro-Format in Azure Data Factory in Microsoft Fabric

In diesem Artikel wird erläutert, wie Sie das Avro-Format in der Datenpipeline von Data Factory in Microsoft Fabric konfigurieren.

Unterstützte Funktionen

Das Avro-Format wird für die folgenden Aktivitäten und Connectors als Quelle und Ziel unterstützt.

Kategorie	Connector/Aktivität
Unterstützter Connector	Amazon S3
	Azure Blob Storage
	Azure Data Lake Storage Gen1
	Azure Data Lake Storage Gen2
	FTP
	Google Cloud Storage
	HTTP
	SFTP
Unterstützte Aktivität	Kopieraktivität
	Lookup-Aktivität
	GetMetadata-Aktivität
	Delete-Aktivität

Avro-Format in Kopieraktivität

Um das Avro-Format zu konfigurieren, wählen Sie Ihre Verbindung in der Quelle oder im Ziel der Datenpipeline-Kopieraktivität und anschließend die Option Avro in der Dropdownliste Dateiformat aus. Wählen Sie Einstellungen für die weitere Konfiguration dieses Formats aus.

Avro-Format als Quelle

Nachdem Sie im Abschnitt Dateiformat die Option Einstellungen ausgewählt haben, werden die folgenden Eigenschaften im Popupdialogfeld Dateiformateinstellungen angezeigt.

• Komprimierungstyp: Wählen Sie im Dropdownmenü den Codec für die Komprimierung aus, der zum Lesen von Avro-Dateien verwendet wird. Sie können zwischen Keine oder Verkleinern wählen. Sie können auch Dynamischen Inhalt hinzufügen auswählen, um den Typ im Ausdrucks-Generator anzugeben.

• Komprimierungsgrad: Geben Sie das Komprimierungsverhältnis an. Wählen Sie einen Wert zwischen 1 und 7 aus. Sie können auch Dynamischen Inhalt hinzufügen auswählen, um den Grad im Ausdrucks-Generator anzugeben.

Avro-Format als Ziel

Nach Auswahl von Einstellungen werden die folgenden Eigenschaften im Popupdialogfeld Dateiformateinstellungen angezeigt.

• Komprimierungstyp: Wählen Sie im Dropdownmenü den Codec für die Komprimierung aus, der zum Schreiben von Avro-Dateien verwendet wird. Sie können zwischen Keine oder Verkleinern wählen. Sie können auch Dynamischen Inhalt hinzufügen auswählen, um den Typ im Ausdrucks-Generator anzugeben.

• Komprimierungsgrad: Geben Sie das Komprimierungsverhältnis an. Wählen Sie einen Wert zwischen 1 und 7 aus. Sie können auch Dynamischen Inhalt hinzufügen auswählen, um den Grad im Ausdrucks-Generator anzugeben.

Auf der Registerkarte Ziel werden in den Einstellungen Erweitert die folgenden Eigenschaften zum Avro-Format angezeigt.

• Max. Anzahl Zeilen pro Datei: Wenn Sie Daten in einen Ordner schreiben, können Sie wahlweise in mehrere Dateien schreiben und die maximale Anzahl von Zeilen pro Datei angeben.
• Dateinamenpräfix: Wird angewendet, wenn Max. Anzahl Zeilen pro Datei konfiguriert ist. Geben Sie das Dateinamenpräfix beim Schreiben von Daten in mehrere Dateien an, das zu diesem Muster führt: <fileNamePrefix>_00000.<fileExtension>. Wenn keine Angabe erfolgt, wird das Dateinamenpräfix automatisch generiert. Diese Eigenschaft wird nicht angewendet, wenn die Quelle ein dateibasierter Speicher oder ein Datenspeicher mit aktivierter Partitionsoption ist.

Tabellenzusammenfassung

Avro als Quelle

Die folgenden Eigenschaften werden im Abschnitt Quelle der Kopieraktivität unterstützt, wenn das Avro-Format verwendet wird.

Name	Beschreibung	Wert	Erforderlich	Avro-Skripteigenschaft
Dateiformat	Das Dateiformat aus, das Sie verwenden möchten.	Avro	Ja	Typ (unter datasetSettings): Avro
Komprimierungstyp	Der zum Lesen von Avro-Dateien verwendete Komprimierungscodec.	None deflate	Nein	avroCompressionCodec: deflate
Komprimierungsgrad	Das Komprimierungsverhältnis.	1 bis 7	Nein	avroCompressionLevel: 1 bis 7

Avro als Ziel

Die folgenden Eigenschaften werden im Abschnitt Ziel der Kopieraktivität unterstützt, wenn das Avro-Format verwendet wird.

Name	Beschreibung	Wert	Erforderlich	Avro-Skripteigenschaft
Dateiformat	Das Dateiformat aus, das Sie verwenden möchten.	Avro	Ja	Typ (unter datasetSettings): Avro
Komprimierungstyp	Der zum Schreiben von Avro-Dateien verwendete Codec für die Komprimierung.	None deflate	Nein	avroCompressionCodec: deflate
Komprimierungsgrad	Das Komprimierungsverhältnis.	1 bis 7	Nein	avroCompressionLevel: 1 bis 7
Max. Anzahl Zeilen pro Datei	Wenn Sie Daten in einen Ordner schreiben, können Sie wahlweise in mehrere Dateien schreiben und die maximale Anzahl von Zeilen pro Datei angeben.	<Ihre maximale Anzahl Zeilen pro Datei >	Nein	maxRowsPerFile
Dateinamenpräfix	Wird angewendet, wenn Max. Anzahl Zeilen pro Datei konfiguriert ist. Geben Sie das Dateinamenpräfix beim Schreiben von Daten in mehrere Dateien an, das zu diesem Muster führt: <fileNamePrefix>_00000.<fileExtension>. Wenn keine Angabe erfolgt, wird das Dateinamenpräfix automatisch generiert. Diese Eigenschaft wird nicht angewendet, wenn die Quelle ein dateibasierter Speicher oder ein Datenspeicher mit aktivierter Partitionsoption ist.	< Ihr Dateinamenpräfix >	Nein	fileNamePrefix

Zugehöriger Inhalt

• Übersicht über Konnektoren