JSON-Format in Azure Data Factory in Microsoft Fabric
In diesem Artikel wird beschrieben, wie Sie das JSON-Format in der Datenpipeline von Data Factory in Microsoft Fabric konfigurieren.
Das JSON-Format wird für die folgenden Aktivitäten und Connectors als Quelle und Ziel unterstützt.
Kategorie | Connector/Aktivität |
---|---|
Unterstützter Connector | Amazon S3 |
Amazon S3 Compatible | |
Azure Blob Storage | |
Azure Data Lake Storage Gen1 | |
Azure Data Lake Storage Gen2 | |
Azure Files | |
Dateisystem | |
FTP | |
Google Cloud Storage | |
HTTP | |
Lakehouse-Dateien | |
Oracle Cloud Storage | |
SFTP | |
Unterstützte Aktivität | Kopieraktivität (Quelle/Ziel) |
Lookup-Aktivität | |
GetMetadata-Aktivität | |
Delete-Aktivität |
Um das JSON-Format zu konfigurieren, wählen Sie Ihre Verbindung in der Quelle oder im Ziel der Datenpipeline-Kopieraktivität und anschließend die Option JSON in der Dropdownliste Dateiformat aus. Wählen Sie Einstellungen für die weitere Konfiguration dieses Formats aus.
Nachdem Sie im Abschnitt Dateiformat die Option Einstellungen ausgewählt haben, werden die folgenden Eigenschaften im Popupdialogfeld Dateiformateinstellungen angezeigt.
Komprimierungstyp: Wählen Sie im Dropdownmenü den Komprimierungscodec aus, der zum Lesen von JSON-Dateien verwendet wird. Sie können aus folgenden Optionen auswählen: Kein, bzip2, gzip, deflate, ZipDeflate, TarGzip oder tar.
Wenn Sie ZipDeflate als Komprimierungstyp auswählen, wird ZIP-Dateiname als Ordner beibehalten unter den Einstellungen Erweitert auf der Registerkarte Quelle angezeigt.
- Namen der ZIP-Datei als Ordner beibehalten: Gibt an, ob der Name der ZIP-Quelldatei während Kopiervorgängen als Ordnerstruktur beibehalten werden soll.
- Wenn dieses Kontrollkästchen aktiviert ist (Standardeinstellung), schreibt der Dienst entpackte Dateien in
<specified file path>/<folder named as source zip file>/
. - Wenn dieses Kontrollkästchen deaktiviert ist, schreibt der Dienst entpackte Dateien direkt in
<specified file path>
. Stellen Sie sicher, dass es in unterschiedlichen ZIP-Quelldateien keine doppelten Dateinamen gibt, um Racebedingungen oder unerwartetes Verhalten zu vermeiden.
- Wenn dieses Kontrollkästchen aktiviert ist (Standardeinstellung), schreibt der Dienst entpackte Dateien in
Wenn Sie TarGzip/tar als Komprimierungstyp auswählen, wird Komprimierungsdateiname als Ordner beibehalten unter den Einstellungen Erweitert auf der Registerkarte Quelle angezeigt.
- Namen der Komprimierungsdatei als Ordner beibehalten: Gibt an, ob der Name der komprimierten Quelldatei während Kopiervorgängen als Ordnerstruktur beibehalten werden soll.
- Wenn dieses Kontrollkästchen aktiviert ist (Standardeinstellung), schreibt der Dienst dekompromierte Dateien in
<specified file path>/<folder named as source compressed file>/
. - Wenn dieses Kontrollkästchen deaktiviert ist, schreibt der Dienst dekompromierte Dateien direkt in
<specified file path>
. Stellen Sie sicher, dass es in unterschiedlichen Quelldateien keine doppelten Dateinamen gibt, um Racebedingungen oder unerwartetes Verhalten zu vermeiden.
- Wenn dieses Kontrollkästchen aktiviert ist (Standardeinstellung), schreibt der Dienst dekompromierte Dateien in
- Namen der ZIP-Datei als Ordner beibehalten: Gibt an, ob der Name der ZIP-Quelldatei während Kopiervorgängen als Ordnerstruktur beibehalten werden soll.
Komprimierungsgrad: Das Komprimierungsverhältnis. Außerdem können Sie zwischen Schnellste oder Optimal auswählen.
Schnellster: Der Komprimierungsvorgang wird schnellstmöglich abgeschlossen, auch wenn die sich ergebende Datei nicht optimal komprimiert ist.
Optimal: Die Daten sollten optimal komprimiert sein, auch wenn der Vorgang eine längere Zeit in Anspruch nimmt. Weitere Informationen finden Sie im Artikel Komprimierungsgrad.
Codierung: Geben Sie den Codierungstyp an, der zum Lesen von Testdateien verwendet wird. Wählen Sie einen Typ aus der Dropdownliste aus. Der Standardwert ist UTF-8.
Nach Auswahl von Einstellungen werden die folgenden Eigenschaften im Popupdialogfeld Dateiformateinstellungen angezeigt.
Komprimierungstyp: Wählen Sie im Dropdownmenü den Komprimierungscodec aus, der zum Schreiben von JSON-Dateien verwendet wird. Sie können aus folgenden Optionen auswählen: Kein, bzip2, gzip, deflate, ZipDeflate, TarGzip oder tar.
Komprimierungsgrad: Das Komprimierungsverhältnis. Sie können zwischen Optimal oder Schnellster wählen.
Schnellster: Der Komprimierungsvorgang wird schnellstmöglich abgeschlossen, auch wenn die sich ergebende Datei nicht optimal komprimiert ist.
Optimal: Die Daten sollten optimal komprimiert sein, auch wenn der Vorgang eine längere Zeit in Anspruch nimmt. Weitere Informationen finden Sie im Artikel Komprimierungsgrad.
Codierung: Geben Sie den Codierungstyp an, der zum Schreiben von Testdateien verwendet wird. Wählen Sie einen Typ aus der Dropdownliste aus. Der Standardwert ist UTF-8.
Auf der Registerkarte Ziel werden in den Einstellungen Erweitert die folgenden Eigenschaften zum JSON-Format angezeigt.
- Dateimuster: Geben Sie das Muster der Daten an, die in den jeweiligen JSON-Dateien gespeichert sind. Zulässige Werte sind: Gruppe von Objekten (JSON Lines) und Array aus Objekten. Der Standardwert lautet Gruppe von Objekten. Weitere Informationen zu diesen Mustern finden Sie im Abschnitt JSON-Dateimuster.
Beim Kopieren von Daten aus JSON-Dateien kann die Kopieraktivität die folgenden Muster von JSON-Dateien automatisch erkennen und analysieren. Beim Schreiben von Daten in JSON-Dateien können Sie das Dateimuster für das Ziel der Kopieraktivität konfigurieren.
Typ I: setOfObjects
Jede Datei enthält ein einzelnes Objekt, JSON-Zeilen oder verkettete Objekte.
JSON-Beispiel mit einzelnem Objekt
{ "time": "2015-04-29T07:12:20.9100000Z", "callingimsi": "466920403025604", "callingnum1": "678948008", "callingnum2": "567834760", "switch1": "China", "switch2": "Germany" }
JSON Lines (Standardeinstellung für Ziel)
{"time":"2015-04-29T07:12:20.9100000Z","callingimsi":"466920403025604","callingnum1":"678948008","callingnum2":"567834760","switch1":"China","switch2":"Germany"} {"time":"2015-04-29T07:13:21.0220000Z","callingimsi":"466922202613463","callingnum1":"123436380","callingnum2":"789037573","switch1":"US","switch2":"UK"} {"time":"2015-04-29T07:13:21.4370000Z","callingimsi":"466923101048691","callingnum1":"678901578","callingnum2":"345626404","switch1":"Germany","switch2":"UK"}
JSON-Beispiel mit Verkettung
{ "time": "2015-04-29T07:12:20.9100000Z", "callingimsi": "466920403025604", "callingnum1": "678948008", "callingnum2": "567834760", "switch1": "China", "switch2": "Germany" } { "time": "2015-04-29T07:13:21.0220000Z", "callingimsi": "466922202613463", "callingnum1": "123436380", "callingnum2": "789037573", "switch1": "US", "switch2": "UK" } { "time": "2015-04-29T07:13:21.4370000Z", "callingimsi": "466923101048691", "callingnum1": "678901578", "callingnum2": "345626404", "switch1": "Germany", "switch2": "UK" }
Typ II: arrayOfObjects
Jede Datei enthält ein Array von Objekten.
[ { "time": "2015-04-29T07:12:20.9100000Z", "callingimsi": "466920403025604", "callingnum1": "678948008", "callingnum2": "567834760", "switch1": "China", "switch2": "Germany" }, { "time": "2015-04-29T07:13:21.0220000Z", "callingimsi": "466922202613463", "callingnum1": "123436380", "callingnum2": "789037573", "switch1": "US", "switch2": "UK" }, { "time": "2015-04-29T07:13:21.4370000Z", "callingimsi": "466923101048691", "callingnum1": "678901578", "callingnum2": "345626404", "switch1": "Germany", "switch2": "UK" } ]
Die folgenden Eigenschaften werden im Abschnitt Quelle der Kopieraktivität unterstützt, wenn das JSON-Format verwendet wird.
Name | Beschreibung | Wert | Erforderlich | JSON-Skripteigenschaft |
---|---|---|---|---|
Dateiformat | Das Dateiformat aus, das Sie verwenden möchten. | JSON | Ja | Typ (unter datasetSettings ):Json |
Komprimierungstyp | Der Komprimierungscodec, der zum Lesen von JSON-Dateien verwendet wird. | Dabei können Sie wählen zwischen: None bzip2 gzip deflate ZipDeflate TarGzip tar |
Nein | Typ (unter compression ):BZIP2 gzip deflate ZipDeflate TarGzip tar |
Komprimierungsgrad | Das Komprimierungsverhältnis. | Fastest Optimal |
Nein | Grad (unter compression ):Fastest Optimal |
Codieren | Der Codierungstyp, der zum Lesen von Testdateien verwendet wird. | UTF-8 (Standardwert), UTF-8 ohne BOM, UTF-16LE, UTF-16BE, UTF-32LE, UTF-32BE, US-ASCII, UTF-7, BIG5, EUC-JP, EUC-KR, GB2312, GB18030, JOHAB, SHIFT-JIS, CP875, CP866, IBM00858, IBM037, IBM273, IBM437, IBM500, IBM737, IBM775, IBM850, IBM852, IBM855, IBM857, IBM860, IBM861, IBM863, IBM864, IBM865, IBM869, IBM870, IBM01140, IBM01141, IBM01142, IBM01143, IBM01144, IBM01145, IBM01146, IBM01147, IBM01148, IBM01149, ISO-2022-JP, ISO-2022-KR, ISO-8859-1, ISO-8859-2, ISO-8859-3, ISO-8859-4, ISO-8859-5, ISO-8859-6, ISO-8859-7, ISO-8859-8, ISO-8859-9, ISO-8859-13, ISO-8859-15, WINDOWS-874, WINDOWS-1250, WINDOWS-1251, WINDOWS-1252, WINDOWS-1253, WINDOWS-1254, WINDOWS-1255, WINDOWS-1256, WINDOWS-1257, WINDOWS-1258 | Ohne | encodingName |
Namen der ZIP-Datei als Ordner beibehalten | Gibt an, ob der Name der ZIP-Quelldatei während Kopiervorgängen als Ordnerstruktur beibehalten werden soll. | Ausgewählt (Standardwert) oder nicht ausgewählt | Nein | preserveZipFileNameAsFolder (unter compressionProperties >type als ZipDeflateReadSettings ):TRUE (Standardwert) oder FALSE |
Namen der Komprimierungsdatei als Ordner beibehalten | Gibt an, ob der Name der komprimierten Quelldatei während Kopiervorgängen als Ordnerstruktur beibehalten werden soll. | Ausgewählt (Standardwert) oder nicht ausgewählt | Nein | preserveCompressionFileNameAsFolder (unter compressionProperties >type : als TarGZipReadSettings oder TarReadSettings ):TRUE (Standardwert) oder FALSE |
Die folgenden Eigenschaften werden im Abschnitt Ziel der Kopieraktivität unterstützt, wenn das JSON-Format verwendet wird.
Name | Beschreibung | Wert | Erforderlich | JSON-Skripteigenschaft |
---|---|---|---|---|
Dateiformat | Das Dateiformat aus, das Sie verwenden möchten. | JSON | Ja | Typ (unter datasetSettings ):Json |
Komprimierungstyp | Der Komprimierungscodec, der zum Schreiben von JSON-Dateien verwendet wird. | Dabei können Sie wählen zwischen: None bzip2 gzip deflate ZipDeflate TarGzip tar |
Nein | Typ (unter compression ):BZIP2 gzip deflate ZipDeflate TarGzip tar |
Komprimierungsgrad | Das Komprimierungsverhältnis. | Fastest Optimal |
Nein | Grad (unter compression ):Fastest Optimal |
Codieren | Der Codierungstyp, der zum Schreiben von Testdateien verwendet wird. | UTF-8 (Standardwert), UTF-8 ohne BOM, UTF-16LE, UTF-16BE, UTF-32LE, UTF-32BE, US-ASCII, UTF-7, BIG5, EUC-JP, EUC-KR, GB2312, GB18030, JOHAB, SHIFT-JIS, CP875, CP866, IBM00858, IBM037, IBM273, IBM437, IBM500, IBM737, IBM775, IBM850, IBM852, IBM855, IBM857, IBM860, IBM861, IBM863, IBM864, IBM865, IBM869, IBM870, IBM01140, IBM01141, IBM01142, IBM01143, IBM01144, IBM01145, IBM01146, IBM01147, IBM01148, IBM01149, ISO-2022-JP, ISO-2022-KR, ISO-8859-1, ISO-8859-2, ISO-8859-3, ISO-8859-4, ISO-8859-5, ISO-8859-6, ISO-8859-7, ISO-8859-8, ISO-8859-9, ISO-8859-13, ISO-8859-15, WINDOWS-874, WINDOWS-1250, WINDOWS-1251, WINDOWS-1252, WINDOWS-1253, WINDOWS-1254, WINDOWS-1255, WINDOWS-1256, WINDOWS-1257, WINDOWS-1258 | Ohne | encodingName |
Dateimuster | Geben Sie das Muster der in jeder JSON-Datei gespeicherten Daten an. | Satz von Objekten Array aus Objekten |
Nein | filePattern: setOfObjects arrayOfObjects |