JSON-format i Azure Data Factory och Azure Synapse Analytics

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Följ den här artikeln när du vill parsa JSON-filerna eller skriva data i JSON-format.

JSON-format stöds för följande anslutningsappar:

Egenskaper för datamängd

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera datauppsättningar finns i artikeln Datauppsättningar . Det här avsnittet innehåller en lista över egenskaper som stöds av JSON-datauppsättningen.

Egenskap Beskrivning Krävs
typ Typegenskapen för datauppsättningen måste anges till Json. Ja
location Platsinställningar för filen/filerna. Varje filbaserad anslutningsapp har en egen platstyp och egenskaper som stöds under location. Mer information finns i artikeln om anslutningsappar –> Avsnittet Egenskaper för datauppsättning. Ja
encodingName Den kodningstyp som används för att läsa/skriva testfiler.
Tillåtna värden är följande: "UTF-8","UTF-8 utan BOM", "UTF-16", "UTF-16BE", "UTF-32", "UTF-32BE", "US-ASCII", "UTF-7", "BIG5", ""UTF-32BE", "US-ASCII", "UTF-7", "BIG5", "EUC-JP", "EUC-KR", "GB2312", "GB18030", "JOHAB", "SHIFT-JIS", "CP875", "CP866", "IBM00858", "IBM037", "IBM273", "IBM437", "IBM500", "IBM737", "IBM775", "IBM850", "IBM852", "IBM855", "IBM857", "IBM860", "IBM861", "IBM863", "IBM864", "IBM865", "IBM865", "IBM869", "IBM870", "IBM01140", "IBM01141", "IBM01142", "IBM01143", "IBM01144", "IBM01145", "IBM01146", "IBM01147", "IBM01148", "IBM01149", "ISO-2022-JP", "ISO-2022-KR", "ISO-8859-1", "ISO-8859-2", "ISO-8859-3", "ISO-8859-4", "ISO-8859-5", "ISO-8859-6", "ISO-8859-7", "ISO-8859-6", "ISO-8859-7", "ISO-8859-8", "ISO-8859-9", "ISO-8859-13", "ISO-8859-15", "WINDOWS-874", "WINDOWS-1250", "WINDOWS-1251", "WINDOWS-1252", "WINDOWS-1253", "WINDOWS-1254", "WINDOWS-1255", "WINDOWS-1256", "WINDOWS-1257", "WINDOWS-1258".
Inga
komprimering Grupp med egenskaper för att konfigurera filkomprimering. Konfigurera det här avsnittet när du vill utföra komprimering/dekomprimering under aktivitetskörningen. No
typ
(under compression)
Den komprimeringskodc som används för att läsa/skriva JSON-filer.
Tillåtna värden är bzip2, gzip, deflate, ZipDeflate, TarGzip, Tar, snappy eller lz4. Standardvärdet är inte komprimerat.
Observera att 复制活动 för närvarande inte stöder "snappy" & "lz4", och dataflödesmappning stöder inte "ZipDeflate", "TarGzip" och "Tar".
Observera när du använder kopieringsaktivitet för att dekomprimera ZipDeflate/TarGzip/Tar-filer och skriva till filbaserade mottagardatalager. Som standard extraheras filerna till mappen:<path specified in dataset>/<folder named as source compressed file>/, användpreserveCompressionFileNameAsFolderpreserveZipFileNameAsFolder/på kopieringsaktivitetskällan för att kontrollera om namnet på de komprimerade filerna ska behållas som mappstruktur.
Nej.
nivå
(under compression)
Komprimeringsförhållandet.
Tillåtna värden är optimala eller snabbaste.
- Snabbaste: Komprimeringsåtgärden bör slutföras så snabbt som möjligt, även om den resulterande filen inte komprimeras optimalt.
- Optimal: Komprimeringsåtgärden bör komprimeras optimalt, även om åtgärden tar längre tid att slutföra. Mer information finns i avsnittet Komprimeringsnivå .
Inga

Nedan visas ett exempel på JSON-datauppsättning på Azure Blob Storage:

{
    "name": "JSONDataset",
    "properties": {
        "type": "Json",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            },
            "compression": {
                "type": "gzip"
            }
        }
    }
}

Kopiera egenskaper för aktivitet

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera aktiviteter finns i artikeln Pipelines . Det här avsnittet innehåller en lista över egenskaper som stöds av JSON-källan och mottagaren.

Lär dig mer om hur du extraherar data från JSON-filer och mappar till mottagardatalager/-format eller vice versa från schemamappning.

JSON som källa

Följande egenskaper stöds i avsnittet kopieringsaktivitet *source* .

Egenskap Beskrivning Krävs
typ Typegenskapen för kopieringsaktivitetskällan måste anges till JSONSource. Ja
formatInställningar En grupp med egenskaper. Se tabellen med JSON-läsinställningar nedan. Inga
storeSettings En grupp med egenskaper för hur du läser data från ett datalager. Varje filbaserad anslutningsapp har egna läsinställningar som stöds under storeSettings. Mer information finns i artikeln om anslutningsappar –> 复制活动 egenskaper. Inga

JSON-läsinställningar som stöds under formatSettings:

Egenskap Beskrivning Krävs
typ Typen av formatInställningar måste anges till JsonReadSettings. Ja
compressionProperties En grupp med egenskaper för att dekomprimera data för en viss komprimeringskodc. Inga
preserveZipFileNameAsFolder
(under compressionProperties->type som ZipDeflateReadSettings)
Gäller när indatauppsättningen konfigureras med ZipDeflate-komprimering . Anger om käll-ZIP-filnamnet ska bevaras som mappstruktur under kopiering.
– När värdet är true (standard) skriver tjänsten uppackade filer till <path specified in dataset>/<folder named as source zip file>/.
– När värdet är false skriver tjänsten uppackade filer direkt till <path specified in dataset>. Kontrollera att du inte har duplicerade filnamn i olika zip-källfiler för att undvika racing eller oväntat beteende.
Inga
preserveCompressionFileNameAsFolder
(under compressionProperties->type som TarGZipReadSettings eller TarReadSettings)
Gäller när indatauppsättningen konfigureras med TarGzip/ Tar-komprimering. Anger om det komprimerade källfilnamnet ska bevaras som mappstruktur under kopieringen.
– När värdet är true (standard) skriver tjänsten dekomprimerade filer till <path specified in dataset>/<folder named as source compressed file>/.
– När värdet är false skriver tjänsten dekomprimerade filer direkt till <path specified in dataset>. Kontrollera att du inte har duplicerade filnamn i olika källfiler för att undvika racing eller oväntat beteende.
Inga

JSON som mottagare

Följande egenskaper stöds i avsnittet kopieringsaktivitet *mottagare* .

Egenskap Beskrivning Krävs
typ Typegenskapen för kopieringsaktivitetskällan måste anges till JSONSink. Ja
formatInställningar En grupp med egenskaper. Se tabellen med JSON-skrivinställningar nedan. Inga
storeSettings En grupp med egenskaper för hur du skriver data till ett datalager. Varje filbaserad anslutningsapp har egna skrivinställningar som stöds under storeSettings. Mer information finns i artikeln om anslutningsappar –> 复制活动 egenskaper. Inga

JSON-skrivinställningar som stöds under formatSettings:

Egenskap Beskrivning Krävs
typ Typen av formatInställningar måste anges till JsonWriteSettings. Ja
filePattern Ange mönstret för de data som lagras i varje JSON-fil. Tillåtna värden är: setOfObjects (JSON Lines) och arrayOfObjects. Standardvärdet är setOfObjects. Detaljerad information om dessa mönster finns i avsnittet om JSON-filmönster. Inga

JSON-filmönster

När du kopierar data från JSON-filer kan kopieringsaktiviteten automatiskt identifiera och parsa följande mönster för JSON-filer. När du skriver data till JSON-filer kan du konfigurera filmönstret för kopieringsaktivitetens mottagare.

  • Typ I: setOfObjects

    Varje fil innehåller enskilda objekt, JSON-rader eller sammanfogade objekt.

    • Exempel på JSON med enskilda objekt

      {
          "time": "2015-04-29T07:12:20.9100000Z",
          "callingimsi": "466920403025604",
          "callingnum1": "678948008",
          "callingnum2": "567834760",
          "switch1": "China",
          "switch2": "Germany"
      }
      
    • JSON-rader (standard för mottagare)

      {"time":"2015-04-29T07:12:20.9100000Z","callingimsi":"466920403025604","callingnum1":"678948008","callingnum2":"567834760","switch1":"China","switch2":"Germany"}
      {"time":"2015-04-29T07:13:21.0220000Z","callingimsi":"466922202613463","callingnum1":"123436380","callingnum2":"789037573","switch1":"US","switch2":"UK"}
      {"time":"2015-04-29T07:13:21.4370000Z","callingimsi":"466923101048691","callingnum1":"678901578","callingnum2":"345626404","switch1":"Germany","switch2":"UK"}
      
    • Exempel med sammanfogad JSON

      {
          "time": "2015-04-29T07:12:20.9100000Z",
          "callingimsi": "466920403025604",
          "callingnum1": "678948008",
          "callingnum2": "567834760",
          "switch1": "China",
          "switch2": "Germany"
      }
      {
          "time": "2015-04-29T07:13:21.0220000Z",
          "callingimsi": "466922202613463",
          "callingnum1": "123436380",
          "callingnum2": "789037573",
          "switch1": "US",
          "switch2": "UK"
      }
      {
          "time": "2015-04-29T07:13:21.4370000Z",
          "callingimsi": "466923101048691",
          "callingnum1": "678901578",
          "callingnum2": "345626404",
          "switch1": "Germany",
          "switch2": "UK"
      }
      
  • Typ II: arrayOfObjects

    Varje fil innehåller en matris med objekt.

    [
        {
            "time": "2015-04-29T07:12:20.9100000Z",
            "callingimsi": "466920403025604",
            "callingnum1": "678948008",
            "callingnum2": "567834760",
            "switch1": "China",
            "switch2": "Germany"
        },
        {
            "time": "2015-04-29T07:13:21.0220000Z",
            "callingimsi": "466922202613463",
            "callingnum1": "123436380",
            "callingnum2": "789037573",
            "switch1": "US",
            "switch2": "UK"
        },
        {
            "time": "2015-04-29T07:13:21.4370000Z",
            "callingimsi": "466923101048691",
            "callingnum1": "678901578",
            "callingnum2": "345626404",
            "switch1": "Germany",
            "switch2": "UK"
        }
    ]
    

Mappa dataflödesegenskaper

I mappning av dataflöden kan du läsa och skriva till JSON-format i följande datalager: Azure Blob Storage, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2 och SFTP, och du kan läsa JSON-format i Amazon S3.

Källegenskaper

I tabellen nedan visas de egenskaper som stöds av en json-källa. Du kan redigera dessa egenskaper på fliken Källalternativ .

Name Beskrivning Krävs Tillåtna värden Egenskap för dataflödesskript
Sökvägar för jokertecken Alla filer som matchar sökvägen med jokertecken bearbetas. Åsidosätter mappen och filsökvägen som angetts i datauppsättningen. nej Sträng[] jokerteckenSökvägar
Partitionsrotsökväg För fildata som är partitionerade kan du ange en partitionsrotsökväg för att läsa partitionerade mappar som kolumner nej Sträng partitionRootPath
Lista över filer Om källan pekar på en textfil som listar filer som ska bearbetas nej true eller false Filförteckning
Kolumn för att lagra filnamn Skapa en ny kolumn med källfilens namn och sökväg nej Sträng rowUrlColumn
Efter slutförande Ta bort eller flytta filerna efter bearbetning. Filsökvägen startar från containerroten nej Ta bort: true eller false
Flytta: ['<from>', '<to>']
purgeFiles
moveFiles
Filtrera efter senast ändrad Välj att filtrera filer baserat på när de senast ändrades nej Timestamp modifiedAfter
modifiedBefore
Enskilt dokument Mappa dataflöden läs ett JSON-dokument från varje fil nej true eller false singleDocument
Kolumnnamn utan citattecken Om namn på ociterade kolumner har valts läser mappningsdataflöden JSON-kolumner som inte omges av citattecken. nej true eller false unquotedColumnNames
Har kommentarer Välj Har kommentarer om JSON-data har kommentarer i C- eller C++-format nej true eller false asComments
Enkel citerad Läser JSON-kolumner som inte omges av citattecken nej true eller false singleQuoted
Omvänt snedstreck undantaget Välj Omvänt snedstreck undantaget om omvänt snedstreck används för att undkomma tecken i JSON-data nej true eller false backslashEscape
Tillåt att inga filer hittas Om det är sant utlöses inget fel om inga filer hittas nej true eller false ignoreNoFilesFound

Infogad datauppsättning

Mappning av dataflöden stöder "infogade datamängder" som ett alternativ för att definiera din källa och mottagare. En infogad JSON-datauppsättning definieras direkt i dina käll- och mottagaromvandlingar och delas inte utanför det definierade dataflödet. Det är användbart för att parametrisera datamängdsegenskaper direkt i ditt dataflöde och kan dra nytta av bättre prestanda jämfört med delade ADF-datauppsättningar.

När du läser ett stort antal källmappar och filer kan du förbättra prestandan för identifiering av dataflödesfiler genom att ange alternativet "Användarprojekterat schema" i projektion | Dialogrutan Schemaalternativ. Det här alternativet inaktiverar automatisk identifiering av ADF-standardschemat och förbättrar prestandan för filidentifiering avsevärt. Innan du anger det här alternativet måste du importera JSON-projektionen så att ADF har ett befintligt schema för projektion. Det här alternativet fungerar inte med schemaavvikelse.

Alternativ för källformat

Om du använder en JSON-datauppsättning som källa i dataflödet kan du ange ytterligare fem inställningar. De här inställningarna finns under JSON-inställningarnas dragspel på fliken Källalternativ . För inställningen Dokumentformulär kan du välja ett av typerna Enskilt dokument, Dokument per rad och Matris med dokument .

JSON-inställningar

Standardvärde

JSON-data läse som standard i följande format.

{ "json": "record 1" }
{ "json": "record 2" }
{ "json": "record 3" }

Enskilt dokument

Om Enkelt dokument har valts läser mappning av dataflöden ett JSON-dokument från varje fil.

File1.json
{
    "json": "record 1"
}
File2.json
{
    "json": "record 2"
}
File3.json
{
    "json": "record 3"
}

Om Dokument per rad är markerat läser mappning av dataflöden ett JSON-dokument från varje rad i en fil.

File1.json
{"json": "record 1"}

File2.json
 {"time":"2015-04-29T07:12:20.9100000Z","callingimsi":"466920403025604","callingnum1":"678948008","callingnum2":"567834760","switch1":"China","switch2":"Germany"}
 {"time":"2015-04-29T07:13:21.0220000Z","callingimsi":"466922202613463","callingnum1":"123436380","callingnum2":"789037573","switch1":"US","switch2":"UK"}

File3.json
 {"time":"2015-04-29T07:12:20.9100000Z","callingimsi":"466920403025604","callingnum1":"678948008","callingnum2":"567834760","switch1":"China","switch2":"Germany"}
 {"time":"2015-04-29T07:13:21.0220000Z","callingimsi":"466922202613463","callingnum1":"123436380","callingnum2":"789037573","switch1":"US","switch2":"UK"}
 {"time":"2015-04-29T07:13:21.4370000Z","callingimsi":"466923101048691","callingnum1":"678901578","callingnum2":"345626404","switch1":"Germany","switch2":"UK"}

Om Matris med dokument har valts läser mappning av dataflöden en matris med dokument från en fil.

File.json
[
        {
            "time": "2015-04-29T07:12:20.9100000Z",
            "callingimsi": "466920403025604",
            "callingnum1": "678948008",
            "callingnum2": "567834760",
            "switch1": "China",
            "switch2": "Germany"
        },
        {
            "time": "2015-04-29T07:13:21.0220000Z",
            "callingimsi": "466922202613463",
            "callingnum1": "123436380",
            "callingnum2": "789037573",
            "switch1": "US",
            "switch2": "UK"
        },
        {
            "time": "2015-04-29T07:13:21.4370000Z",
            "callingimsi": "466923101048691",
            "callingnum1": "678901578",
            "callingnum2": "345626404",
            "switch1": "Germany",
            "switch2": "UK"
        }
    ]

Anteckning

Om dataflöden utlöser ett fel som anger "corrupt_record" när du förhandsgranskar dina JSON-data, är det troligt att dina data innehåller ett enda dokument i JSON-filen. Om du anger "enskilt dokument" bör du ta bort det felet.

Namn på ociterade kolumner

Om namn på ociterade kolumner har valts läser mappning av dataflöden JSON-kolumner som inte omges av citattecken.

{ json: "record 1" }
{ json: "record 2" }
{ json: "record 3" }

Har kommentarer

Välj Har kommentarer om JSON-data har kommentarer i C- eller C++-format.

{ "json": /** comment **/ "record 1" }
{ "json": "record 2" }
{ /** comment **/ "json": "record 3" }

Enkel citerad

Välj Enkel citerad om JSON-fälten och värdena använder enkla citattecken i stället för dubbla citattecken.

{ 'json': 'record 1' }
{ 'json': 'record 2' }
{ 'json': 'record 3' }

Omvänt snedstreck undantaget

Välj Omvänt snedstreck undantagna om omvänt snedstreck används för att undkomma tecken i JSON-data.

{ "json": "record 1" }
{ "json": "\} \" \' \\ \n \\n record 2" }
{ "json": "record 3" }

Egenskaper för mottagare

I tabellen nedan visas de egenskaper som stöds av en json-mottagare. Du kan redigera dessa egenskaper på fliken Inställningar .

Name Beskrivning Krävs Tillåtna värden Skriptegenskap för dataflöde
Rensa mappen Om målmappen rensas före skrivning nej true eller false truncate
Filnamnsalternativ Namnformatet för de data som skrivits. Som standard är en fil per partition i format part-#####-tid-<guid> nej Mönster: Sträng
Per partition: String[]
Som data i kolumnen: Sträng
Utdata till en enskild fil: ['<fileName>']
filePattern
partitionFileNames
rowUrlColumn
partitionFileNames

Skapa JSON-strukturer i en härledd kolumn

Du kan lägga till en komplex kolumn i dataflödet via uttrycksverktyget för härledd kolumn. I omvandlingen av den härledda kolumnen lägger du till en ny kolumn och öppnar uttrycksverktyget genom att klicka på den blå rutan. Om du vill göra en kolumn komplex kan du ange JSON-strukturen manuellt eller använda UX för att lägga till underkolumner interaktivt.

Använda uttrycksverktygets UX

Hovra över en kolumn i fönstret för utdataschemat och klicka på plusikonen. Välj Lägg till underkolumn för att göra kolumnen till en komplex typ.

Lägg till underkolumn

Du kan lägga till ytterligare kolumner och underkolumner på samma sätt. För varje icke-komplext fält kan ett uttryck läggas till i uttrycksredigeraren till höger.

Lägg till komplex kolumn

Ange JSON-strukturen manuellt

Om du vill lägga till en JSON-struktur manuellt lägger du till en ny kolumn och anger uttrycket i redigeraren. Uttrycket följer följande allmänna format:

@(
    field1=0,
    field2=@(
        field1=0
    )
)

Om det här uttrycket angavs för en kolumn med namnet "complexColumn" skulle det skrivas till mottagaren som följande JSON:

{
    "complexColumn": {
        "field1": 0,
        "field2": {
            "field1": 0
        }
    }
}

Exempel på manuella skript för fullständig hierarkisk definition

@(
    title=Title,
    firstName=FirstName,
    middleName=MiddleName,
    lastName=LastName,
    suffix=Suffix,
    contactDetails=@(
        email=EmailAddress,
        phone=Phone
    ),
    address=@(
        line1=AddressLine1,
        line2=AddressLine2,
        city=City,
        state=StateProvince,
        country=CountryRegion,
        postCode=PostalCode
    ),
    ids=[
        toString(CustomerID), toString(AddressID), rowguid
    ]
)

Här är några vanliga anslutningsappar och format som är relaterade till JSON-formatet:

  • Azure Blob Storage (connector-azure-blob-storage.md)
  • Avgränsat textformat (formatavgränsat text.md)
  • OData-anslutningsprogram (connector-odata.md)
  • Parquet-format (format-parquet.md)

Nästa steg