Mapping AVRO

Usare il mapping AVRO per eseguire il mapping dei dati in ingresso alle colonne all'interno di tabelle quando il file di origine di inserimento è in formato AVRO.

Ogni elemento nell'elenco di mapping definisce il mapping per una colonna specifica. Questi elementi vengono costruiti da tre proprietà: column, datatypee properties. Altre informazioni sono disponibili nella panoramica dei mapping dei dati.

Ogni elemento di mapping AVRO deve contenere una delle proprietà facoltative seguenti:

Proprietà	Type	Descrizione
Campo	string	Nome del campo nel record AVRO.
Percorso	string	Se il valore inizia con $ viene interpretato come percorso del campo nel documento AVRO che diventerà il contenuto della colonna nella tabella. Il percorso che indica l'intero record AVRO è $. Se il valore non inizia con $ viene interpretato come valore costante. I percorsi che includono caratteri speciali devono essere escape come ['Nome proprietà']. Per altre informazioni, vedere sintassi JSONPath.
ConstValue	string	Valore costante da utilizzare per una colonna anziché un valore all'interno del file AVRO.
Trasformazione	string	Trasformazione che deve essere applicata al contenuto con trasformazioni di mapping.

Nota

Field e Path si escludono a vicenda.

Le alternative seguenti sono equivalenti:

[
  {"Column": "event_name", "Properties": {"Path": "$.EventName"}}
]

[
  {"Column": "event_name", "Properties": {"Field": "EventName"}}
]

Importante

Per l'inserimento in coda:

• Se la tabella a cui si fa riferimento nel mapping non esiste nel database, viene creata automaticamente, dato che per tutte le colonne vengono specificati tipi di dati validi.
• Se una colonna a cui si fa riferimento nel mapping non esiste nella tabella, viene aggiunta automaticamente alla tabella come ultima colonna alla prima inserimento dei dati per tale colonna, dato che viene specificato un tipo di dati valido per la colonna. Per aggiungere nuove colonne a un mapping, usare il comando di mapping di inserimento .alter.
• I dati vengono in batch usando le proprietà di inserimento. Le proprietà di mapping di inserimento più distinte usate, ad esempio valori ConstValue diversi, diventa più frammentata l'inserimento, che può causare una riduzione delle prestazioni.

Esempio

[
  {"Column": "event_timestamp", "Properties": {"Field": "Timestamp"}},
  {"Column": "event_name",      "Properties": {"Field": "Name"}},
  {"Column": "event_type",      "Properties": {"Field": "Type"}},
  {"Column": "event_time",      "Properties": {"Field": "Timestamp", "Transform": "DateTimeFromUnixMilliseconds"}},
  {"Column": "ingestion_time",  "Properties": {"ConstValue": "2021-01-01T10:32:00"}},
  {"Column": "full_record",     "Properties": {"Path": "$"}}
]

Il mapping precedente viene serializzato come stringa JSON quando viene fornito come parte del .ingest comando di gestione.

.ingest into Table123 (@"source1", @"source2")
  with
  (
      format = "AVRO",
      ingestionMapping =
      ```
      [
        {"Column": "column_a", "Properties": {"Field": "Field1"}},
        {"Column": "column_b", "Properties": {"Field": "$.[\'Field name with space\']"}}
      ]
      ```
  )

Mapping pre-creato

Dopo la creazione preliminare del mapping, fare riferimento al mapping in base al nome nel .ingest comando di gestione.

.ingest into Table123 (@"source1", @"source2")
    with
    (
        format="AVRO",
        ingestionMappingReference = "Mapping_Name"
    )

Mapping di identità

Usare il mapping AVRO durante l'inserimento senza definire uno schema di mapping (vedere Mapping delle identità).

.ingest into Table123 (@"source1", @"source2")
    with
    (
        format="AVRO"
    )