AVRO-toewijzing

Gebruik AVRO-toewijzing om binnenkomende gegevens toe te wijzen aan kolommen in tabellen wanneer uw opnamebronbestand de AVRO-indeling heeft.

Elk element in de toewijzingslijst definieert de toewijzing voor een specifieke kolom. Deze elementen zijn opgebouwd uit drie eigenschappen: column, datatypeen properties. Meer informatie in het overzicht van gegevenstoewijzingen.

Elk AVRO-toewijzingselement moet een van de volgende optionele eigenschappen bevatten:

Eigenschap	Type	Description
Veld	string	Naam van het veld in de AVRO-record.
Pad	string	Als de waarde begint met $ wordt deze geïnterpreteerd als het pad naar het veld in het AVRO-document dat de inhoud van de kolom in de tabel wordt. Het pad dat de hele AVRO-record aandukt, is $. Als de waarde niet begint met $ wordt deze geïnterpreteerd als een constante waarde. Paden die speciale tekens bevatten, moeten worden ge escaped als ['Eigenschapsnaam']. Zie JSONPath-syntaxis voor meer informatie.
ConstValue	string	De constante waarde die moet worden gebruikt voor een kolom in plaats van een waarde in het AVRO-bestand.
Transformeren	string	Transformatie die moet worden toegepast op de inhoud met toewijzingstransformaties.

Notitie

Veld en Pad sluiten elkaar uit.

De volgende alternatieven zijn gelijkwaardig:

[
  {"Column": "event_name", "Properties": {"Path": "$.EventName"}}
]

[
  {"Column": "event_name", "Properties": {"Field": "EventName"}}
]

Belangrijk

Voor opname in de wachtrij:

• Als de tabel waarnaar wordt verwezen in de toewijzing niet bestaat in de database, wordt deze automatisch gemaakt, aangezien geldige gegevenstypen zijn opgegeven voor alle kolommen.
• Als een kolom waarnaar wordt verwezen in de toewijzing niet bestaat in de tabel, wordt deze automatisch toegevoegd aan de tabel als de laatste kolom bij de eerste keer dat gegevens voor die kolom worden opgenomen, mits er een geldig gegevenstype is opgegeven voor de kolom. Als u nieuwe kolommen wilt toevoegen aan een toewijzing, gebruikt u de opdracht .alter ingestion mapping.
• Gegevens worden in batches uitgevoerd met behulp van opname-eigenschappen. Hoe meer unieke opnametoewijzingseigenschappen worden gebruikt, zoals verschillende ConstValue-waarden, hoe meer gefragmenteerd de opname wordt, wat kan leiden tot prestatievermindering.

Voorbeelden

[
  {"Column": "event_timestamp", "Properties": {"Field": "Timestamp"}},
  {"Column": "event_name",      "Properties": {"Field": "Name"}},
  {"Column": "event_type",      "Properties": {"Field": "Type"}},
  {"Column": "event_time",      "Properties": {"Field": "Timestamp", "Transform": "DateTimeFromUnixMilliseconds"}},
  {"Column": "ingestion_time",  "Properties": {"ConstValue": "2021-01-01T10:32:00"}},
  {"Column": "full_record",     "Properties": {"Path": "$"}}
]

De bovenstaande toewijzing wordt geserialiseerd als een JSON-tekenreeks wanneer deze wordt opgegeven als onderdeel van de .ingest beheeropdracht.

.ingest into Table123 (@"source1", @"source2")
  with
  (
      format = "AVRO",
      ingestionMapping =
      ```
      [
        {"Column": "column_a", "Properties": {"Field": "Field1"}},
        {"Column": "column_b", "Properties": {"Field": "$.[\'Field name with space\']"}}
      ]
      ```
  )

Vooraf gemaakte toewijzing

Wanneer de toewijzing vooraf is gemaakt, verwijst u naar de toewijzing op naam in de .ingest beheeropdracht.

.ingest into Table123 (@"source1", @"source2")
    with
    (
        format="AVRO",
        ingestionMappingReference = "Mapping_Name"
    )

Identiteitstoewijzing

Gebruik AVRO-toewijzing tijdens de opname zonder een toewijzingsschema te definiëren (zie identiteitstoewijzing).

.ingest into Table123 (@"source1", @"source2")
    with
    (
        format="AVRO"
    )