Mapování AVRO

Pokud je zdrojový soubor příjmu dat ve formátu AVRO, použijte mapování AVRO k mapování příchozích dat na sloupce uvnitř tabulek.

Každý prvek v seznamu mapování definuje mapování pro konkrétní sloupec. Tyto prvky jsou vytvořeny ze tří vlastností: column, datatypea properties. Další informace najdete v přehledu mapování dat.

Každý prvek mapování AVRO musí obsahovat některou z následujících volitelných vlastností:

Vlastnost Typ Description
Pole string Název pole v záznamu AVRO.
Cesta string Pokud hodnota začíná $ , interpretuje se jako cesta k poli v dokumentu AVRO, které se stane obsahem sloupce v tabulce. Cesta, která označuje celý záznam AVRO, je $. Pokud hodnota nezačíná $ na , interpretuje se jako konstantní hodnota. Cesty, které obsahují speciální znaky, by měly být uchycené jako ['Název vlastnosti']. Další informace najdete v tématu Syntaxe JSONPath.
ConstValue string Konstantní hodnota, která se má použít pro sloupec místo hodnoty uvnitř souboru AVRO.
Transformace string Transformace, která by se měla použít u obsahu s mapováním transformací.

Poznámka

Pole a cesta se vzájemně vylučují.

Následující alternativy jsou ekvivalentní:

[
  {"Column": "event_name", "Properties": {"Path": "$.EventName"}}
]
[
  {"Column": "event_name", "Properties": {"Field": "EventName"}}
]

Důležité

Pro příjem dat ve frontě:

  • Pokud tabulka odkazovaná v mapování v databázi neexistuje, vytvoří se automaticky s ohledem na to, že jsou pro všechny sloupce zadané platné datové typy.
  • Pokud sloupec odkazovaný v mapování v tabulce neexistuje, přidá se automaticky do tabulky jako poslední sloupec při prvním ingestování dat pro tento sloupec, pokud je pro sloupec zadaný platný datový typ. Pokud chcete do mapování přidat nové sloupce, použijte příkaz .alter ingestion mapping.
  • Data jsou dávková pomocí vlastností příjmu dat. Čím více odlišných vlastností mapování příjmu dat se používá, například různé hodnoty ConstValue, tím více se příjem dat bude fragmentovat, což může vést ke snížení výkonu.

Příklady

[
  {"Column": "event_timestamp", "Properties": {"Field": "Timestamp"}},
  {"Column": "event_name",      "Properties": {"Field": "Name"}},
  {"Column": "event_type",      "Properties": {"Field": "Type"}},
  {"Column": "event_time",      "Properties": {"Field": "Timestamp", "Transform": "DateTimeFromUnixMilliseconds"}},
  {"Column": "ingestion_time",  "Properties": {"ConstValue": "2021-01-01T10:32:00"}},
  {"Column": "full_record",     "Properties": {"Path": "$"}}
]

Mapování uvedené výše se serializuje jako řetězec JSON, pokud je k dispozici jako součást .ingest příkazu pro správu.

.ingest into Table123 (@"source1", @"source2")
  with
  (
      format = "AVRO",
      ingestionMapping =
      ```
      [
        {"Column": "column_a", "Properties": {"Field": "Field1"}},
        {"Column": "column_b", "Properties": {"Field": "$.[\'Field name with space\']"}}
      ]
      ```
  )

Předem vytvořené mapování

Když je mapování předem vytvořené, odkazujte na mapování podle názvu v příkazu pro .ingest správu.

.ingest into Table123 (@"source1", @"source2")
    with
    (
        format="AVRO",
        ingestionMappingReference = "Mapping_Name"
    )

Mapování identit

Během příjmu dat použijte mapování AVRO bez definování schématu mapování (viz mapování identit).

.ingest into Table123 (@"source1", @"source2")
    with
    (
        format="AVRO"
    )