Formáty dat podporované Azure Data Explorerem pro příjem dat

Příjem dat je proces, pomocí kterého se data přidají do tabulky a jsou k dispozici pro dotazy v Azure Data Exploreru. U všech metod příjmu dat, kromě ingestování z dotazu, musí být data v jednom z podporovaných formátů. Následující tabulka uvádí a popisuje formáty, které Azure Data Explorer podporuje pro příjem dat.

Poznámka:

Před ingestováním dat se ujistěte, že jsou data správně naformátovaná a definují očekávaná pole. Doporučujeme použít preferovaný validátor k potvrzení platnosti formátu. Například můžete najít následující validátory užitečné ke kontrole souborů CSV nebo JSON:

Další informace o tom, proč může příjem dat selhat, najdete v tématu Chyby příjmu dat a kódy chyb příjmu dat v Azure Data Exploreru.

Formát Rozšíření Popis
Avro .avro Formát souboru Avro . Podporované komprimační kodeky: snappy, zstandardbzip a xz. Implementace čtecího zařízení formátu avro je založena na oficiální knihovně Apache Avro. Podrobnosti o importování souborů Avro ze služby Event Hubs Capture najdete viz Ingesting Event Hubs Capture Avro files.
AzMonStream N/A Azure Monitor exportuje data v tomto formátu do služby Azure Event Hubs. Tento formát podporuje jenom Azure Event Hubs.
formát CSV .csv Textový soubor s hodnotami oddělenými čárkami (,). Viz RFC 4180: Běžný formát a typ MIME pro soubory hodnot oddělených čárkami (CSV).
JSON .json Textový soubor s objekty JSON oddělenými \n nebo \r\n. Viz řádky JSON (JSONL).
MultiJSON .multijson Textový soubor s polem JSON sad vlastností (každá představuje záznam) nebo libovolným počtem sad vlastností oddělenými bílým místem, \n nebo \r\n. Každou sadu vlastností lze rozprostřít na více řádků.
ORC .orc Jeden soubor ORC.
Parquet .parquet Soubor Parquet.
PSV .psv Textový soubor s hodnotami oddělenými svislým rourou (|).
RAW .raw Textový soubor, jehož celý obsah je jedna řetězcová hodnota.
SCsv .scsv Textový soubor s hodnotami oddělenými středníkem (;).
SOHsv .sohsv Textový soubor s hodnotami oddělenými SOH. (SOH je bod kódu ASCII 1; tento formát používá Hive ve službě HDInsight.)
TSV .tsv Textový soubor s hodnotami oddělenými tabulátorem (\t).
TSVE .tsv Textový soubor s hodnotami oddělenými tabulátorem (\t). Znak zpětného lomítka (\) se používá pro unikání.
TXT .txt Textový soubor s řádky oddělenými znakem \n. Prázdné čáry se přeskočí.
W3CLOGFILE .log Formát souboru protokolu webu standardizovaný W3C.

Poznámka:

  • Příjem dat ze systémů úložiště dat, které poskytují funkce ACID nad běžnými soubory formátu Parquet (například Apache Iceberg, Apache Hudi, Delta Lake), se nepodporuje.

  • Avro bez schématu není podporováno.

  • Další informace o ingestování dat pomocí json nebo multijson formátech najdete v tomto článku.

Podporované formáty komprese dat

Objekty blob a soubory je možné komprimovat pomocí některého z následujících algoritmů komprese:

Komprese Rozšíření
gzip .gz
soubor ZIP .zip

Indikujte kompresi připojením přípony k názvu objektu blob nebo souboru.

Příklad:

  • MyData.csv.zip označuje objekt blob nebo soubor formátovaný jako CSV, komprimovaný pomocí souboru ZIP (archiv nebo jeden soubor).
  • MyData.json.gz označuje objekt blob nebo soubor formátovaný jako JSON komprimovaný pomocí gGzip.

Také se podporují názvy objektů blob nebo souborů, které neobsahují přípony formátu, ale jenom kompresi (například MyData.zip). V tomto případě musí být formát souboru zadán jako vlastnost příjmu dat, protože jej nelze odvodit.

Poznámka:

  • Některé formáty komprese sledují původní příponu souboru jako součást komprimovaného datového proudu. Toto rozšíření je obecně ignorováno pro určení formátu souboru. Pokud formát souboru nelze určit z (komprimovaného) objektu blob nebo názvu souboru, musí se zadat prostřednictvím vlastnosti příjmu format dat.
  • Není nutné zaměňovat s interním (na úrovni bloků) kompresním kodekem používaným ve formátech Parquet, AVRO a ORC. Název interní komprese se obvykle přidává do názvu souboru před příponou formátu souboru, například: file1.gz.parquet, file1.snappy.avroatd.
  • Metoda komprese deflate64/Enhanced Deflate zip se nepodporuje. Systém Windows integrovaný kompresor zip se může rozhodnout použít tuto metodu komprese u souborů o velikosti více než 2 GB.

Související obsah

  • Last updated on