Možnosti formátu dat

Azure Databricks má integrované vazby klíčových slov pro všechny formáty dat nativně podporované Apache Sparkem. Azure Databricks používá Delta Lake jako výchozí protokol pro čtení a zápis dat a tabulek, zatímco Apache Spark používá Parquet.

Tyto články poskytují přehled mnoha dostupných možností a konfigurací při dotazování dat v Azure Databricks.

Následující formáty dat mají integrované konfigurace klíčových slov v datových rámcích Apache Spark a SQL:

Azure Databricks také poskytuje specifické klíčové slovo pro načítání experimentů MLflow.

Formáty dat se zvláštními aspekty

Některé formáty dat vyžadují další konfiguraci nebo zvláštní aspekty použití:

  • Databricks doporučuje načítat obrázky jako binary data.
  • Většina formátů podporuje kompresi při zápisu pomocí volby compression. Podrobnosti o konfiguraci najdete v části komprese v dokumentaci k jednotlivým formátům. Azure Databricks mohou také přímo číst předkomprimované soubory v mnoha formátech a v případě potřeby můžete komprimované soubory rozbalit na Azure Databricks.
    • Textové (CSV, JSON, XML, text): none (výchozí), bzip2, gzip, lz4, , snappy, deflatea zstd
    • Parquet: snappy (výchozí), gzip, lzo, brotli, lz4, a zstd
    • ORC: snappy, zliba lzo
    • Avro: snappy (výchozí), deflate, bzip2, xza zstandard

Další informace o zdrojích dat Apache Sparku najdete v tématech věnovaných obecným funkcím pro načítání a ukládání a generickým možnostem zdrojů souborů.

  • Last updated on