Komprimovaný soubor LZO
Kvůli licenčním omezením není ve výchozím nastavení v clusterech Azure Databricks k dispozici kodek komprese LZO. Ke čtení komprimovaného souboru LZO musíte použít inicializační skript k instalaci kodeku v clusteru při spuštění.
Příklad poznámkového bloku: Komprimované soubory Init LZO
Následující poznámkový blok:
- Vytvoří kodek LZO.
- Vytvoří inicializační skript, který:
- Nainstaluje knihovny komprese LZO a
lzop
příkaz a zkopíruje kodek LZO do správné cesty třídy. - Nakonfiguruje Spark tak, aby používal kodek pro kompresi LZO.
- Nainstaluje knihovny komprese LZO a
Poznámkový blok komprimovaných souborů Init LZO
Příklad poznámkového bloku: Čtení komprimovaných souborů LZO
Následující poznámkový blok čte komprimované soubory LZO pomocí kodeku nainstalovaného inicializačním skriptem: