Skompresowany plik LZO

Ze względu na ograniczenia licencjonowania koder kompresji LZO nie jest domyślnie dostępny w klastrach usługi Azure Databricks. Aby odczytać skompresowany plik LZO, należy użyć skryptu init, aby zainstalować koder koder-dekoder w klastrze podczas uruchamiania.

Przykład notesu: Skompresowane pliki init LZO

Poniższy notes:

• Kompiluje koder LZO.
• Tworzy skrypt inicjowania, który:
  • Instaluje biblioteki kompresji LZO i lzop polecenie oraz kopiuje koder-dekoder LZO do właściwej ścieżki klasy.
  • Konfiguruje platformę Spark do używania kodera kompresji LZO.

Notes skompresowanych plików init LZO

Pobierz notes

Przykład notesu: Odczytywanie skompresowanych plików LZO

Poniższy notes odczytuje skompresowane pliki LZO przy użyciu kodera kodera zainstalowanego przez skrypt inicjowania:

Odczytywanie notesu skompresowanych plików LZO

Pobierz notes