LZO 圧縮ファイル
ライセンス制限により、Azure Databricks クラスターでは既定で LZO 圧縮コーデックを使用できません。 LZO 圧縮ファイルを読み取るには、起動時に初期化スクリプトを使用して、クラスターにコーデックをインストールする必要があります。
ノートブックの例: Init LZO 圧縮ファイル
次のノートブックとなります。
- LZO コーデックをビルドします。
- 次のような init スクリプトを作成します。
- LZO 圧縮ライブラリと
lzopコマンドをインストールし、LZO コーデックを適切なクラス パスにコピーします。 - LZO 圧縮コーデックを使用するように Spark を構成します。
- LZO 圧縮ライブラリと
LZO 圧縮ファイルの初期化ノートブック
ノートブックの例: LZO 圧縮ファイルの読み取り
次のノートブックは、init スクリプトによってインストールされたコーデックを使用して LZO 圧縮ファイルを読み取ります。