LZO 압축 파일
라이선스 제한으로 인해 LZO 압축 코덱은 Azure Databricks 클러스터에서 기본적으로 사용할 수 없습니다. LZO 압축 파일을 읽으려면 초기화 스크립트를 사용하여 시작 시 클러스터에 코덱을 설치해야 합니다.
Notebook 예제: Init LZO 압축 파일
다음 Notebook:
- LZO 코덱을 빌드합니다.
- 다음과 같은 init 스크립트를 만듭니다.
- LZO 압축 라이브러리 및
lzop
명령을 설치하고 LZO 코덱을 적절한 클래스 경로에 복사합니다. - LZO 압축 코덱을 사용하도록 Spark를 구성합니다.
- LZO 압축 라이브러리 및
LZO 압축 파일 Notebook init
Notebook 예제: LZO 압축 파일 읽기
다음 Notebook은 init 스크립트에 의해 설치된 코덱을 사용하여 LZO 압축 파일을 읽습니다.