Delta Live Tables 파이프라인에 대한 Python 종속성 관리

Delta Live Tables는 파이프라인에서 외부 종속성을 지원합니다. Databricks는 두 가지 패턴 중 하나를 사용하여 Python 패키지를 설치하는 것이 좋습니다.

1. 이 명령을 사용하여 파이프라인의 %pip install 모든 원본 파일에 대한 패키지를 설치합니다.
2. 작업 영역 파일에 저장된 소스 코드에서 모듈 또는 라이브러리를 가져옵니다. Git 폴더 또는 작업 영역 파일에서 Python 모듈 가져오기를 참조하세요.

Delta Live Tables는 전역 및 클러스터 범위 init 스크립트 사용도 지원합니다. 그러나 이러한 외부 종속성, 특히 init 스크립트는 런타임 업그레이드와 관련된 문제의 위험을 높입니다. 이러한 위험을 완화하려면 파이프라인에서 init 스크립트 사용을 최소화합니다. 처리에 init 스크립트가 필요한 경우 파이프라인 테스트를 자동화하여 문제를 조기에 검색합니다. init 스크립트를 사용하는 경우 Databricks는 테스트 빈도를 늘리는 것이 좋습니다.

Important

JVM 라이브러리는 Delta Live Tables 파이프라인에서 지원되지 않으므로 init 스크립트를 사용하여 JVM 라이브러리를 설치하지 마세요. 그러나 init 스크립트를 사용하여 Python 라이브러리와 같은 다른 라이브러리 형식을 설치할 수 있습니다.

Python 라이브러리

외부 Python 라이브러리를 지정하려면 %pip install 매직 명령을 사용합니다. 업데이트가 시작되면 Delta Live Tables는 테이블 정의를 실행하기 전에 %pip install 명령이 포함된 모든 셀을 실행합니다. 파이프라인에 포함된 모든 Python Notebook은 라이브러리 환경을 공유하고 설치된 모든 라이브러리에 액세스할 수 있습니다.

Important

• %pip install 명령은 Delta Live Tables 파이프라인 Notebook의 맨 위에 있는 별도의 셀에 있어야 합니다. 명령이 포함된 셀에는 다른 코드를 포함하지 %pip install 마세요.
• 파이프라인의 모든 Notebook이 라이브러리 환경을 공유하므로 단일 파이프라인에서 다른 라이브러리 버전을 정의할 수 없습니다. 처리에 다른 라이브러리 버전이 필요한 경우 다른 파이프라인에서 정의해야 합니다.

다음 예제에서는 numpy 라이브러리를 설치하고 파이프라인의 모든 Python Notebook에서 전역적으로 사용할 수 있도록 합니다.

%pip install simplejson

Python 휠 패키지를 설치하려면 명령에 Python 휠 경로를 %pip install 추가합니다. 설치된 Python 휠 패키지는 파이프라인의 모든 테이블에서 사용할 수 있습니다. 다음 예제에서는 DBFS 디렉터리에서 명명된 dltfns-1.0-py3-none-any.whl Python 휠 파일을 설치합니다./dbfs/dlt/

%pip install /dbfs/dlt/dltfns-1.0-py3-none-any.whl

%pip를 사용하여 Python 휠 패키지 설치를 참조하세요.

Delta Live Tables 파이프라인에서 Scala 또는 Java 라이브러리를 사용할 수 있나요?

아니요, Delta Live Tables는 SQL 및 Python만 지원합니다. 파이프라인에서는 JVM 라이브러리를 사용할 수 없습니다. JVM 라이브러리를 설치하면 예기치 않은 동작이 발생하고 향후 Delta Live Tables 릴리스가 중단될 수 있습니다. 파이프라인에서 init 스크립트를 사용하는 경우 스크립트에서 JVM 라이브러리를 설치하지 않았는지도 확인해야 합니다.