Azure Databricks에서 Python 프로세스 다시 시작
Azure Databricks에서 Python 프로세스를 프로그래밍 방식으로 다시 시작하여 로컬로 설치되거나 업그레이드된 라이브러리가 현재 SparkSession에 대한 Python 커널에서 올바르게 작동하는지 확인할 수 있습니다.
Python 프로세스를 다시 시작하면 Python 상태 정보가 손실됩니다. Databricks는 Notebook의 시작 부분에 모든 세션 범위 라이브러리를 설치하고 계속하기 전에 Python 프로세스를 정리하도록 실행하는 dbutils.library.restartPython()
것이 좋습니다.
대화형 Notebook 또는 작업으로 예약된 Python 작업에서 이 프로세스를 사용할 수 있습니다.
dbutils.library.restartPython
이란 무엇인가요?
도우미 함수 dbutils.library.restartPython()
는 Databricks Notebook에서 Python 프로세스를 다시 시작하는 데 권장되는 방법입니다.
참고 항목
하위 모듈의 dbutils.library
대부분의 함수는 더 이상 사용되지 않습니다. Databricks는 모든 Notebook 범위 라이브러리 설치를 관리하는 데 사용하는 %pip
것이 좋습니다. Notebook 범위의 Python 라이브러리를 참조하세요.
Python 프로세스를 언제 다시 시작해야 하나요?
다음을 포함하는 로컬 설치를 수행할 때마다 Python 프로세스를 다시 시작하는 것이 좋습니다.
- Databricks 런타임에 포함된 패키지의 버전 지정
- Databricks 런타임에 포함된 패키지의 사용자 지정 버전 설치
- 를 사용하여
%pip install <library-name> --upgrade
라이브러리를 최신 버전으로 명시적으로 업데이트합니다. - 로컬
requirements.txt
파일에서 사용자 지정 환경 구성 - Databricks 런타임에 포함된 종속 라이브러리의 버전을 변경해야 하는 라이브러리를 설치합니다.