Important
이 기능은 베타 버전으로 제공됩니다. 계정 관리자는 표준 컴퓨팅 환경 토글을 통해 계정 콘솔의 Previews 페이지에서 이 기능에 접근할 수 있습니다. Azure Databricks 미리 보기 관리를 참조하세요.
클래식 컴퓨트에서는 환경 의존 모드를 통해 컴산 범위 라이브러리를 설치하지 않고 기본 환경을 사용해 워크로드 수준에서 의존성을 관리할 수 있습니다. 이 모델은 서버리스 컴퓨트에서 사용하는 동일한 모델입니다.
환경 설정은 컴퓨팅 수준 변경과 격리되어 있어, 컴퓨팅이 바뀌어도 워크로드가 고장 나지 않습니다. 또한 Azure Databricks가 기본 환경을 캐시하기 때문에 의존성이 시작 시 해결되고 설치되지 않기 때문에 컴퓨트가 더 빠르게 시작되고 패키지 해결, 저장소 가용성, 네트워크 신뢰성 등으로 인한 실패를 방지할 수 있습니다.
환경 의존성 모드를 사용하는 컴퓨트에 연결한 후, 노트북의 환경 측 창에서 기본 환경을 선택하고 의존성을 추가할 수 있습니다. 노트북에서 환경 사용하기를 참조하세요.
Requirements
의존성 모드 설정은 다음 요구사항을 충족하는 컴퓨트에서만 사용할 수 있습니다:
- Databricks Runtime 19(베타) 이상
- 표준 접근 모드
- 인터랙티브 노트북에서 실행되는 다목적 컴퓨팅
지원 세부사항은 제한 사항을 참조하세요.
의존 모드를 설정하세요
환경 의존 모드를 사용하는 컴퓨트를 생성하려면:
작업 공간 사이드바에서
클릭한 후'All-purpose Compute ' 탭을 열면 됩니다.컴퓨팅 만들기를 클릭합니다.
성능 항목에서 Databricks 런타임 버전 드롭다운 메뉴에서 19 Beta 이상을 선택하세요.
고급 섹션을 펼친 후 의존성을 클릭하세요.
의존성 모드의 경우, Azure Databricks가 모드를 해결하도록 Auto를 선택해 두거나, Manual을 클릭한 후 Environments를 선택해 직접 설정하세요. 의존성 모드 옵션을 참조하세요.
나머지 컴퓨트를 설정한 후 생성을 클릭하세요.
컴퓨트가 실행된 후, 노트북을 연결하고 ' 노트북 내 환경 사용'에 설명된 대로 환경을 구성합니다.
의존 모드 옵션
의존성 모드 제어는 모드 선택을 결정하는 두 가지 설정을 가지고 있습니다:
- Auto: Azure Databricks는 컴퓨트 구성에 따라 모드를 해결합니다. 컴퓨트가 Docker, Spark 환경 변수 또는 init 스크립트를 지정하지 않는 한 자동으로 Environments 로 해결되며, 이 경우 클러스터 라이브러리로 해결됩니다.
- 매뉴얼: 직접 환경 또는 클러스터 라이브러리 를 선택하세요.
수동 모드를 선택할 때는 필요에 맞는 모드를 선택하세요:
- 환경: 기본 환경을 사용하여 워크로드 수준에서 의존성을 관리합니다. 클러스터 라이브러리, 도커, 스파크 환경 변수, 초기화 스크립트는 비활성화되어 있습니다. 이 모드를 사용하면 서버 없는 컴퓨트와 일치하는 일관되고 이식 가능한 의존성 경험을 제공합니다.
- 클러스터 라이브러리: 고전적인 동작. 클러스터 라이브러리, init 스크립트, 또는 Docker를 사용해 컴퓨트 의존성을 설치하세요. 워크로드에 해당 설정 중 하나라도 필요한 경우 이 모드를 사용하세요.
기존 컴퓨트를 업데이트하기
기존 컴퓨팅 설정을 편집할 경우, init 스크립트, 클러스터 라이브러리, Docker 등 호환되지 않는 설정이 있으면 환경 모드로 전환하는 것이 차단됩니다. 먼저 호환되지 않는 설정을 제거한 후, 의존성 모드를 수정할 수 있습니다.
환경 모드에서 클러스터 라이브러리 모드로 전환하면, 연결된 노트북은 환경 선택지를 유지하지만 그 선택 영역은 비활성화됩니다. 컴퓨팅을 다시 환경 모드로 전환하면 해당 선택지들이 다시 활성화됩니다.
노트북 내 환경 활용
노트북에서 환경을 사용하려면 노트북을 Environments 의존 모드를 사용하는 클래식 컴퓨트 리소스에 연결하세요. 노트북을 첨부한 후에는 서버 없는 컴퓨트에서 하는 것과 같은 방식으로 환경 측 창 
노트북의 의존성을 설정할 수 있습니다.
기본 환경 선택
기본 환경은 노트북에 미리 설치된 라이브러리와 환경 버전을 결정합니다. 환경 쪽 창의 기본 환경 선택기는 환경을 선택하는 위치입니다. Databricks는 최신 버전을 사용하여 가장 최신의 노트북 기능을 이용할 것을 권장합니다. 각 환경 버전에 대한 자세한 내용은 환경 버전을 참조하세요.
기본 환경 선택기는 다음 옵션을 포함합니다.
- 표준: Databricks에서 제공하는 라이브러리가 있는 기본 기본 환경입니다.
- ML: Machine Learning 미리 설치된 Databricks Runtime의 Python 및 시스템 패키지가 있는 기본 환경입니다.
-
추가: 확장하여 추가 옵션 표시:
- 이전 버전의 스탠다드 및 머신러닝 환경.
- 사용자 지정: YAML 파일을 사용하여 사용자 지정 환경을 지정합니다.
- 작업 공간 환경: 작업 공간 관리자가 귀하의 작업 공간에 맞게 설정한 모든 호환 가능한 기본 환경을 나열합니다.
Notebook에 종속성 추가
Azure Databricks Notebook의 가상 환경을 캐시하므로 비활성 후 Notebook을 다시 열거나 다시 시작할 때마다 종속성이 다시 설치되지 않습니다.
종속성을 개별적으로 설치하려면 다음을 수행합니다.
Dependency 섹션에서 필드에 의존 경로 입력한 후 +Add Dependency를 클릭하세요. requirements.txt 파일에서 유효한 형식으로 종속성을 지정할 수 있습니다. Python 휠 파일 또는 Python 프로젝트(예:
pyproject.toml또는setup.py가 포함된 디렉터리)는 작업 영역 파일이나 Unity 카탈로그 볼륨에 있을 수 있습니다.- 작업 공간 파일을 사용하는 경우 경로는 절대 경로이어야 하며
/Workspace/로 시작해야 합니다. - Unity 카탈로그 볼륨에서 파일을 사용하는 경우 경로는 다음과 같은 형식
/Volumes/<catalog>/<schema>/<volume>/<path>.whl이어야 합니다.
- 작업 공간 파일을 사용하는 경우 경로는 절대 경로이어야 하며
Apply 을 클릭하여 종속성을 설치하고 Python 프로세스를 다시 시작합니다.
Important
PySpark나 노트북에 의존성 설정으로 PySpark를 설치하는 라이브러리는 설치하지 마세요. 이렇게 하면 세션이 중지되고 오류가 발생합니다. 이런 현상이 발생하면 라이브러리를 제거하고 환경을 초기화하세요.
설치된 의존성을 보려면 환경 측 창의 '설치됨' 탭을 클릭하세요. 창 아래쪽에서 pip 로그를 클릭하여 Notebook 환경에 대한 pip 설치 로그 를 엽니다.
Limitations
환경 의존 모드는 인터랙티브 노트북에서 Python 워크로드와 의존성을 지원합니다. 다음과 같은 제한 사항이 적용됩니다.
- 클래식 작업들은 환경 의존 모드를 사용하지 않습니다. 작업이 환경 모드를 지정한 고전 다목적 컴퓨팅에서 실행될 때, 그 설정은 무시되고 작업은 클러스터 라이브러리 모드로 실행됩니다.
-
%scala코드는 지원되지 않아 실패할 것입니다. - R 지원이 없는 등 모든 표준 접근 모드 제한이 적용됩니다. 표준 계산 요구사항 및 한계를 참조하세요.
- 현재 컴퓨트 정책을 사용해 의존성 모드 설정을 강제할 수 없습니다.
호환되지 않는 설정
환경 의존성 모드가 활성화되면 다음과 같은 컴퓨팅 설정이 비활성화됩니다:
- Docker (Azure Databricks Container Services)
- 스파크 환경 변수
- Init-스크립트
- 클러스터 라이브러리