Notebook에 대한 서버리스 컴퓨팅

Important

이 기능은 공개 미리 보기 상태입니다. 자격 및 사용 설정에 대한 자세한 내용은 서버리스 컴퓨팅 사용을 참조 하세요.

이 문서에서는 Notebook에 서버리스 컴퓨팅을 사용하는 방법을 설명합니다. 워크플로에 서버리스 컴퓨팅을 사용하는 방법에 대한 자세한 내용은 워크플로에 대한 서버리스 컴퓨팅을 사용하여 Azure Databricks 작업 실행을 참조 하세요.

가격 책정 정보는 Databricks 가격 책정을 참조 하세요.

요구 사항

• Unity 카탈로그에 작업 영역을 사용하도록 설정해야 합니다.

• 작업 영역은 지원되는 지역에 있어야 합니다. Azure Databricks 지역을 참조 하세요.

• 서버리스 컴퓨팅에 대해 계정을 사용하도록 설정해야 합니다. 서버리스 컴퓨팅 사용을 참조 하세요.

서버리스 컴퓨팅에 Notebook 연결

작업 영역이 서버리스 대화형 컴퓨팅에 사용하도록 설정된 경우 작업 영역의 모든 사용자는 Notebook용 서버리스 컴퓨팅에 액세스할 수 있습니다. 추가 권한이 필요하지 않습니다.

서버리스 컴퓨팅에 연결하려면 Notebook에서 연결 드롭다운 메뉴를 클릭하고 서버리스를 선택합니다. 새 Notebook의 경우 다른 리소스가 선택되지 않은 경우 코드 실행 시 연결된 컴퓨팅이 자동으로 서버리스로 설정됩니다.

Notebook 종속성 설치

환경 쪽 패널을 사용하여 서버리스 Notebook에 대한 Python 종속성을 설치할 수 있습니다. 이 패널에서는 Notebook에 대한 라이브러리 요구 사항을 편집, 보기 및 내보낼 수 있는 단일 위치를 제공합니다. 이러한 종속성은 기본 환경을 사용하거나 개별적으로 추가할 수 있습니다.

기본 환경 구성

기본 환경은 작업 영역 파일 또는 추가 환경 종속성을 지정하는 Unity 카탈로그 볼륨에 저장된 YAML 파일입니다. 기본 환경은 Notebook 간에 공유할 수 있습니다. 기본 환경을 구성하려면 다음을 수행합니다.

1. Python 가상 환경에 대한 설정을 정의하는 YAML 파일을 만듭니다. 다음 예제 YAML은 MLflow 프로젝트 환경 사양을 기반으로 몇 가지 라이브러리 종속성이 있는 기본 환경을 정의합니다.

   client: "1"
   dependencies:
     - --index-url https://pypi.org/simple
     - -r "/Workspace/Shared/requirements.txt"
     - cowsay==6.1
   

2. YAML 파일을 작업 영역 파일 또는 Unity 카탈로그 볼륨으로 업로드합니다. 파일 가져오기 또는 Unity 카탈로그 볼륨에 파일 업로드를 참조하세요.

3. 전자 필기장 오른쪽에서 단추를 클릭하여 환경 패널을 확장합니다. 이 단추는 Notebook이 서버리스 컴퓨팅에 연결된 경우에만 나타납니다.

4. 기본 환경 필드에 업로드된 YAML 파일의 경로를 입력하거나 해당 파일로 이동하여 선택합니다.

5. 적용을 클릭합니다. 그러면 Notebook 가상 환경에 종속성이 설치되고 Python 프로세스가 다시 시작됩니다.

사용자는 종속성을 개별적으로 설치하여 기본 환경에 지정된 종속성을 재정의할 수 있습니다.

개별적으로 종속성 추가

환경 패널의 종속성 탭을 사용하여 서버리스 컴퓨팅에 연결된 Notebook에 종속성을 설치할 수도 있습니다.

1. 전자 필기장 오른쪽에서 단추를 클릭하여 환경 패널을 확장합니다. 이 단추는 Notebook이 서버리스 컴퓨팅에 연결된 경우에만 나타납니다.
2. 종속성 섹션에서 종속성 추가를 클릭하고 필드에 라이브러리 종속성의 경로를 입력합니다. requirements.txt 파일에서 유효한 형식으로 종속성을 지정할 수 있습니다.
3. 적용을 클릭합니다. 그러면 Notebook 가상 환경에 종속성이 설치되고 Python 프로세스가 다시 시작됩니다.

참고 항목

서버리스 컴퓨팅을 사용하는 작업은 Notebook 코드를 실행하기 전에 Notebook의 환경 사양을 설치합니다. 즉, Notebook을 작업으로 예약할 때 종속성을 추가할 필요가 없습니다. Notebook 환경 및 종속성 구성을 참조 하세요.

설치된 종속성 및 pip 로그 보기

설치된 종속성을 보려면 Notebook에 대한 환경 쪽 패널에서 설치를 클릭합니다. 패널 아래쪽에서 Pip 로그를 클릭하여 Notebook 환경에 대한 Pip 설치 로그 도 사용할 수 있습니다.

환경 다시 설정

Notebook이 서버리스 컴퓨팅에 연결된 경우 Databricks는 Notebook의 가상 환경 콘텐츠를 자동으로 캐시합니다. 즉, 비활성으로 인해 연결이 끊긴 경우에도 기존 Notebook을 열 때 환경 패널에 지정된 Python 종속성을 다시 설치할 필요가 없습니다.

Python 가상 환경 캐싱도 작업에 적용됩니다. 즉, 필요한 종속성을 이미 사용할 수 있으므로 후속 작업 실행이 더 빠릅니다.

참고 항목

서버리스 작업에서 사용되는 사용자 지정 Python 패키지의 구현을 변경하는 경우 작업에서 최신 구현을 선택하도록 버전 번호도 업데이트해야 합니다.

환경 캐시를 지우고 서버리스 컴퓨팅에 연결된 Notebook의 환경 패널에 지정된 종속성을 새로 설치하려면 적용 옆의 화살표를 클릭한 다음 환경 다시 설정을 클릭합니다.

참고 항목

핵심 Notebook 또는 Apache Spark 환경을 중단하거나 변경하는 패키지를 설치하는 경우 가상 환경을 다시 설정합니다. 서버리스 컴퓨팅에서 Notebook을 분리하고 다시 연결한다고 해서 전체 환경 캐시가 반드시 지워지는 것은 아닙니다.

쿼리 인사이트 보기

Notebook 및 워크플로에 대한 서버리스 컴퓨팅은 쿼리 인사이트를 사용하여 Spark 실행 성능을 평가합니다. Notebook에서 셀을 실행한 후 성능 보기 링크를 클릭하여 SQL 및 Python 쿼리와 관련된 인사이트를 볼 수 있습니다.

Spark 문을 클릭하여 쿼리 메트릭을 볼 수 있습니다. 여기에서 쿼리 프로필 보기를 클릭하여 쿼리 실행의 시각화를 볼 수 있습니다. 쿼리 프로필에 대한 자세한 내용은 쿼리 프로필을 참조하세요.

참고 항목

작업 실행에 대한 성능 인사이트를 보려면 작업 실행 쿼리 인사이트 보기를 참조 하세요.

쿼리 기록

서버리스 컴퓨팅에서 실행되는 모든 쿼리도 작업 영역의 쿼리 기록 페이지에 기록됩니다. 쿼리 기록에 대한 자세한 내용은 쿼리 기록을 참조하세요.

쿼리 인사이트 제한 사항

• 쿼리 프로필은 쿼리 실행이 종료된 후에만 사용할 수 있습니다.
• 실행 중에 쿼리 프로필이 표시되지 않지만 메트릭은 라이브로 업데이트됩니다.
• 실행, 취소됨, 실패, 완료 등 쿼리 상태만 다룹니다.
• 쿼리 실행은 쿼리 기록 페이지에서 취소할 수 없습니다. 전자 필기장 또는 작업에서 취소할 수 있습니다.
• 자세한 정보 표시 메트릭을 사용할 수 없습니다.
• 쿼리 프로필 다운로드를 사용할 수 없습니다.
• Spark UI에 대한 액세스를 사용할 수 없습니다.
• 문 텍스트에는 실행된 마지막 줄만 포함됩니다. 그러나 이 줄 앞에 동일한 문의 일부로 실행된 여러 줄이 있을 수 있습니다.

제한 사항

제한 사항 목록은 서버리스 컴퓨팅 제한 사항을 참조 하세요.