Python용 Databricks 커넥트

  • 아티클

참고 항목

이 문서에서는 Databricks Runtime 13.0 이상용 Databricks 커넥트 대해 설명합니다.

이 문서에서는 Python 및 PyCharm을 사용하여 Databricks 커넥트 빠르게 시작하는 방법을 보여 줍니다.

Databricks 커넥트 사용하면 PyCharm, Notebook 서버 및 기타 사용자 지정 애플리케이션과 같은 인기 있는 IDE를 Azure Databricks 클러스터에 연결할 수 있습니다. Databricks 커넥트란?을 참조하세요.

자습서

이 자습서를 건너뛰고 다른 IDE를 대신 사용하려면 다음 단계를 참조 하세요.

요구 사항

이 자습서를 완료하려면 다음 요구 사항을 충족해야 합니다.

  • 대상 Azure Databricks 작업 영역 및 클러스터는 Databricks 커넥트 대한 클러스터 구성 요구 사항을 충족해야 합니다.

  • 클러스터 ID를 사용할 수 있어야 합니다. 클러스터 ID를 가져오려면 작업 영역에서 사이드바에서 컴퓨팅을 클릭한 다음 클러스터 이름을 클릭합니다. 웹 브라우저의 주소 표시줄에서 URL 간에 clustersconfiguration 문자 문자열을 복사합니다.

  • PyCharm이 설치되어 있습니다. 이 자습서는 PyCharm Community Edition 2023.3.5에서 테스트되었습니다. 다른 버전의 PyCharm을 사용하는 경우 다음 지침이 다를 수 있습니다.

  • 개발 머신에 Python 3이 설치되어 있고 클라이언트 Python 설치의 부 버전은 Azure Databricks 클러스터의 부 Python 버전과 동일합니다. 다음 표에서는 각 Databricks 런타임과 함께 설치된 Python 버전을 보여 줍니다.

    Databricks Runtime 버전 Python 버전
    15.0 ML,
    15.0    		 3.11
    13.0 ML - 14.3 ML,
    13.0 - 14.3    		 3.10

1단계: Azure Databricks 인증 구성

이 자습서에서는 Azure Databricks 작업 영역을 사용하여 인증하기 위해 Azure Databricks OAuth U2M(사용자-컴퓨터) 인증 및 Azure Databricks 구성 프로필을 사용합니다. 대신 다른 인증 유형을 사용하려면 연결 속성 구성을 참조 하세요.

OAuth U2M 인증을 구성하려면 다음과 같이 Databricks CLI가 필요합니다.

  1. 아직 설치되지 않은 경우 다음과 같이 Databricks CLI를 설치합니다.

    Linux, macos

    Homebrew를 사용하여 다음 두 명령을 실행하여 Databricks CLI를 설치합니다.

    brew tap databricks/tap
brew install databricks

    Windows

    winget, Chocolatey 또는 WSL(Linux용 Windows 하위 시스템)을 사용하여 Databricks CLI를 설치할 수 있습니다. , Chocolatey 또는 WSL을 사용할 winget수 없는 경우 이 절차를 건너뛰고 명령 프롬프트 또는 PowerShell을 사용하여 원본 에서 Databricks CLI를 설치해야 합니다.

    참고 항목

    Chocolatey를 사용하여 Databricks CLI를 설치하는 것은 실험적입니다.

    Databricks CLI를 설치하는 데 사용 winget 하려면 다음 두 명령을 실행한 다음 명령 프롬프트를 다시 시작합니다.

    winget search databricks
winget install Databricks.DatabricksCLI

    Chocolatey를 사용하여 Databricks CLI를 설치하려면 다음 명령을 실행합니다.

    choco install databricks-cli

    WSL을 사용하여 Databricks CLI를 설치하려면:

    1. WSL을 설치하고 zip 통해 설치 curl 합니다. 자세한 내용은 운영 체제 설명서를 참조하세요.

    2. WSL을 사용하여 다음 명령을 실행하여 Databricks CLI를 설치합니다.

      curl -fsSL https://raw.githubusercontent.com/databricks/setup-cli/main/install.sh | sh

  2. 설치된 Databricks CLI의 현재 버전을 표시하는 다음 명령을 실행하여 Databricks CLI가 설치되어 있는지 확인합니다. 이 버전은 0.205.0 이상이어야 합니다.

    databricks -v

    참고 항목

    실행 databricks 하지만 오류(예: command not found: databricks실행 databricks -v 중) 또는 버전 번호가 0.18 이하인 경우 컴퓨터가 올바른 버전의 Databricks CLI 실행 파일을 찾을 수 없음을 의미합니다. 이 문제를 해결하려면 CLI 설치 확인을 참조하세요.

다음과 같이 OAuth U2M 인증을 시작합니다.

  1. Databricks CLI를 사용하여 각 대상 작업 영역에 대해 다음 명령을 실행하여 OAuth 토큰 관리를 로컬로 시작합니다.

    다음 명령에서 작업 영역별 Azure Databricks URL로 바꿉 <workspace-url> 니다. 예를 들면 다음과 같습니다https://adb-1234567890123456.7.azuredatabricks.net.

    databricks auth login --configure-cluster --host <workspace-url>

  2. Databricks CLI는 Azure Databricks 구성 프로필로 입력한 정보를 저장하라는 메시지를 표시합니다. 제안된 프로필 이름을 적용하려면 누르 Enter 거나 새 프로필 또는 기존 프로필의 이름을 입력합니다. 이름이 같은 기존 프로필은 입력한 정보로 덮어씁니다. 프로필을 사용하여 여러 작업 영역에서 인증 컨텍스트를 빠르게 전환할 수 있습니다.

    기존 프로필 목록을 얻으려면 별도의 터미널 또는 명령 프롬프트에서 Databricks CLI를 사용하여 명령을 databricks auth profiles실행합니다. 특정 프로필의 기존 설정을 보려면 명령을 databricks auth env --profile <profile-name>실행합니다.

  3. 웹 브라우저에서 화면의 지침을 완료하여 Azure Databricks 작업 영역에 로그인합니다.

  4. 터미널 또는 명령 프롬프트에 표시되는 사용 가능한 클러스터 목록에서 위쪽 화살표 키와 아래쪽 화살표 키를 사용하여 작업 영역에서 대상 Azure Databricks 클러스터를 선택한 다음 누릅니 Enter다. 클러스터 표시 이름의 일부를 입력하여 사용 가능한 클러스터 목록을 필터링할 수도 있습니다.

  5. 프로필의 현재 OAuth 토큰 값과 토큰의 예정된 만료 타임스탬프를 보려면 다음 명령 중 하나를 실행합니다.

    • databricks auth token --host <workspace-url>
    • databricks auth token -p <profile-name>
    • databricks auth token --host <workspace-url> -p <profile-name>

    동일한 --host 값을 가진 여러 프로필이 있는 경우 Databricks CLI가 올바른 일치하는 OAuth 토큰 정보를 찾을 수 있도록 옵션과 -p 옵션을 함께 지정 --host 해야 할 수 있습니다.

2단계: 프로젝트 만들기

  1. PyCharm을 시작합니다.
  2. 기본 메뉴에서 새 파일 > 프로젝트를 클릭합니다.
  3. 새 프로젝트 대화 상자에서 Pure Python을 클릭합니다.
  4. 위치의 경우 폴더 아이콘을 클릭하고 화면의 방향을 완료하여 새 Python 프로젝트의 경로를 지정합니다.
  5. 기본.py 시작 스크립트 만들기를 선택한 상태로 둡니다.
  6. 인터프리터 형식의 경우 Project venv를 클릭합니다.
  7. Python 버전을 확장하고 폴더 아이콘 또는 드롭다운 목록을 사용하여 이전 요구 사항에서 Python 인터프리터의 경로를 지정합니다.
  8. 만들기를 클릭합니다.

PyCharm 프로젝트 만들기

3단계: Databricks 커넥트 패키지 추가

  1. PyCharm의 기본 메뉴에서 도구 Windows > Python 패키지 보기를 > 클릭합니다.
  2. 검색 상자에 databricks-connect를 입력합니다.
  3. PyPI 리포지토리 목록에서 databricks-connect를 클릭합니다.
  4. 결과 창의 최신 드롭다운 목록에서 클러스터의 Databricks 런타임 버전과 일치하는 버전을 선택합니다. 예를 들어 클러스터에 Databricks Runtime 14.3이 설치된 경우 14.3.1을 선택합니다.
  5. 패키지 설치를 클릭합니다.
  6. 패키지가 설치되면 Python 패키지 창을 닫을 수 있습니다.

Databricks 커넥트 패키지 설치

4단계: 코드 추가

  1. 프로젝트 도구 창에서 프로젝트의 루트 폴더를 마우스 오른쪽 단추로 클릭하고 새 > Python 파일을 클릭합니다.

  2. Python 파일을 입력 main.py 하고 두 번 클릭합니다.

  3. 다음 코드를 파일에 입력한 다음 구성 프로필의 이름에 따라 파일을 저장합니다.

    1단계의 구성 프로필 이름이 지정된 DEFAULT경우 다음 코드를 파일에 입력한 다음 파일을 저장합니다.

    from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.getOrCreate()

df = spark.read.table("samples.nyctaxi.trips")
df.show(5)

    1단계의 구성 프로필 이름이 지정 DEFAULT되지 않은 경우 파일에 다음 코드를 대신 입력합니다. 자리 표시자를 <profile-name> 1단계의 구성 프로필 이름으로 바꾼 다음 파일을 저장합니다.

    from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.profile("<profile-name>").getOrCreate()

df = spark.read.table("samples.nyctaxi.trips")
df.show(5)

5단계: 코드 실행

  1. 원격 Azure Databricks 작업 영역에서 대상 클러스터를 시작합니다.
  2. 클러스터가 시작된 후 기본 메뉴에서 '기본' 실행 실행을 > 클릭합니다.
  3. 실행 도구 창(도구 창 > 보기>)의 실행 탭 기본 창에서 처음 5개 행이 samples.nyctaxi.trips 나타납니다.

6단계: 코드 디버그

  1. 클러스터가 계속 실행 중인 상태에서 이전 코드에서 옆 df.show(5) 의 여백을 클릭하여 중단점을 설정합니다.
  2. 기본 메뉴에서 '기본' 디버그 실행을 > 클릭합니다.
  3. 디버그 도구 창(도구 창 > 디버그 보기>)의 디버거 탭의 변수 창에서 df 및 Spark 변수 노드를 확장하여 코드 df 및 spark 변수에 대한 정보를 찾습니다.
  4. 디버그 도구 창의 사이드바에서 녹색 화살표(프로그램 다시 시작) 아이콘을 클릭합니다.
  5. 디버거 탭의 콘솔 창에서 처음 5개 행이 samples.nyctaxi.trips 나타납니다.

PyCharm 프로젝트 디버그

다음 단계

Databricks 커넥트 대한 자세한 내용은 다음과 같은 문서를 참조하세요.