Databricks 커넥트 Scala를 사용하는 Databricks 유틸리티

참고 항목

이 문서에서는 Databricks Runtime 13.3 LTS 이상에 대한 Databricks 커넥트 설명합니다.

이 문서에서는 Scala용 Databricks 커넥트 Databricks 유틸리티를 사용하는 방법을 설명합니다. Databricks 커넥트 사용하면 인기 있는 IDE, Notebook 서버 및 사용자 지정 애플리케이션을 Azure Databricks 클러스터에 연결할 수 있습니다. Databricks 커넥트란?을 참조하세요. 이 문서의 Python 버전은 Python용 Databricks 커넥트 Databricks 유틸리티를 참조하세요.

참고 항목

Databricks 커넥트 사용하기 전에 Databricks 커넥트 클라이언트를 설정해야 합니다.

Databricks 커넥트 사용하여 다음과 같이 Databricks 유틸리티에 액세스합니다.

• Databricks 유틸리티를 통해 DBFS(Databricks 파일 시스템) 및 비밀에 액세스하는 데 사용합니다DBUtils.getDBUtils. DBUtils.getDBUtils 는 Scala 용 Databricks 유틸리티 라이브러리에 속합니다.
• 이전 유틸리티 이외의 Databricks 유틸리티 기능은 Scala 프로젝트에 사용할 수 없습니다.
• Scala용 Databricks 커넥트 이미 Scala용 Databricks 유틸리티 라이브러리에 대한 종속성을 선언하므로 Scala 프로젝트의 빌드 파일(예: build.sbtsbtpom.xml Maven, 또는 build.gradle Gradle)에서 이 종속성을 명시적으로 선언할 필요가 없습니다.
• Scala 라이브러리용 Databricks 유틸리티에 대한 인증은 Scala에 대한 Databricks 커넥트 프로젝트에서 클래스를 초기화하여 DatabricksSession 결정됩니다.

팁

Scala의 Java용 Databricks SDK를 사용하여 이전 Databricks 유틸리티 API뿐만 아니라 사용 가능한 모든 Databricks REST API에 액세스할 수도 있습니다. GitHub의 databricks/databricks-sdk-java 리포지토리를 참조하고 Java용 Databricks SDK와 함께 Scala를 사용합니다.

다음 예제에서는 Databricks Utilities for Scala 라이브러리를 사용하여 Unity 카탈로그 볼륨을 자동화하는 방법을 보여 줍니다. 이 예제에서는 작업 영역 내의 볼륨 경로에 이름이 지정된 zzz_hello.txt 파일을 만들고 파일에서 데이터를 읽은 다음 파일을 삭제합니다.

import com.databricks.sdk.scala.dbutils.DBUtils

object Main {
  def main(args: Array[String]): Unit = {

    val filePath = "/Volumes/main/default/my-volume/zzz_hello.txt"
    val fileData = "Hello, Databricks!"
    val dbutils = DBUtils.getDBUtils()

    dbutils.fs.put(
      file = filePath,
      contents = fileData,
      overwrite = true
    )

    println(dbutils.fs.head(filePath))

    dbutils.fs.rm(filePath)
  }
}