Partager via

Databricks Utilities avec Databricks Connect pour Scala

  • Article

Remarque

Cet article présente Databricks Connect pour Databricks Runtime 13.3 LTS et les versions ultérieures.

Cet article explique comment utiliser Databricks Utilities avec Databricks Connect pour Scala. Databricks Connect vous permet de connecter des IDE populaires, des serveurs de notebook et des applications personnalisées aux clusters Azure Databricks. Consultez Qu’est-ce que Databricks Connect ?. Pour obtenir la version Python de cet article, consultez Databricks Utilities avec Databricks Connect pour Python.

Remarque

Avant de commencer à utiliser Databricks Connect, vous devez configurer le client Databricks Connect.

Vous utilisez Databricks Connect pour accéder à Databricks Utilities comme suit :

  • Utilisez DBUtils.getDBUtils pour accéder à Databricks File System (DBFS) et aux secrets via Databricks Utilities. DBUtils.getDBUtils appartient à la bibliothèque Databricks Utilities pour Scala.
  • À part les utilitaires qui ont été cités, aucune autre fonctionnalité de Databricks Utilities n’est disponible pour les projets Scala.
  • Databricks Connect pour Scala déclare déjà une dépendance sur la bibliothèque Databricks Utilities pour Scala. Vous n’avez donc pas besoin de déclarer explicitement cette dépendance dans le fichier de build de votre projet Scala, tel que build.sbt pour sbt, pom.xml pour Maven ou build.gradle pour Gradle.
  • L’authentification relative à la bibliothèque Databricks Utilities pour Scala est déterminée via l’initialisation de la classe DatabricksSession dans votre projet Databricks Connect pour Scala.

Conseil

Vous pouvez également utiliser le kit SDK Databricks pour Java de Scala pour accéder aux API REST Databricks disponibles, et pas seulement aux API d’utilitaires Databricks précédentes. Consultez le dépôt databricks/databricks-sdk-java dans GitHub et Utiliser Scala avec le kit SDK Databricks pour Java.

L’exemple suivant montre comment utiliser la bibliothèque Databricks Utilities pour Scala afin d’automatiser un volume Unity Catalog. Cet exemple crée un fichier nommé zzz_hello.txt dans le chemin d’accès du volume dans l’espace de travail, lit les données du fichier, puis supprime le fichier.

import com.databricks.sdk.scala.dbutils.DBUtils

object Main {
  def main(args: Array[String]): Unit = {

    val filePath = "/Volumes/main/default/my-volume/zzz_hello.txt"
    val fileData = "Hello, Databricks!"
    val dbutils = DBUtils.getDBUtils()

    dbutils.fs.put(
      file = filePath,
      contents = fileData,
      overwrite = true
    )

    println(dbutils.fs.head(filePath))

    dbutils.fs.rm(filePath)
  }
}