通过

迁移到适用于 Scala 的 Databricks Connect

注意

适用于 Scala 的 Databricks Runtime 13.3 LTS 及更高版本的 Databricks Connect 为公开预览版。

本文介绍如何从适用于 Databricks Runtime 12.2 LTS 及更低版本的 Databricks Connect 迁移到适用于 Databricks Runtime 13.3 LTS 的 Databricks Connect 以及适用于 Scala 的更高版本。 Databricks Connect 使你能够将常用 IDE、笔记本服务器和自定义应用程序连接到Azure Databricks群集。 请参阅 Databricks Connect。

在开始使用 Databricks Connect 之前，必须先设置 Databricks Connect 客户端。

有关本文的 Python 版本，请参阅 迁移到 Databricks Connect for Python。

迁移您的 Scala 项目

  1. 如尚未在本地安装，请根据< c0>安装要求< /c0>中列出的版本，为你的 Azure Databricks 群集安装正确版本的 Java 开发工具包（JDK）和 Scala。

  2. 在 Scala 项目的构建文件中，例如build.sbt对于 sbt、pom.xml（用于 Maven）或 build.gradle（用于 Gradle），请更新以下对 Databricks Connect 客户端的引用：

    Sbt

    libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"

    Maven

    <dependency>
  <groupId>com.databricks</groupId>
  <artifactId>databricks-connect</artifactId>
  <version>14.0.0</version>
</dependency>

    Gradle

    implementation 'com.databricks.databricks-connect:14.0.0'

    将 14.0.0 替换为与群集上的 Databricks Runtime 版本匹配的 Databricks Connect 库版本。 可以在 Maven 中央存储库中找到 Databricks Connect 库版本号。

  3. 更新 Scala 代码以初始化 spark 变量（表示 DatabricksSession 类的实例化，类似于 Spark 中的 SparkSession）。 有关代码示例，请参阅 Databricks Connect for Scala 的代码示例。

  • Last updated on