Migrar para o Databricks Connect para Scala

Observação

O Databricks Connect for Databricks Runtime 13.3 LTS e superior para Scala está no Public Preview.

Este artigo descreve como migrar do Databricks Connect for Databricks Runtime 12.2 LTS e inferior para o Databricks Connect for Databricks Runtime 13.3 LTS e superior para Scala. O Databricks Connect permite-lhe ligar IDEs populares, servidores de cadernos e aplicações personalizadas a clusters do Azure Databricks. Consulte Databricks Connect.

Antes de começar a usar o Databricks Connect, você deve configurar o cliente Databricks Connect.

Para a versão Python deste artigo, veja Migrar para Databricks Connect para Python.

Migre o seu projeto Scala

1. Instale a versão correta do Java Development Kit (JDK) e do Scala conforme listado nos requisitos instalação para corresponder ao seu cluster de Azure Databricks, caso ainda não esteja instalado localmente.

2. No arquivo de compilação do seu projeto Scala, como build.sbt para sbt, para Maven pom.xml ou build.gradle para Gradle, atualize a seguinte referência para o cliente Databricks Connect:

   Sbt

   libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"
   

   Maven

   <dependency>
     <groupId>com.databricks</groupId>
     <artifactId>databricks-connect</artifactId>
     <version>14.0.0</version>
   </dependency>
   

   Gradle

   implementation 'com.databricks.databricks-connect:14.0.0'
   

   Substitua 14.0.0 pela versão da biblioteca Databricks Connect que corresponde à versão do Databricks Runtime no cluster. Você pode encontrar os números de versão da biblioteca Databricks Connect no repositório central do Maven.

3. Atualize o código Scala para inicializar a variável spark (que representa uma instanciação da classe DatabricksSession, semelhante à SparkSession no Spark). Para obter exemplos de código, consulte Exemplos de código para Databricks Connect for Scala.