Migreren naar Databricks Connect voor Scala

Notitie

Databricks Connect voor Databricks Runtime 13.3 LTS en hoger voor Scala bevindt zich in Openbare Preview.

In dit artikel wordt beschreven hoe u migreert van Databricks Connect voor Databricks Runtime 12.2 LTS en hieronder naar Databricks Connect voor Databricks Runtime 13.3 LTS en hoger voor Scala. Met Databricks Connect kunt u populaire IDE's, notebookservers en aangepaste toepassingen verbinden met Azure Databricks clusters. Zie Databricks Connect.

Voordat u Databricks Connect gaat gebruiken, moet u de Databricks Connect-client instellen.

Zie Migrate to Databricks Connect voor Python voor de Python versie van dit artikel.

Uw Scala-project migreren

1. Installeer de juiste versie van de Java Development Kit (JDK) en Scala, zoals vermeld in de installatievereisten zodat deze overeenkomt met uw Azure Databricks-cluster, als dit nog niet lokaal is geïnstalleerd.

2. Werk in het buildbestand van uw Scala-project, zoals build.sbt voor sbt, pom.xml voor Maven of build.gradle voor Gradle, de volgende verwijzing bij naar de Databricks Connect-client:

   Sbt

   libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"
   

   Maven

   <dependency>
     <groupId>com.databricks</groupId>
     <artifactId>databricks-connect</artifactId>
     <version>14.0.0</version>
   </dependency>
   

   Gradle

   implementation 'com.databricks.databricks-connect:14.0.0'
   

   Vervang 14.0.0 door de versie van de Databricks Connect-bibliotheek die overeenkomt met de Databricks Runtime-versie op uw cluster. U vindt de versienummers van de Databricks Connect-bibliotheek in de centrale Maven-opslagplaats.

3. Werk de Scala-code bij om de spark variabele te initialiseren (die een instantie van de DatabricksSession-klasse vertegenwoordigt, vergelijkbaar met SparkSession in Spark). Zie Codevoorbeelden voor Databricks Connect voor Scalavoor codevoorbeelden.