A Visual Studio Code használata a Scalához készült Databricks Csatlakozás használatával

Feljegyzés

Ez a cikk a Databricks-Csatlakozás a Databricks Runtime 13.3 LTS-hez és újabb verziókhoz.

Ez a cikk bemutatja, hogyan használható a Databricks Csatlakozás a Scalához a Visual Studio Code-tal. A Databricks Csatlakozás lehetővé teszi népszerű azonosítók, notebook-kiszolgálók és más egyéni alkalmazások Azure Databricks-fürtökhöz való csatlakoztatását. Lásd: Mi az a Databricks Csatlakozás?. A cikk Python-verziójáról a Visual Studio Code használata a Pythonhoz készült Databricks Csatlakozás című témakörben olvashat.

Feljegyzés

A Databricks Csatlakozás használatának megkezdése előtt be kell állítania a Databricks Csatlakozás-ügyfelet.

Ha a Databricks Csatlakozás és a Visual Studio Code-ot a Scala (Metals) kiterjesztéssel szeretné használni egy Scala-mintaprojekt sbt létrehozásához, futtatásához és hibakereséséhez, kövesse az alábbi utasításokat. Ezt a mintát a meglévő Scala-projektekhez is igazíthatja.

1. Győződjön meg arról, hogy a Java Development Kit (JDK) és a Scala helyileg telepítve van. A Databricks azt javasolja, hogy a helyi JDK- és Scala-verzió egyezzen az Azure Databricks-fürt JDK és Scala verziójával.

2. Győződjön meg arról, hogy a legújabb verzió sbt helyileg van telepítve.

3. Telepítse a Visual Studio Code Scala (Metals) bővítményét.

4. A Visual Studio Code-ban nyissa meg azt a mappát, amelyben létre szeretné hozni a Scala-projektet (Fájl > megnyitása mappa).

5. Az oldalsávon kattintson a Fémek bővítmény ikonra, majd az Új Scala projekt elemre.

6. A parancskatalógusban válassza ki a scala/hello-world.g8 nevű sablont, és a képernyőn megjelenő utasítások végrehajtásával fejezze be a Scala-projekt létrehozását a megadott mappában.

7. Projekt buildelési beállításainak hozzáadása: Explorer nézetben (View > Explorer) nyissa meg a build.sbt fájlt a projekt gyökérkönyvtárából, cserélje le a fájl tartalmát a következőre, és mentse a fájlt:

   scalaVersion := "2.12.15"
   
   libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"
   

   Cserélje le 2.12.15 a Scala telepített verziójára, amelynek meg kell egyeznie a fürtön található Databricks Runtime verzióval.

   Cserélje le 14.0.0 a Databricks Csatlakozás könyvtár azon verziójára, amely megfelel a fürt Databricks Runtime-verziójának. A Databricks Csatlakozás kódtár verziószámait a Maven központi adattárában találja.

8. Scala-kód hozzáadása: Nyissa meg a src/main/scala/Main.scala fájlt a projekt gyökérkönyvtárához képest, cserélje le a fájl tartalmát a következőre, és mentse a fájlt:

   import com.databricks.connect.DatabricksSession
   import org.apache.spark.sql.SparkSession
   
   object Main extends App {
     val spark = DatabricksSession.builder().remote().getOrCreate()
     val df = spark.read.table("samples.nyctaxi.trips")
     df.limit(5).show()
   }
   

9. A projekt létrehozása: Futtassa a Metals parancsot >: Importálja a buildet a parancskatalógusból.

10. Projektfuttatási beállítások hozzáadása: A Futtatás és hibakeresés nézetben (Futtatás megtekintése>) kattintson a címkével ellátott hivatkozásra, és hozzon létre egy launch.json fájlt.

11. A parancskatalógusban válassza a Scala Debugger lehetőséget.

12. Adja hozzá a következő futtatási konfigurációt a launch.json fájlhoz, majd mentse a fájlt:

    {
      // Use IntelliSense to learn about possible attributes.
      // Hover to view descriptions of existing attributes.
      // For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387
      "version": "0.2.0",
      "configurations": [
        {
          "type": "scala",
          "request": "launch",
          "name": "Scala: Run main class",
          "mainClass": "Main",
          "args": [],
          "jvmOptions": []
        }
      ]
    }
    

13. Futtassa a projektet: Kattintson a Scala: Főosztály futtatása melletti lejátszás (Hibakeresés indítása) ikonra. A Hibakeresési konzol nézetben (Hibakeresési konzol megtekintése>) megjelenik a samples.nyctaxi.trips táblázat első 5 sora. Az összes Scala-kód helyileg fut, míg a DataFrame-műveleteket tartalmazó Összes Scala-kód a távoli Azure Databricks-munkaterület fürtjén fut, és a futtatási válaszok vissza lesznek küldve a helyi hívónak.

14. Hibakeresés a projektben: Állítson be töréspontokat a kódban, majd kattintson ismét a lejátszás ikonra. Az összes Scala-kód hibakeresése helyileg történik, míg az összes Scala-kód továbbra is fut a fürtön a távoli Azure Databricks-munkaterületen. Az alapvető Spark-motorkódot nem lehet közvetlenül az ügyfélből hibakeresésre használni.