Az IntelliJ IDEA használata a Scalához készült Databricks Csatlakozás

Feljegyzés

Ez a cikk a Databricks-Csatlakozás a Databricks Runtime 13.3 LTS-hez és újabb verziókhoz.

Ez a cikk bemutatja, hogyan használható a Databricks Csatlakozás a Scalához és az IntelliJ IDEA-hoz a Scala beépülő modullal. A Databricks Csatlakozás lehetővé teszi népszerű azonosítók, notebook-kiszolgálók és más egyéni alkalmazások Azure Databricks-fürtökhöz való csatlakoztatását. Lásd: Mi az a Databricks Csatlakozás?.

Feljegyzés

A Databricks Csatlakozás használatának megkezdése előtt be kell állítania a Databricks Csatlakozás-ügyfelet.

Ha a Databricks Csatlakozás és az IntelliJ IDEA-t a Scala beépülő modullal szeretné használni egy Scala-mintaprojekt sbt létrehozásához, futtatásához és hibakereséséhez, kövesse az alábbi utasításokat. Ezeket az utasításokat az IntelliJ IDEA Community Edition 2023.3.6-os verziójával teszteltük. Ha az IntelliJ IDEA másik verzióját vagy kiadását használja, az alábbi utasítások eltérhetnek.

1. Győződjön meg arról, hogy a Java Development Kit (JDK) helyileg telepítve van. A Databricks azt javasolja, hogy a helyi JDK-verzió egyezzen az Azure Databricks-fürt JDK-verziójával.

2. Indítsa el az IntelliJ IDEA-t.

3. Kattintson az Új > projekt fájlja > elemre.

4. Adjon egy értelmes nevet a projektnek.

5. A Hely beállításhoz kattintson a mappa ikonra, és végezze el a képernyőn megjelenő utasításokat az új Scala-projekt elérési útjának megadásához.

6. A Nyelv területen kattintson a Scala elemre.

7. Build rendszer esetén kattintson az sbt gombra.

8. A JDK legördülő listában válassza ki a JDK meglévő telepítését a fejlesztői gépen, amely megfelel a fürt JDK-verziójának, vagy válassza a JDK letöltése lehetőséget, és kövesse a képernyőn megjelenő utasításokat a fürt JDK-verziójának megfelelő JDK letöltéséhez.

   Feljegyzés

   Ha olyan JDK-telepítést választ, amely a fürt JDK-verziója felett vagy alatt található, váratlan eredményeket eredményezhet, vagy előfordulhat, hogy a kód egyáltalán nem fut.

9. Az sbt legördülő listában válassza ki a legújabb verziót.

10. A Scala legördülő listában válassza ki a Scala azon verzióját, amely megfelel a fürt Scala-verziójának.

    Feljegyzés

    Ha olyan Scala-verziót választ, amely a fürt Scala-verziója alatt vagy felett van, az váratlan eredményeket eredményezhet, vagy előfordulhat, hogy a kód egyáltalán nem fut.

11. Csomagelőtag esetén adjon meg egy csomagelőtag-értéket a projekt forrásaihoz, példáulorg.example.application.

12. Győződjön meg arról, hogy a Mintakód hozzáadása jelölőnégyzet be van jelölve.

13. Kattintson a Létrehozás gombra.

14. Adja hozzá a Databricks Csatlakozás csomagot: az új Scala-projekttel nyissa meg a Project eszközablakában (Windows Project megtekintése >>) a projektnév> célhelyen található build.sbtnevű fájlt.

15. Adja hozzá a következő kódot a build.sbt fájl végéhez, amely deklarálja a projekt függőségét a Scala Databricks Csatlakozás könyvtárának egy adott verziójától:

    libraryDependencies += "com.databricks" % "databricks-connect" % "14.3.1"
    

    Cserélje le 14.3.1 a Databricks Csatlakozás könyvtár azon verziójára, amely megfelel a fürt Databricks Runtime-verziójának. A Databricks Csatlakozás kódtár verziószámait a Maven központi adattárában találja.

16. Kattintson a Load sbt changes notification icon(sbt) ikonra a Scala-projekt új erőforrástár helyével és függőségével való frissítéséhez.

17. Várjon, amíg az sbt IDE alján lévő állapotjelző eltűnik. A sbt betöltési folyamat végrehajtása eltarthat néhány percig.

18. Kód hozzáadása: a Project eszközablakban nyissa meg a project-name> src > main > scala nevű Main.scala fájlt.

19. Cserélje le a fájl meglévő kódját a következő kódra, majd mentse a fájlt:

    package org.example.application
    
    import com.databricks.connect.DatabricksSession
    import org.apache.spark.sql.SparkSession
    
    object Main {
      def main(args: Array[String]): Unit = {
        val spark = DatabricksSession.builder().remote().getOrCreate()
        val df = spark.read.table("samples.nyctaxi.trips")
        df.limit(5).show()
      }
    }
    

20. Futtassa a kódot: indítsa el a célfürtöt a távoli Azure Databricks-munkaterületen.

21. A fürt elindítása után a főmenüben kattintson a Futtatás főmenüre>.

22. A Futtatás eszközablakban (Az eszköz windows > futtatása megtekintése>) a Fő lapon megjelenik a samples.nyctaxi.trips táblázat első 5 sora. Az összes Scala-kód helyileg fut, míg a DataFrame-műveleteket tartalmazó Összes Scala-kód a távoli Azure Databricks-munkaterület fürtjén fut, és a futtatási válaszok vissza lesznek küldve a helyi hívónak.

23. Hibakeresés a kódban: indítsa el a célfürtöt a távoli Azure Databricks-munkaterületen, ha még nem fut.

24. Az előző kódban a töréspont beállításához kattintson a mellette lévő ereszcsatornára df.limit(5).show() .

25. A fürt elindítása után a főmenüben kattintson a Fő hibakeresés futtatása > parancsra.

26. A Hibakeresés eszközablakban (Az eszköz windowsos > hibakeresésének megtekintése>) a Konzol lapon kattintson a számológép (Kifejezés kiértékelése) ikonra.

27. Adja meg a kifejezéstdf.schema, és kattintson a Kiértékelés gombra a DataFrame sémájának megjelenítéséhez.

28. A Hibakeresés eszköz ablakának oldalsávján kattintson a zöld nyílra (Program folytatása) ikonra.

29. A Konzol panelen megjelenik a samples.nyctaxi.trips táblázat első 5 sora. Az összes Scala-kód helyileg fut, míg a DataFrame-műveleteket tartalmazó Összes Scala-kód a távoli Azure Databricks-munkaterület fürtjén fut, és a futtatási válaszok vissza lesznek küldve a helyi hívónak.