Sdílet prostřednictvím

Použití IntelliJ IDEA s Připojení Databricks pro Scala

  • Článek

Poznámka:

Tento článek se zabývá Připojení Databricks pro Databricks Runtime 13.3 LTS a vyšší.

Tento článek popisuje, jak používat Databricks Připojení pro Scala a IntelliJ IDEA s modulem plug-in Scala. Databricks Připojení umožňuje připojení oblíbených prostředí IDEs, serverů poznámkových bloků a dalších vlastních aplikací ke clusterům Azure Databricks. Podívejte se, co je Databricks Připojení?.

Poznámka:

Než začnete používat databricks Připojení, musíte nastavit klienta Připojení Databricks.

Pokud chcete použít Databricks Připojení a IntelliJ IDEA s modulem plug-in Scala k vytvoření, spuštění a ladění ukázkového projektu Scalasbt, postupujte podle těchto pokynů. Tyto pokyny byly testovány v IntelliJ IDEA Community Edition 2023.3.6. Pokud používáte jinou verzi nebo edici IntelliJ IDEA, můžou se následující pokyny lišit.

  1. Ujistěte se, že je sada Java Development Kit (JDK) nainstalovaná místně. Databricks doporučuje, aby vaše místní verze sady JDK odpovídala verzi sady JDK ve vašem clusteru Azure Databricks.

  2. Spusťte IntelliJ IDEA.

  3. Klikněte na Soubor > nový > projekt.

  4. Dejte projektu nějaký smysluplný název.

  5. V části Umístění klikněte na ikonu složky a podle pokynů na obrazovce zadejte cestu k novému projektu Scala.

  6. V případě jazyka klikněte na Scala.

  7. V případě systému sestavení klikněte na tlačítko sbt.

  8. V rozevíracím seznamu JDK vyberte existující instalaci sady JDK na vývojovém počítači, která odpovídá verzi sady JDK v clusteru, nebo vyberte Stáhnout sadu JDK a podle pokynů na obrazovce stáhněte sadu JDK, která odpovídá verzi sady JDK ve vašem clusteru.

    Poznámka:

    Volba instalace sady JDK, která je vyšší nebo nižší než verze sady JDK ve vašem clusteru, může způsobit neočekávané výsledky nebo se váš kód nemusí vůbec spustit.

  9. V rozevíracím seznamu sbt vyberte nejnovější verzi.

  10. V rozevíracím seznamu Scala vyberte verzi Scala, která odpovídá verzi Scala ve vašem clusteru.

    Poznámka:

    Volba verze Scala, která je nižší nebo vyšší než verze Scala ve vašem clusteru, může způsobit neočekávané výsledky nebo se váš kód nemusí vůbec spustit.

  11. Jako předponu balíčku zadejte hodnotu předpony balíčku pro zdroje projektu, například org.example.application.

  12. Ujistěte se, že je zaškrtnuté políčko Přidat vzorový kód .

  13. Klikněte na Vytvořit.

  14. Přidejte balíček Připojení Databricks: s otevřeným novým projektem Scala v okně nástroje Projektu (zobrazit > projekt Windows Tool) >otevřete soubor s názvem build.sbtv cíli názvu> projektu.

  15. Na konec build.sbt souboru přidejte následující kód, který deklaruje závislost projektu na konkrétní verzi knihovny Připojení Databricks pro Scala:

    libraryDependencies += "com.databricks" % "databricks-connect" % "14.3.1"

    Nahraďte 14.3.1 verzí knihovny Připojení Databricks, která odpovídá verzi Databricks Runtime ve vašem clusteru. Čísla verzí knihovny Databricks Připojení najdete v centrálním úložišti Maven.

  16. Kliknutím na tlačítko Načíst sbt změní ikonu oznámení a aktualizujte projekt Scala novým umístěním knihovny a závislostí.

  17. Počkejte, až sbt indikátor průběhu v dolní části integrovaného vývojového prostředí zmizí. Dokončení sbt procesu načítání může trvat několik minut.

  18. Přidejte kód: v okně nástroje Project otevřete soubor s názvem Main.scala, v názvu projektu> src > main > scala.

  19. Nahraďte veškerý existující kód v souboru následujícím kódem a pak soubor uložte:

    package org.example.application

import com.databricks.connect.DatabricksSession
import org.apache.spark.sql.SparkSession

object Main {
  def main(args: Array[String]): Unit = {
    val spark = DatabricksSession.builder().remote().getOrCreate()
    val df = spark.read.table("samples.nyctaxi.trips")
    df.limit(5).show()
  }
}

  20. Spusťte kód: Spusťte cílový cluster ve vzdáleném pracovním prostoru Azure Databricks.

  21. Po spuštění clusteru v hlavní nabídce klikněte na Spustit > "Main".

  22. V okně nástroje Spustit (Zobrazit > nástroj Windows > Spustit) se na kartě Hlavní zobrazí prvních 5 řádků samples.nyctaxi.trips tabulky. Veškerý kód Scala běží místně, zatímco veškerý kód Scala zahrnující operace datového rámce běží v clusteru ve vzdáleném pracovním prostoru Azure Databricks a odpovědi na spuštění se odešlou zpět místnímu volajícímu.

  23. Ladění kódu: Spusťte cílový cluster ve vzdáleném pracovním prostoru Azure Databricks, pokud ještě není spuštěný.

  24. V předchozím kódu klikněte na hřbet vedle df.limit(5).show() a nastavte zarážku.

  25. Po spuštění clusteru v hlavní nabídce klikněte na Spustit ladění > Main.

  26. V okně nástroje Ladění (Zobrazit > nástroj Windows > Ladění) na kartě Konzola klikněte na ikonu kalkulačky (Vyhodnocení výrazu).

  27. Zadejte výraz df.schema a kliknutím na Vyhodnotit zobrazte schéma datového rámce.

  28. Na bočním panelu okna nástroje Ladění klikněte na zelenou šipku (Resume Program).

  29. V podokně Konzola se zobrazí prvních 5 řádků samples.nyctaxi.trips tabulky. Veškerý kód Scala běží místně, zatímco veškerý kód Scala zahrnující operace datového rámce běží v clusteru ve vzdáleném pracovním prostoru Azure Databricks a odpovědi na spuštění se odešlou zpět místnímu volajícímu.