Aracılığıyla paylaş

Scala için Databricks Bağlan ile IntelliJ IDEA kullanma

  • Makale

Not

Bu makalede Databricks Runtime 13.3 LTS ve üzeri için Databricks Bağlan yer alır.

Bu makalede Scala eklentisiyle Scala ve IntelliJ IDEA için Databricks Bağlan'nin nasıl kullanılacağı anlatılmaya devam eder. Databricks Bağlan popüler IDE'leri, not defteri sunucularını ve diğer özel uygulamaları Azure Databricks kümelerine bağlamanızı sağlar. Bkz. Databricks Bağlan nedir?.

Not

Databricks Bağlan kullanmaya başlamadan önce Databricks Bağlan istemcisini ayarlamanız gerekir.

Örnek bir Scala projesi oluşturmak, çalıştırmak ve hatalarını ayıklamak için Databricks Bağlan ve IntelliJ IDEA'yı Scala sbt eklentisiyle birlikte kullanmak için bu yönergeleri izleyin. Bu yönergeler IntelliJ IDEA Community Edition 2023.3.6 ile test edilmiştir. IntelliJ IDEA'nın farklı bir sürümünü veya sürümünü kullanıyorsanız aşağıdaki yönergeler farklılık gösterebilir.

  1. Java Geliştirme Seti'nin (JDK) yerel olarak yüklendiğinden emin olun. Databricks, yerel JDK sürümünüzün Azure Databricks kümenizdeki JDK sürümüyle eşleşmesini önerir.

  2. IntelliJ IDEA’yı başlatın.

  3. Yeni Proje Dosyala'ya >> tıklayın.

  4. Projenize anlamlı bir Ad verin.

  5. Konum için klasör simgesine tıklayın ve yeni Scala projenizin yolunu belirtmek için ekrandaki yönergeleri tamamlayın.

  6. Dil için Scala'ya tıklayın.

  7. Derleme sistemi için sbt'ye tıklayın.

  8. JDK açılan listesinde, geliştirme makinenizde JDK'nin kümenizdeki JDK sürümüyle eşleşen mevcut bir yüklemesini seçin veya JDK'yi İndir'i seçin ve kümenizdeki JDK sürümüyle eşleşen bir JDK indirmek için ekrandaki yönergeleri izleyin.

    Not

    Kümenizdeki JDK sürümünün üzerinde veya altında bir JDK yüklemesi seçmek beklenmeyen sonuçlara neden olabilir veya kodunuz hiç çalışmayabilir.

  9. sbt açılan listesinde en son sürümü seçin.

  10. Scala açılan listesinde, kümenizdeki Scala sürümüyle eşleşen Scala sürümünü seçin.

    Not

    Kümenizdeki Scala sürümünün altında veya üstünde bir Scala sürümü seçmek beklenmeyen sonuçlara neden olabilir veya kodunuz hiç çalışmayabilir.

  11. Paket ön eki için projenizin kaynakları için paket ön eki değeri girin, örneğinorg.example.application.

  12. Örnek kod ekle kutusunun işaretli olduğundan emin olun.

  13. Oluştur’a tıklayın.

  14. Databricks Bağlan paketini ekleyin: Yeni Scala projeniz açıkken, Proje araç pencerenizde (Araç Windows > Projesini Görüntüle>) adlı build.sbtdosyayı proje adı> hedefinde açın.

  15. Projenizin Scala için Databricks Bağlan kitaplığının belirli bir sürümüne bağımlılığını bildiren dosyanın sonuna build.sbt aşağıdaki kodu ekleyin:

    libraryDependencies += "com.databricks" % "databricks-connect" % "14.3.1"

    değerini, kümenizdeki Databricks Runtime sürümüyle eşleşen Databricks Bağlan kitaplığının sürümüyle değiştirin14.3.1. Databricks Bağlan kitaplığı sürüm numaralarını Maven merkezi deposunda bulabilirsiniz.

  16. Scala projenizi yeni kitaplık konumu ve bağımlılığıyla güncelleştirmek için Sbt değişikliklerini yükle bildirim simgesine tıklayın.

  17. IDE'nin sbt altındaki ilerleme göstergesi kaybolana kadar bekleyin. Yükleme işleminin sbt tamamlanması birkaç dakika sürebilir.

  18. Kod ekleyin: Proje aracı pencerenizde, adlı Main.scaladosyayı proje-adı> src > ana > scala'da açın.

  19. Dosyadaki mevcut tüm kodları aşağıdaki kodla değiştirin ve dosyayı kaydedin:

    package org.example.application

import com.databricks.connect.DatabricksSession
import org.apache.spark.sql.SparkSession

object Main {
  def main(args: Array[String]): Unit = {
    val spark = DatabricksSession.builder().remote().getOrCreate()
    val df = spark.read.table("samples.nyctaxi.trips")
    df.limit(5).show()
  }
}

  20. Kodu çalıştırın: Uzak Azure Databricks çalışma alanınızda hedef kümeyi başlatın.

  21. Küme başlatıldıktan sonra, ana menüde Çalıştır 'Ana' çalıştır'a > tıklayın.

  22. Çalıştır aracı penceresinde (Görünüm > Aracı Windows > Çalıştırması), Ana sekmesinde tablonun ilk 5 satırı samples.nyctaxi.trips görüntülenir. Tüm Scala kodu yerel olarak çalıştırılırken, DataFrame işlemlerini içeren tüm Scala kodu uzak Azure Databricks çalışma alanında kümede çalıştırılır ve yanıtları çalıştırma yerel çağırana geri gönderilir.

  23. Kodda hata ayıklama: Henüz çalışmıyorsa uzak Azure Databricks çalışma alanınızda hedef kümeyi başlatın.

  24. Önceki kodda, kesme noktası ayarlamak için yanındaki df.limit(5).show() oluk simgesine tıklayın.

  25. Küme başlatıldıktan sonra, ana menüde 'Ana' Hata Ayıklamayı Çalıştır'a > tıklayın.

  26. Hata Ayıklama aracı penceresinde (Görünüm > Aracı Windows > Hata Ayıklama), Konsol sekmesinde hesap makinesi (İfadeyi Değerlendir) simgesine tıklayın.

  27. İfadeyi df.schema girin ve DataFrame şemasını göstermek için Değerlendir'e tıklayın.

  28. Hata ayıklama aracı penceresinin kenar çubuğunda yeşil ok (Programı Sürdür) simgesine tıklayın.

  29. Konsol bölmesinde tablonun ilk 5 satırı samples.nyctaxi.trips görüntülenir. Tüm Scala kodu yerel olarak çalıştırılırken, DataFrame işlemlerini içeren tüm Scala kodu uzak Azure Databricks çalışma alanında kümede çalıştırılır ve yanıtları çalıştırma yerel çağırana geri gönderilir.