Scala için Databricks Bağlan ile Visual Studio Code kullanma

Not

Bu makalede Databricks Runtime 13.3 LTS ve üzeri için Databricks Bağlan yer alır.

Bu makalede Visual Studio Code ile Scala için Databricks Bağlan'nin nasıl kullanılacağı açıklanır. Databricks Bağlan popüler IDE'leri, not defteri sunucularını ve diğer özel uygulamaları Azure Databricks kümelerine bağlamanızı sağlar. Bkz. Databricks Bağlan nedir?. Bu makalenin Python sürümü için bkz. Python için Databricks Bağlan ile Visual Studio Code kullanma.

Not

Databricks Bağlan kullanmaya başlamadan önce Databricks Bağlan istemcisini ayarlamanız gerekir.

Örnek bir Scala projesi oluşturmak, çalıştırmak ve hatalarını ayıklamak için Databricks Bağlan ve Visual Studio Code'u Scala sbt (Metals) uzantısıyla birlikte kullanmak için bu yönergeleri izleyin. Bu örneği mevcut Scala projelerinize de uyarlayabilirsiniz.

1. Java Geliştirme Seti (JDK) ve Scala'nın yerel olarak yüklendiğinden emin olun. Databricks, yerel JDK ve Scala sürümünüzün Azure Databricks kümenizdeki JDK ve Scala sürümüyle eşleşmesini önerir.

2. En son sürümünün yerel olarak yüklendiğinden sbt emin olun.

3. Visual Studio Code için Scala (Metals) uzantısını yükleyin.

4. Visual Studio Code'da Scala projenizi oluşturmak istediğiniz klasörü açın (Dosya > Aç Klasörü).

5. Kenar çubuğunda Metals uzantısı simgesine ve ardından Yeni Scala projesi'ne tıklayın.

6. Komut Paleti'nde scala/hello-world.g8 adlı şablonu seçin ve belirtilen klasörde Scala projesi oluşturmayı tamamlamak için ekrandaki yönergeleri tamamlayın.

7. Proje derleme ayarları ekleme: Gezgin görünümünde (Görünüm > Gezgini), projenin kökünden dosyayı açın build.sbt , dosyanın içeriğini aşağıdakilerle değiştirin ve dosyayı kaydedin:

   scalaVersion := "2.12.15"
   
   libraryDependencies += "com.databricks" % "databricks-connect" % "14.0.0"
   

   öğesini, kümenizdeki Databricks Runtime sürümüne dahil edilen sürümle eşleşmesi gereken yüklü Scala sürümünüzle değiştirin 2.12.15 .

   değerini, kümenizdeki Databricks Runtime sürümüyle eşleşen Databricks Bağlan kitaplığının sürümüyle değiştirin14.0.0. Databricks Bağlan kitaplığı sürüm numaralarını Maven merkezi deposunda bulabilirsiniz.

8. Scala kodu ekleme: Projenin köküne göre dosyayı açın src/main/scala/Main.scala , dosyanın içeriğini aşağıdakilerle değiştirin ve dosyayı kaydedin:

   import com.databricks.connect.DatabricksSession
   import org.apache.spark.sql.SparkSession
   
   object Main extends App {
     val spark = DatabricksSession.builder().remote().getOrCreate()
     val df = spark.read.table("samples.nyctaxi.trips")
     df.limit(5).show()
   }
   

9. Projeyi derleme: Metals: Derlemeyi Komut Paleti'nden içeri aktarma komutunu >çalıştırın.

10. Proje çalıştırma ayarlarını ekleme: Çalıştır ve Hata Ayıkla görünümünde (Çalıştırmayı Görüntüle>), launch.json dosyası oluştur etiketli bağlantıya tıklayın.

11. Komut Paleti'nde Scala Hata Ayıklayıcısı'nı seçin.

12. Aşağıdaki çalıştırma yapılandırmasını dosyaya launch.json ekleyin ve dosyayı kaydedin:

    {
      // Use IntelliSense to learn about possible attributes.
      // Hover to view descriptions of existing attributes.
      // For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387
      "version": "0.2.0",
      "configurations": [
        {
          "type": "scala",
          "request": "launch",
          "name": "Scala: Run main class",
          "mainClass": "Main",
          "args": [],
          "jvmOptions": []
        }
      ]
    }
    

13. Projeyi çalıştırma: Scala: Ana sınıfı çalıştır'ın yanındaki yürüt (Hata Ayıklamayı Başlat) simgesine tıklayın. Hata Ayıklama Konsolu görünümünde (Hata Ayıklama Konsolunu Görüntüle>), tablonun ilk 5 satırı samples.nyctaxi.trips görüntülenir. Tüm Scala kodu yerel olarak çalıştırılırken, DataFrame işlemlerini içeren tüm Scala kodu uzak Azure Databricks çalışma alanında kümede çalıştırılır ve yanıtları çalıştırma yerel çağırana geri gönderilir.

14. Projede hata ayıklama: Kodunuzda kesme noktaları ayarlayın ve ardından oynat simgesine yeniden tıklayın. Tüm Scala kodu yerel olarak hata ayıklanırken, tüm Scala kodu uzak Azure Databricks çalışma alanında kümede çalışmaya devam eder. Çekirdek Spark altyapısı kodu doğrudan istemciden hata ayıklanamaz.