Eğitim: Python'u bir küme üzerinde ve Databricks IDE uzantısı kullanarak iş olarak çalıştırın

Bu eğitim, Databricks IDE uzantısını kurmayı ve ardından Python'u Azure Databricks kümesinde ve uzak çalışma alanında Azure Databricks işi olarak çalıştırmayı gösterir. Databricks IDE uzantısı sayfasına bakınız.

Gereksinimler

Bu öğretici şunları gerektirir:

• Databricks IDE uzantısını yüklediniz. Databricks IDE uzantısını Yükle bkz.
• Kullanmak üzere bir uzak Azure Databricks kümeniz var. Kümenin adını not edin. Kullanılabilir kümelerinizi görüntülemek için, Azure Databricks çalışma alanı kenar çubuğunda Compute öğesine tıklayın. Bkz. İşlem.

1. Adım: Yeni bir Databricks projesi oluşturma

Bu adımda yeni bir Databricks projesi oluşturacak ve uzak Azure Databricks çalışma alanınızla bağlantıyı yapılandıracaksınız.

1. Visual Studio Code başlatın, ardından File > Klasör Aç öğesine tıklayın ve yerel geliştirme makinenizde boş bir klasör açın.
2. Kenar çubuğunda Databricks logo simgesine tıklayın. Bu, Databricks uzantısını açar.
3. Yapılandırma görünümünde, Yapılandırma oluştur'a tıklayın.
4. Databricks çalışma alanınızı yapılandırmak için Komut Paleti açılır. Databricks Ana Bilgisayarıiçin, çalışma alanı başına URL'nizigirin veya seçin, örneğin .
5. Proje için bir kimlik doğrulama profili seçin. Databricks IDE uzantısı için yetkilendirme kur bkz.

2. Adım: Databricks uzantısına küme bilgileri ekleme ve kümeyi başlatma

1. Yapılandırma görünümü zaten açıkken, 'Küme seçin' seçeneğine tıklayın veya dişliye (Kümeyi yapılandır) simgesine tıklayın.

   

2. Komut Paletiiçinde, daha önce oluşturduğunuz kümenin adını seçin.

3. Henüz başlatılmadıysa oynat simgesine (Kümeyi Başlat) tıklayın.

3. Adım: Python kodu oluşturma ve çalıştırma

1. Yerel Python kod dosyası oluşturun: Kenar çubuğunda klasör (Explorer) simgesine tıklayın.

2. Ana menüde File > Yeni Dosya'e tıklayın ve Python bir dosya seçin. Dosyayı demo.py adlandırın ve projenin köküne kaydedin.

3. Aşağıdaki kodu dosyaya ekleyin ve kaydedin. Bu kod temel bir PySpark DataFrame'in içeriğini oluşturur ve görüntüler:

   from pyspark.sql import SparkSession
   from pyspark.sql.types import *
   
   spark = SparkSession.builder.getOrCreate()
   
   schema = StructType([
      StructField('CustomerID', IntegerType(), False),
      StructField('FirstName',  StringType(),  False),
      StructField('LastName',   StringType(),  False)
   ])
   
   data = [
      [ 1000, 'Mathijs', 'Oosterhout-Rijntjes' ],
      [ 1001, 'Joost',   'van Brunswijk' ],
      [ 1002, 'Stan',    'Bokenkamp' ]
   ]
   
   customers = spark.createDataFrame(data, schema)
   customers.show()
   

   # +----------+---------+-------------------+
   # |CustomerID|FirstName|           LastName|
   # +----------+---------+-------------------+
   # |      1000|  Mathijs|Oosterhout-Rijntjes|
   # |      1001|    Joost|      van Brunswijk|
   # |      1002|     Stan|          Bokenkamp|
   # +----------+---------+-------------------+
   

4. Düzenleyici sekmeleri listesinin yanındaki Databricks'te Çalıştır simgesine tıklayın, ardından Dosyayı Karşıya Yükle ve Çalıştırseçeneğine tıklayın. Çıkış, Hata Ayıklama Konsolu görünümünde görüntülenir.

   

   Alternatif olarak, Gezgin görünümünde dosyaya demo.py sağ tıklayın ve ardından Databricks'te Çalıştır seçeneğine tıklayın, >Dosyayı Yükle ve Çalıştır.

   

4. Adım: Kodu iş olarak çalıştırma

demo.py'ı bir iş olarak çalıştırmak için, düzenleyici sekmeleri listesinin yanındaki Databricks'te Çalıştır simgesine tıklayın ve ardından Dosyayı İş Akışı Olarak Çalıştırseçeneğine tıklayın. Çıktı, dosya düzenleyicisinin demo.py yanında ayrı bir düzenleyici sekmesinde görüntülenir.

Alternatif olarak, Gezgini panelinde dosyasına sağ tıklayın, sonra Databricks'te Çalıştır ve ardındanDosyayı İş Akışı Olarak Çalıştır seçeneklerini seçin.

Sonraki adımlar

Artık Databricks IDE uzantısını yerel bir Python dosyası yükleyip uzaktan çalıştırmak için başarıyla kullandığınıza göre, ayrıca şunları da yapabilirsiniz:

• Uzantı kullanıcı arabirimini kullanarak Bildirim temelli Otomasyon Paketleri kaynaklarını ve değişkenlerini keşfedin. Bundle ve Explorer özelliklerine bakınız.
• Databricks Connect ile Python kodu çalıştırın veya hatalarını ayıklayın. Databricks IDE uzantısı için Databricks Connect kullanarak hata ayıklama koduna bakınız.
• Bir dosyayı veya not defterini Azure Databricks işi olarak çalıştırın. Bkz. Bir dosyayı kümede çalıştır veya dosya ya da notebook olarak Azure Databricks'te Databricks IDE uzantısı kullanılarak iş olarak çalıştır.
• ile pytesttestleri çalıştırın. Databricks IDE uzantısı kullanarak Python testlerini çalıştır bölümüne bakınız.