Eğitim: Klasik hesaplama üzerinde PyCharm'dan kod çalıştırma

Uyarı

Bu makale Databricks Runtime 13.3 LTS ve üzeri için Databricks Connect için geçerlidir.

Databricks Connect, PyCharm, not defteri sunucuları ve diğer özel uygulamalar gibi popüler IDE'leri Azure Databricks işlem için bağlamanızı sağlar. Bkz. Databricks Connect.

Bu makalede, PyCharm kullanarak Python için Databricks Connect'i hızlı bir şekilde kullanmaya başlama adımları gösterilmektedir. PyCharm'da bir proje oluşturacak, Databricks Runtime 13.3 LTS ve üzeri için Databricks Connect'i yükleyecek ve PyCharm'dan Databricks çalışma alanınızda klasik işlem üzerinde basit kod çalıştıracaksınız.

Gereksinimler

Bu öğreticiyi tamamlamak için aşağıdaki gereksinimleri karşılamanız gerekir:

  • Çalışma alanınız, yerel ortamınız ve işlem Python için Databricks Connect gereksinimlerini karşılar. Bkz. Databricks Connect kullanım gereksinimleri.
  • PyCharm yüklü. Bu öğretici PyCharm Community Edition 2023.3.5 ile test edilmiştir. PyCharm'ın farklı bir sürümünü veya sürümünü kullanıyorsanız aşağıdaki yönergeler farklılık gösterebilir.
  • Klasik işlem kullanıyorsanız kümenin kimliği gerekir. Küme kimliğinizi almak için çalışma alanınızda kenar çubuğunda İşlem'e tıklayın ve ardından kümenizin adına tıklayın. Web tarayıcınızın adres çubuğunda, URL'deki clusters ve configuration arasındaki karakter dizesini kopyalayın.

1. Adım: Azure Databricks kimlik doğrulamayı yapılandırma

Bu öğreticide Azure Databricks çalışma alanınızda kimlik doğrulaması için Azure Databricks OAuth kullanıcıdan makineye (U2M) kimlik doğrulaması ve Azure Databricks configuration profile kullanılır. Farklı bir kimlik doğrulama türü kullanmak için bkz . Bağlantı özelliklerini yapılandırma.

OAuth U2M kimlik doğrulamasını yapılandırmak için Databricks CLI gerekir. Databricks CLI'yı yükleme hakkında bilgi için bkz . Databricks CLI'yi yükleme veya güncelleştirme.

Aşağıdaki gibi OAuth U2M kimlik doğrulamasını başlatın:

  1. Her hedef çalışma alanı için aşağıdaki komutu çalıştırarak yerel olarak OAuth belirteci yönetimini başlatmak için Databricks CLI'sini kullanın.

    Aşağıdaki komutta, <workspace-url> yerine Azure Databricks per-workspace URL yazın, örneğin https://adb-1234567890123456.7.azuredatabricks.net.

    databricks auth login --configure-cluster --host <workspace-url>

    Tip

    Databricks Connect ile sunucusuz işlem kullanmak için bkz Sunucusuz işlem için bağlantı yapılandırma.

  2. Databricks CLI, Azure Databricks configuration profile olarak girdiğiniz bilgileri kaydetmenizi ister. Önerilen profil adını kabul etmek için basın Enter veya yeni veya mevcut bir profilin adını girin. Aynı ada sahip herhangi bir mevcut profil, girdiğiniz bilgilerle üzerine yazılır. Birden çok çalışma alanında kimlik doğrulama bağlamınızı hızla değiştirmek için profilleri kullanabilirsiniz.

    Mevcut profillerin listesini almak için, ayrı bir terminalde veya komut isteminde Databricks CLI'yı kullanarak komutunu databricks auth profilesçalıştırın. Belirli bir profilin mevcut ayarlarını görüntülemek için komutunu databricks auth env --profile <profile-name>çalıştırın.

  3. Web tarayıcınızda, Azure Databricks çalışma alanınızda oturum açmak için ekrandaki yönergeleri tamamlayın.

  4. Terminalinizde veya komut isteminizde görüntülenen kullanılabilir kümeler listesinde, çalışma alanınızdaki hedef Azure Databricks kümesini seçmek için yukarı ok ve aşağı ok tuşlarınızı kullanın ve Enter tuşuna basın. Kullanılabilir kümelerin listesini filtrelemek için kümenin görünen adının herhangi bir bölümünü de yazabilirsiniz.

  5. Profilin geçerli OAuth belirteci değerini ve belirtecin yaklaşan süre sonu zaman damgasını görüntülemek için aşağıdaki komutlardan birini çalıştırın:

    • databricks auth token --host <workspace-url>
    • databricks auth token -p <profile-name>
    • databricks auth token --host <workspace-url> -p <profile-name>

    Aynı --host değere sahip birden çok profiliniz varsa Databricks CLI'sının --host doğru eşleşen OAuth belirteci bilgilerini bulmasına yardımcı olmak için ve -p seçeneklerini birlikte belirtmeniz gerekebilir.

2. Adım: Projeyi oluşturma

  1. PyCharm'ı başlatın.
  2. Ana menüde Dosya > Yeni Proje'ye tıklayın.
  3. Yeni Project iletişim kutusunda Pure Python öğesine tıklayın.
  4. Location için klasör simgesine tıklayın ve yeni Python projenizin yolunu belirtmek için ekrandaki yönergeleri tamamlayın.
  5. Bir main.py karşılama betiği oluştur'u seçili bırakın.
  6. Interpreter type için Project venv öğesine tıklayın.
  7. Python version genişletin ve yukarıdaki gereksinimlerden Python yorumlayıcının yolunu belirtmek için klasör simgesini veya açılan listeyi kullanın.
  8. Oluştur'utıklayın.

PyCharm projesini oluşturma

3. Adım: Databricks Connect paketini ekleme

  1. PyCharm ana menüsünde View > Tool Windows > Python Packages öğesine tıklayın.
  2. Arama kutusuna databricks-connect yazın.
  3. PyPI deposu listesinde databricks-connect'e tıklayın.
  4. Sonuç bölmesinin en son açılan listesinde, kümenizin Databricks Runtime sürümüyle eşleşen sürümü seçin. Örneğin, kümenizde Databricks Runtime 14.3 yüklüyse 14.3.1'i seçin.
  5. Paketi yükle'ye tıklayın.
  6. Paket yüklendikten sonra Python Packages penceresini kapatabilirsiniz.

Databricks Connect paketini yükleme

4. Adım: Kod ekleme

  1. Project araç penceresinde, project kök klasörüne sağ tıklayın ve Yeni > Python Dosyası öğesine tıklayın.

  2. main.py girin ve Python dosyasına çift tıklayın.

  3. Dosyaya aşağıdaki kodu girin ve yapılandırma profilinizin adına bağlı olarak dosyayı kaydedin.

    1. Adımdaki yapılandırma profilinizin adı DEFAULTise, dosyaya aşağıdaki kodu girin ve dosyayı kaydedin:

    from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.getOrCreate()

df = spark.read.table("samples.nyctaxi.trips")
df.show(5)

    1. Adımdaki yapılandırma profiliniz olarak adlandırılmıyorsa DEFAULT, bunun yerine dosyaya aşağıdaki kodu girin. Yer tutucuyu <profile-name> 1. Adımdaki yapılandırma profilinizin adıyla değiştirin ve dosyayı kaydedin:

    from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.profile("<profile-name>").getOrCreate()

df = spark.read.table("samples.nyctaxi.trips")
df.show(5)

5. Adım: Kodu çalıştırma

  1. Uzak Azure Databricks çalışma alanınızda hedef kümeyi başlatın.
  2. Küme başlatıldıktan sonra, ana menüde 'main'i çalıştır'a > tıklayın.
  3. Run araç penceresinde (View > Aracı Windows > Çalıştır), Run sekmesinin main bölmesinde samples.nyctaxi.trips ilk 5 satırı görüntülenir.

6. Adım: Kodda hata ayıklama

  1. Küme çalışmaya devam ediyorken, önceki kodda bir kesme noktası ayarlamak için yanındaki oluk simgesine df.show(5) tıklayın.
  2. Ana menüde'main' Hata Ayıklamasını Çalıştır'a >tıklayın.
  3. Debug araç penceresinde (View > Tool Windows > Debug), Debugger sekmesinin Variables bölmesinde, kodun ve değişkenleri hakkında bilgiye göz atmak için df ve spark değişken düğümlerini genişletin.
  4. Hata ayıklama aracı penceresinin kenar çubuğunda yeşil ok (Programı Sürdür) simgesine tıklayın.
  5. Hata Ayıklayıcı sekmesinin Konsol bölmesinde, ilk 5 satırı samples.nyctaxi.trips görüntülenir.

PyCharm projesinde hata ayıklama

  • Last updated on