Aracılığıyla paylaş

Öğretici: Klasik işlemde PyCharm'dan kod çalıştırma

Uyarı

Bu makale Databricks Runtime 13.3 LTS ve üzeri için Databricks Connect için geçerlidir.

Databricks Connect, PyCharm, not defteri sunucuları ve diğer özel uygulamalar gibi popüler IDE'leri Azure Databricks işlemlerine bağlamanızı sağlar. Bkz. Databricks Connect nedir?.

Bu makalede, PyCharmkullanarak Python için Databricks Connect'i kullanmaya hızlı bir şekilde başlama adımları gösterilmektedir. PyCharm'da bir proje oluşturacak, Databricks Runtime 13.3 LTS ve üzeri için Databricks Connect'i yükleyecek ve PyCharm'dan Databricks çalışma alanınızda klasik işlem üzerinde basit kod çalıştıracaksınız.

Gereksinimler

Bu öğreticiyi tamamlamak için aşağıdaki gereksinimleri karşılamanız gerekir:

  • Çalışma alanınız, yerel ortamınız ve işleminiz Python için Databricks Connect gereksinimlerini karşılar. Bkz. Databricks Connect kullanım gereksinimleri.
  • PyCharm yüklü. Bu öğretici PyCharm Community Edition 2023.3.5 ile test edilmiştir. PyCharm'ın farklı bir sürümünü veya sürümünü kullanıyorsanız aşağıdaki yönergeler farklılık gösterebilir.
  • Klasik işlem kullanıyorsanız kümenin kimliği gerekir. Küme kimliğinizi almak için çalışma alanınızda kenar çubuğunda İşlem'e tıklayın ve ardından kümenizin adına tıklayın. Web tarayıcınızın adres çubuğunda, URL'deki clusters ve configuration arasındaki karakter dizesini kopyalayın.

1. Adım: Azure Databricks kimlik doğrulamayı yapılandırma

Bu öğreticide, Azure Databricks çalışma alanınıza kimlik doğrulamak için Azure Databricks OAuth kullanıcıdan makineye (U2M) kimlik doğrulaması ve bir Azure Databricks yapılandırma profili kullanılır. Farklı bir kimlik doğrulama türü kullanmak için bkz . Bağlantı özelliklerini yapılandırma.

OAuth U2M kimlik doğrulamasını yapılandırmak için Databricks CLI gerekir. Databricks CLI'yı yükleme hakkında bilgi için bkz . Databricks CLI'yi yükleme veya güncelleştirme.

Aşağıdaki gibi OAuth U2M kimlik doğrulamasını başlatın:

  1. Her hedef çalışma alanı için aşağıdaki komutu çalıştırarak yerel olarak OAuth belirteci yönetimini başlatmak için Databricks CLI'sini kullanın.

    Aşağıdaki komutta, <workspace-url> öğesini Azure Databricks çalışma alanı başı URL'nizle değiştirin, örneğin https://adb-1234567890123456.7.azuredatabricks.net.

    databricks auth login --configure-cluster --host <workspace-url>

    Tip

    Databricks Connect ile sunucusuz işlem kullanmak için bkz Sunucusuz işlem için bağlantı yapılandırma.

  2. Databricks CLI, Azure Databricks yapılandırma profili olarak girdiğiniz bilgileri kaydetmenizi ister. Önerilen profil adını kabul etmek için basın Enter veya yeni veya mevcut bir profilin adını girin. Aynı ada sahip herhangi bir mevcut profil, girdiğiniz bilgilerle üzerine yazılır. Birden çok çalışma alanında kimlik doğrulama bağlamınızı hızla değiştirmek için profilleri kullanabilirsiniz.

    Mevcut profillerin listesini almak için, ayrı bir terminalde veya komut isteminde Databricks CLI'yı kullanarak komutunu databricks auth profilesçalıştırın. Belirli bir profilin mevcut ayarlarını görüntülemek için komutunu databricks auth env --profile <profile-name>çalıştırın.

  3. Web tarayıcınızda, Azure Databricks çalışma alanınızda oturum açmak için ekrandaki yönergeleri tamamlayın.

  4. Terminalinizde veya komut isteminizde görüntülenen kullanılabilir kümeler listesinde, çalışma alanınızdaki hedef Azure Databricks kümesini seçmek için yukarı ve aşağı ok tuşlarınızı kullanın ve ardından Entertuşuna basın. Kullanılabilir kümelerin listesini filtrelemek için kümenin görünen adının herhangi bir bölümünü de yazabilirsiniz.

  5. Profilin geçerli OAuth belirteci değerini ve belirtecin yaklaşan süre sonu zaman damgasını görüntülemek için aşağıdaki komutlardan birini çalıştırın:

    • databricks auth token --host <workspace-url>
    • databricks auth token -p <profile-name>
    • databricks auth token --host <workspace-url> -p <profile-name>

    Aynı --host değere sahip birden çok profiliniz varsa Databricks CLI'sının --host doğru eşleşen OAuth belirteci bilgilerini bulmasına yardımcı olmak için ve -p seçeneklerini birlikte belirtmeniz gerekebilir.

2. Adım: Projeyi oluşturma

  1. PyCharm'ı başlatın.
  2. Ana menüde Dosya > Yeni Proje'ye tıklayın.
  3. Yeni Proje iletişim kutusunda Saf Python'a tıklayın.
  4. Konum için klasör simgesine tıklayın ve yeni Python projenizin yolunu belirtmek için ekrandaki yönergeleri tamamlayın.
  5. Bir main.py karşılama betiği oluştur'u seçili bırakın.
  6. Yorumlayıcı türü için Project venv'ye tıklayın.
  7. Python sürümünü genişletin ve yukarıdaki gereksinimlerden Python yorumlayıcısının yolunu belirtmek için klasör simgesini veya açılan listeyi kullanın.
  8. Oluştur'utıklayın.

PyCharm projesini oluşturma

3. Adım: Databricks Connect paketini ekleme

  1. PyCharm'ın ana menüsünde Görünüm > Aracı Windows > Python Paketleri'ne tıklayın.
  2. Arama kutusuna databricks-connect yazın.
  3. PyPI deposu listesinde databricks-connect'e tıklayın.
  4. Sonuç bölmesinin en son açılan listesinde, kümenizin Databricks Runtime sürümüyle eşleşen sürümü seçin. Örneğin, kümenizde Databricks Runtime 14.3 yüklüyse 14.3.1'i seçin.
  5. Paketi yükle'ye tıklayın.
  6. Paket yüklendikten sonra Python Paketleri penceresini kapatabilirsiniz.

Databricks Connect paketini yükleme

4. Adım: Kod ekleme

  1. Proje aracı penceresinde, projenin kök klasörüne sağ tıklayın ve Yeni > Python Dosyası'na tıklayın.

  2. main.py girin ve Python dosyasına çift tıklayın.

  3. Dosyaya aşağıdaki kodu girin ve yapılandırma profilinizin adına bağlı olarak dosyayı kaydedin.

    1. Adımdaki yapılandırma profilinizin adı DEFAULTise, dosyaya aşağıdaki kodu girin ve dosyayı kaydedin:

    from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.getOrCreate()

df = spark.read.table("samples.nyctaxi.trips")
df.show(5)

    1. Adımdaki yapılandırma profiliniz olarak adlandırılmıyorsa DEFAULT, bunun yerine dosyaya aşağıdaki kodu girin. Yer tutucuyu <profile-name> 1. Adımdaki yapılandırma profilinizin adıyla değiştirin ve dosyayı kaydedin:

    from databricks.connect import DatabricksSession

spark = DatabricksSession.builder.profile("<profile-name>").getOrCreate()

df = spark.read.table("samples.nyctaxi.trips")
df.show(5)

5. Adım: Kodu çalıştırma

  1. Hedef kümeyi uzak Azure Databricks çalışma alanınızda başlatın.
  2. Küme başlatıldıktan sonra, ana menüde 'main'i çalıştır'a > tıklayın.
  3. Çalıştır aracı penceresinde (Görünüm > Araç Pencereleri > Çalıştır), Çalıştır sekmesinin ana bölmesinde ilk 5 satır samples.nyctaxi.trips görünür.

6. Adım: Kodda hata ayıklama

  1. Küme çalışmaya devam ediyorken, önceki kodda bir kesme noktası ayarlamak için yanındaki oluk simgesine df.show(5) tıklayın.
  2. Ana menüde'main' Hata Ayıklamasını Çalıştır'a >tıklayın.
  3. Hata Ayıklama aracı penceresinde (Görünüm > Aracı Windows > Hata Ayıklama), Hata Ayıklayıcı sekmesinin Değişkenler bölmesinde df ve spark değişken düğümlerini genişleterek kodun df ve spark değişkenlerin bilgilerine göz atın.
  4. Hata ayıklama aracı penceresinin kenar çubuğunda yeşil ok (Programı Sürdür) simgesine tıklayın.
  5. Hata Ayıklayıcı sekmesinin Konsol bölmesinde, ilk 5 satırı samples.nyctaxi.trips görüntülenir.

PyCharm projesinde hata ayıklama

  • Last updated on