Visual Studio Code için Databricks uzantısını kullanarak Databricks Connect ile not defteri hücrelerini çalıştırma ve hatalarını ayıklama

Not defterlerini, bir kerede bir hücreyi veya aynı anda tüm hücreleri çalıştırabilir ve hatalarını ayıklayabilir ve Visual Studio Code Databricks Connect tümleştirmesi için Databricks uzantısını kullanarak bunların sonuçlarını Visual Studio Code kullanıcı arabiriminde görebilirsiniz. Tüm kod yerel olarak çalıştırılırken, DataFrame işlemlerini içeren tüm kodlar uzak Azure Databricks çalışma alanında kümede çalıştırılır ve çalıştırma yanıtları yerel arayana geri gönderilir. Tüm kod yerel olarak hata ayıklanırken, Spark kodu uzaktaki Azure Databricks çalışma alanında kümede çalışmaya devam eder. Spark çekirdek motor kodu doğrudan istemciden hata ayıklanamaz.

Not

Bu özellik Databricks Runtime 13.3 ve üzeri ile çalışır.

Visual Studio Code için Databricks uzantısında not defterleri için Databricks Connect tümleştirmesini etkinleştirmek için Visual Studio Code için Databricks uzantısına Databricks Connect'i yüklemeniz gerekir. Bkz . Visual Studio Code için Databricks uzantısı için Databricks Connect kullanarak kodda hata ayıklama.

Python not defteri hücrelerini çalıştırma

Dosya adlarının uzantısı .py olan not defterleri için, Visual Studio Code IDE'de not defterini açtığınızda her hücrede Hücreyi Çalıştır, Yukarıdakileri Çalıştır ve Hücreyi Hata Ayıkla düğmeleri görüntülenir. Siz bir hücreyi çalıştırırken, sonuçları IDE'de ayrı bir sekmede gösterilir. Siz hata ayıkladıkça, hata ayıklanan hücrede Devam, Durdur ve Adım Atla düğmeleri görüntülenir. Bir hücrede hata ayıklarken, değişkenlerin durumlarını izleme, çağrı yığınını ve hata ayıklama konsolunu görüntüleme gibi Visual Studio Code hata ayıklama özelliklerini kullanabilirsiniz.

Uzantısı olan dosya adları olan .ipynb not defterleri için, not defterini Visual Studio Code IDE'de açtığınızda, not defteri ve hücreleri ek özellikler içerir. Bkz Hücreleri çalıştırma ve Not Defteri Düzenleyicisinde kod hücreleriyle çalışma.

Dosya adları .py ve .ipynb uzantılarına sahip olan not defteri biçimleri hakkında daha fazla bilgi için Databricks not defterlerini içeri ve dışarı aktarma bölümüne bakın.

Python Jupyter not defteri hücrelerini çalıştırın

Python Jupyter not defterini çalıştırmak veya hata ayıklamak için (.ipynb):

1. Projenizde, çalıştırmak veya hata ayıklamak istediğiniz Python Jupyter not defterini açın. Python dosyasının Jupyter not defteri biçiminde olduğundan ve uzantısına .ipynbsahip olduğundan emin olun.

   İpucu

   Komut Paleti'nin içinden Oluştur: Yeni Jupyter Notebook komutunu çalıştırarak >yeni bir Python Jupyter not defteri oluşturabilirsiniz.

2. Tüm hücreleri hata ayıklamadan çalıştırmak için Tüm Hücreleri Çalıştır'e tıklayın, bir ilgili hücreyi hata ayıklamadan çalıştırmak için Hücreyi Çalıştır'e tıklayın veya sınırlı hata ayıklama ile tek bir hücreyi satır satır çalıştırmak için Satır Satır Çalıştır'e tıklayın; değişken değerleri Jupyter panelinde (Görünüm > Görünümü Aç > Jupyter) görüntülenir.

   Tek bir hücrede tam hata ayıklama için kesme noktaları ayarlayın ve ardından hücrenin Çalıştır düğmesinin yanındaki menüde Hücrede Hata Ayıkla'ya tıklayın.

   Bu seçeneklerden birine tıkladıktan sonra eksik Python Jupyter not defteri paketi bağımlılıklarını yüklemeniz istenebilir. Yüklemek için tıklayın.

   Daha fazla bilgi için bkz . VS Code'da Jupyter Not Defterleri.

Not defteri genel ayarları

Aşağıdaki not defteri genel ayarları da etkinleştirilir:

• sparkörneğini temsil eden databricks.connect.DatabricksSession, uzantıdan Azure Databricks kimlik doğrulaması kimlik bilgileri alınarak DatabricksSession örneği oluşturacak şekilde önceden yapılandırılmıştır. Eğer bir defter hücresinin kodunda DatabricksSession zaten örneklendirilmişse, bunun yerine bu DatabricksSession ayarları kullanılır. Bkz. Python için Databricks Connect için kod örnekleri.

• udf, pyspark.sql.functions.udf için önceden yapılandırılmış bir diğer addır, bu da Python UDF'leri için bir diğer addır. Bkz. pyspark.sql.functions.udf.

• sql, spark.sql'in diğer adı olarak önceden yapılandırılmıştır. spark, daha önce açıklandığı gibi önceden yapılandırılmış bir örneğini databricks.connect.DatabricksSessiontemsil eder. Bkz. Spark SQL.

• dbutils, databricks-sdk'dan içeri aktarılan ve uzantıdan Azure Databricks kimlik doğrulaması kimlik bilgileri alınarak örneklenen Databricks Yardımcı Programları örneği olarak önceden yapılandırılmıştır. Bkz . Databricks Yardımcı Programlarını Kullanma.

  Not

  Databricks Connect'e sahip not defterleri için databricks Yardımcı Programlarının yalnızca bir alt kümesi desteklenir.

  'yi etkinleştirmek dbutils.widgetsiçin önce yerel geliştirme makinenizin terminalinde aşağıdaki komutu çalıştırarak Python için Databricks SDK'sını yüklemeniz gerekir:

  pip install 'databricks-sdk[notebook]'
  

• display, Jupyter yerleşik IPython.display.display için bir diğer ad olarak önceden yapılandırılmıştır. Bkz . IPython.display.display.

• displayHTML, dbruntime.display.displayHTML için önceden yapılandırılmış bir diğer addır ve bu, ipython içindeki display.HTML için bir diğer addır. Bkz. IPython.display.html.

Not defteri sihirleri

Aşağıdaki not defteri sihirbazları da etkinleştirilir:

• %fs, çağrı yapmakla dbutils.fs aynıdır. Bkz. Dilleri karıştırma.

• %sh, yerel makinede hücre sihirlerini kullanarak %%script komutunu çalıştırır. Bu, uzak Azure Databricks çalışma alanında komutunu çalıştırmaz. Bkz. Dilleri karıştırma.

• %md ve %md-sandbox hücre sihrini %%markdown çalıştırma komutunu çalıştırır. Bkz. Dilleri karıştırma.

• %sql, çalıştırır spark.sql. Bkz. Dilleri Karıştır.

• %pip, yerel makinede pip install çalıştırır. Bu, uzak Azure Databricks çalışma alanında çalışmaz pip install . Bkz. Kitaplıkları komutlarla %pip yönetme.

• %run, başka bir not defteri çalıştırır. Bkz. Not defterlerini düzenleme venot defterlerinde kodu modüler hale getirme.

  Not

  'yi etkinleştirmek %runiçin önce yerel geliştirme makinenizin terminalinde aşağıdaki komutu çalıştırarak nbformat kitaplığını yüklemeniz gerekir:

  pip install nbformat
  

Etkinleştirilen ek özellikler şunlardır:

• Spark DataFrames, Jupyter tablo biçiminde görüntülenen pandas DataFrames'e dönüştürülür.

Sınırlamalar

Visual Studio Code'da not defterlerinde hücre çalıştırma sınırlamaları şunlardır:

• Defter sihirleri %r ve %scala desteklenmez ve çağrıldığında hata görüntüler. Bkz. Dilleri karıştırma.
• Not defteri sihirli , tabloları göstergibi bazı DML komutlarını desteklemez.