Visual Studio Code için Databricks uzantısını kullanarak Databricks Connect ile not defteri hücrelerini çalıştırma ve hatalarını ayıklama

Not defterlerini, bir kerede bir hücreyi veya aynı anda tüm hücreleri çalıştırabilir ve hatalarını ayıklayabilir ve Visual Studio Code Databricks Connect tümleştirmesi için Databricks uzantısını kullanarak bunların sonuçlarını Visual Studio Code kullanıcı arabiriminde görebilirsiniz. Tüm kod yerel olarak çalıştırılırken, DataFrame işlemlerini içeren tüm kodlar uzak Azure Databricks çalışma alanında kümede çalıştırılır ve çalıştırma yanıtları yerel arayana geri gönderilir. Tüm spark kodu uzak Azure Databricks çalışma alanında kümede çalışmaya devam ederken tüm kodlarda yerel olarak hata ayıklanır. Çekirdek Spark altyapısı kodu doğrudan istemciden hata ayıklanamaz.

Not

Bu özellik Databricks Runtime 13.3 ve üzeri ile çalışır.

Visual Studio Code için Databricks uzantısında not defterleri için Databricks Connect tümleştirmesini etkinleştirmek için Visual Studio Code için Databricks uzantısına Databricks Connect'i yüklemeniz gerekir. Bkz . Visual Studio Code için Databricks uzantısı için Databricks Connect kullanarak kodda hata ayıklama.

Python not defteri hücrelerini çalıştırma

Uzantısı olan dosya adları olan .py not defterleri için, Visual Studio Code IDE'de not defterini açtığınızda her hücrede Hücreyi Çalıştır, Yukarıda Çalıştır ve Hücrede Hata Ayıkla düğmeleri görüntülenir. Siz bir hücreyi çalıştırırken, sonuçları IDE'de ayrı bir sekmede gösterilir. Siz hata ayıkladıkça, hata ayıklanan hücrede Devam Et, Durdur ve Üzerine Adımla düğmeleri görüntülenir. Bir hücrede hata ayıklarken, değişkenlerin durumlarını izleme, çağrı yığınını ve hata ayıklama konsolunu görüntüleme gibi Visual Studio Code hata ayıklama özelliklerini kullanabilirsiniz.

Uzantısı olan dosya adları olan .ipynb not defterleri için, not defterini Visual Studio Code IDE'de açtığınızda, not defteri ve hücreleri ek özellikler içerir. Bkz. Not Defteri Düzenleyicisi'nde Hücreleri çalıştırma ve Kod hücreleriyle çalışma.

Dosya adları .py ve .ipynb uzantılarına sahip olan not defteri biçimleri hakkında daha fazla bilgi için Databricks not defterlerini içeri ve dışarı aktarma bölümüne bakın.

Python Jupyter not defteri hücrelerini çalıştırma

Python Jupyter not defterini.ipynb () çalıştırmak veya hatalarını ayıklamak için:

1. Projenizde, çalıştırmak veya hata ayıklamak istediğiniz Python Jupyter not defterini açın. Python dosyasının Jupyter not defteri biçiminde olduğundan ve uzantısına .ipynbsahip olduğundan emin olun.

   İpucu

   Komut Paleti'nin içinden Oluştur: Yeni Jupyter Notebook komutunu çalıştırarak >yeni bir Python Jupyter not defteri oluşturabilirsiniz.

2. Tüm hücreleri hata ayıklamadan çalıştırmak için Tüm Hücreleri Çalıştır'e tıklayın, bir ilgili hücreyi hata ayıklamadan çalıştırmak için Hücreyi Çalıştır'e tıklayın veya sınırlı hata ayıklama ile tek bir hücreyi satır satır çalıştırmak için Satır Satır Çalıştır'e tıklayın; değişken değerleri Jupyter panelinde (Görünüm > Görünümü Aç > Jupyter) görüntülenir.

   Tek bir hücrede tam hata ayıklama için kesme noktaları ayarlayın ve ardından hücrenin Çalıştır düğmesinin yanındaki menüde Hücrede Hata Ayıkla'ya tıklayın.

   Bu seçeneklerden birine tıkladıktan sonra eksik Python Jupyter not defteri paketi bağımlılıklarını yüklemeniz istenebilir. Yüklemek için tıklayın.

   Daha fazla bilgi için bkz . VS Code'da Jupyter Not Defterleri.

Not defteri genel ayarları

Aşağıdaki not defteri genel ayarları da etkinleştirilir:

• sparkörneğini temsil eden databricks.connect.DatabricksSession, uzantıdan Azure Databricks kimlik doğrulaması kimlik bilgileri alınarak DatabricksSession örneği oluşturacak şekilde önceden yapılandırılmıştır. Eğer bir defter hücresinin kodunda DatabricksSession zaten örneklendirilmişse, bunun yerine bu DatabricksSession ayarları kullanılır. Bkz. Python için Databricks Connect için kod örnekleri.

• udf, python UDF'leri için bir diğer ad olan için pyspark.sql.functions.udfönceden yapılandırılmıştır. Bkz. pyspark.sql.functions.udf.

• sql, için spark.sqldiğer ad olarak önceden yapılandırılmıştır. spark, daha önce açıklandığı gibi önceden yapılandırılmış bir örneğini databricks.connect.DatabricksSessiontemsil eder. Bkz. Spark SQL.

• dbutils, databricks-sdk'dan içeri aktarılan ve uzantıdan Azure Databricks kimlik doğrulaması kimlik bilgileri alınarak örneklenen Databricks Yardımcı Programları örneği olarak önceden yapılandırılmıştır. Bkz . Databricks Yardımcı Programlarını Kullanma.

  Not

  Databricks Connect'e sahip not defterleri için databricks Yardımcı Programlarının yalnızca bir alt kümesi desteklenir.

  'yi etkinleştirmek dbutils.widgetsiçin önce yerel geliştirme makinenizin terminalinde aşağıdaki komutu çalıştırarak Python için Databricks SDK'sını yüklemeniz gerekir:

  pip install 'databricks-sdk[notebook]'
  

• display, jupyter builtin IPython.display.displayiçin bir diğer ad olarak önceden yapılandırılmıştır. Bkz . IPython.display.display.

• displayHTML, için bir diğer ad dbruntime.display.displayHTMLolarak önceden yapılandırılmıştır. Bu, için display.HTMLbir diğer addıripython. Bkz. IPython.display.html.

Not defteri sihirleri

Aşağıdaki not defteri sihirbazları da etkinleştirilir:

• %fs, arama yapmakla dbutils.fs aynıdır. Bkz. Dilleri karıştırma.

• %sh, yerel makinedeki hücre büyüsünü %%script kullanarak bir komut çalıştırır. Bu, uzak Azure Databricks çalışma alanında komutunu çalıştırmaz. Bkz. Dilleri karıştırma.

• %md ve %md-sandboxhücre sihrini %%markdownçalıştırır. Bkz. Dilleri karıştırma.

• %sql, öğesini çalıştırır spark.sql. Bkz. Dilleri karıştırma.

• %pip, yerel makinede çalışır pip install . Bu, uzak Azure Databricks çalışma alanında çalışmaz pip install . Bkz. Kitaplıkları komutlarla %pip yönetme.

• %run, başka bir not defteri çalıştırır. Bkz. Not defterlerini düzenleme venot defterlerinde kodu modüler hale getirme.

  Not

  'yi etkinleştirmek %runiçin önce yerel geliştirme makinenizin terminalinde aşağıdaki komutu çalıştırarak nbformat kitaplığını yüklemeniz gerekir:

  pip install nbformat
  

Etkinleştirilen ek özellikler şunlardır:

• Spark DataFrames, Jupyter tablo biçiminde görüntülenen pandas DataFrames'e dönüştürülür.

Sınırlamalar

Visual Studio Code'da not defterlerinde hücre çalıştırma sınırlamaları şunlardır:

• Not defterleri %r sihirlidir ve %scala desteklenmez ve çağrılırsa bir hata görüntüler. Bkz. Dilleri karıştırma.
• Not defteri sihirli , tabloları göstergibi bazı DML komutlarını desteklemez.