Python için Databricks Connect ile Databricks Yardımcı Programları

Not

Bu makale Databricks Runtime 13.3 LTS ve üzeri için Databricks Connect'i kapsar.

Bu makalede, Python için Databricks Connect ile Databricks Yardımcı Programları'nın nasıl kullanılacağı açıklanmaktadır. Databricks Connect popüler IDE'leri, not defteri sunucularını ve özel uygulamaları Azure Databricks kümelerine bağlamanızı sağlar. Bkz. Databricks Connect nedir?. Bu makalenin Scala sürümü için bkz. Databricks Connect ile Scala için Databricks Yardımcı Programları .

Not

Databricks Connect'i kullanmaya başlamadan önce Databricks Connect istemcisini ayarlamanız gerekir.

Databricks Yardımcı Programlarına erişmek için Databricks Connect'i aşağıdaki gibi kullanırsınız:

• WorkspaceClient Databricks Yardımcı Programlarına erişmek için sınıfın dbutils değişkenini kullanın. sınıfı Python için Databricks SDK'sına aittir ve Databricks Connect'e dahildir.
• Databricks Yardımcı Programları dbutils.fs yardımcı programına erişmek için kullanın.
• Databricks Yardımcı Programları dbutils.secrets yardımcı programına erişmek için kullanın.
• önceki yardımcı programlar dışındaki Databricks Yardımcı Programları işlevselliği dbutilsaracılığıyla kullanılamaz.

Bahşiş / İpucu

Ayrıca python için databricks SDK'sını kullanarak yalnızca önceki Databricks Yardımcı Programları API'lerine değil kullanılabilir databricks REST API'lerine de erişebilirsiniz. Bkz. databricks-sdk PyPI üzerinde.

WorkspaceClientbaşlatmak için, bir Databricks SDK'sının kimliğini bir çalışma alanıyla doğrulamak amacıyla yeterli bilgiyi sağlamanız gerekir. Örneğin şunları yapabilirsiniz:

• Çalışma alanı URL'sini ve erişim belirtecinizi doğrudan kodunuz içinde sabit kodlayın ve ardından WorkspaceClient aşağıdaki gibi başlatın. Bu seçenek desteklense de Databricks , kodunuzun sürüm denetimine iade edilmesi veya başka bir şekilde paylaşılması durumunda erişim belirteçleri gibi hassas bilgileri kullanıma sunmasından bu seçeneğin önermez:

  from databricks.sdk import WorkspaceClient
  
  w = WorkspaceClient(host  = f"https://{retrieve_workspace_instance_name()}",
                      token = retrieve_token())
  

• ve hostalanlarını içeren bir token oluşturun veya belirtin ve ardından WorkspaceClient aşağıdaki gibi başlatın:

  from databricks.sdk import WorkspaceClient
  
  w = WorkspaceClient(profile = "<profile-name>")
  

• DATABRICKS_HOST ve DATABRICKS_TOKEN ortam değişkenlerini Databricks Connect için ayarladığınız gibi ayarlayın ve ardından WorkspaceClient aşağıdaki gibi başlatın:

  from databricks.sdk import WorkspaceClient
  
  w = WorkspaceClient()
  

Python için Databricks SDK'sı Databricks Connect için SPARK_REMOTE ortam değişkenini tanımıyor.

Python için Databricks SDK'sı ile ilgili ek Azure Databricks kimlik doğrulama seçeneklerini ve hesap düzeyinde kullanılabilir Databricks REST API'lerine erişim sağlamak amacıyla Databricks SDK'larında AccountClient'ın nasıl başlatılacağını öğrenmek için PyPI üzerinde databricks-sdk sayfasına bakınız.

Aşağıdaki örnekte, Databricks Yardımcı Programlarını otomatikleştirmek için Python için Databricks SDK'sının nasıl kullanılacağı gösterilmektedir. Bu örnek, çalışma alanı içinde Unity Kataloğu biriminin yolunda adlı zzz_hello.txt bir dosya oluşturur, dosyadaki verileri okur ve ardından dosyayı siler. Bu örnekte, DATABRICKS_HOST ve DATABRICKS_TOKEN ortam değişkenlerinin önceden ayarlandığı varsayılır:

from databricks.sdk import WorkspaceClient

w = WorkspaceClient()

file_path = "/Volumes/main/default/my-volume/zzz_hello.txt"
file_data = "Hello, Databricks!"
fs = w.dbutils.fs

fs.put(
  file      = file_path,
  contents  = file_data,
  overwrite = True
)

print(fs.head(file_path))

fs.rm(file_path)

Ayrıca Python için Databricks SDK belgelerinde dbutils ile etkileşim bölümüne bakın.