Python için Databricks Connect ile Databricks Yardımcı Programları

Not

Bu makale Databricks Runtime 13.3 LTS ve üzeri için Databricks Connect'i kapsar.

Bu makalede, Python için Databricks Connect ile Databricks Utilities nasıl kullanılacağı açıklanır. Databricks Connect popüler IDE'leri, not defteri sunucularını ve özel uygulamaları Azure Databricks kümelere bağlamanızı sağlar. Bkz. Databricks Connect.

Databricks Connect'i kullanmaya başlamadan önce Databricks Connect istemcisini ayarlamanız gerekir.

Bu makalenin Scala sürümü için bkz. Databricks Connect ile Scala için Databricks Yardımcı Programları .

Kullanılabilir Databricks Yardımcı Programları

Databricks Yardımcı Programlarına erişmek için Databricks Connect'i aşağıdaki gibi kullanırsınız:

  • WorkspaceClient Databricks Yardımcı Programlarına erişmek için sınıfın dbutils değişkenini kullanın. sınıfı, Python için Databricks SDK'sına aittir ve Databricks Connect'e dahildir.
  • Databricks Yardımcı Programları dbutils.fs yardımcı programına erişmek için kullanın.
  • Databricks Yardımcı Programları dbutils.secrets yardımcı programına erişmek için kullanın.

önceki yardımcı programlar dışındaki Databricks Yardımcı Programları işlevselliği dbutilsaracılığıyla kullanılamaz.

Bahşiş / İpucu

Ayrıca, yalnızca önceki Databricks Yardımcı Programları API'lerine değil, kullanılabilir databricks REST API'lerine erişmek için Python için dahil edilen Databricks SDK'sını da kullanabilirsiniz. Bkz. databricks-sdk PyPI üzerinde.

WorkspaceClient'i başlatma

WorkspaceClientbaşlatmak için, bir Databricks SDK'sının kimliğini bir çalışma alanıyla doğrulamak amacıyla yeterli bilgiyi sağlamanız gerekir. Örneğin şunları yapabilirsiniz:

  • Çalışma alanı URL'sini ve erişim belirtecinizi doğrudan kodunuz içinde sabit kodlayın ve ardından WorkspaceClient aşağıdaki gibi başlatın. Bu seçenek desteklense de Databricks , kodunuzun sürüm denetimine iade edilmesi veya başka bir şekilde paylaşılması durumunda erişim belirteçleri gibi hassas bilgileri kullanıma sunmasından bu seçeneğin önermez:

    from databricks.sdk import WorkspaceClient

w = WorkspaceClient(host  = f"https://{retrieve_workspace_instance_name()}",
                    token = retrieve_token())

  • ve hostalanlarını içeren bir token oluşturun veya belirtin ve ardından WorkspaceClient aşağıdaki gibi başlatın:

    from databricks.sdk import WorkspaceClient

w = WorkspaceClient(profile = "<profile-name>")

  • DATABRICKS_HOST ve DATABRICKS_TOKEN ortam değişkenlerini Databricks Connect için ayarladığınız gibi ayarlayın ve ardından WorkspaceClient aşağıdaki gibi başlatın:

    from databricks.sdk import WorkspaceClient

w = WorkspaceClient()

Python için Databricks SDK'sı, Databricks Connect için SPARK_REMOTE ortam değişkenini tanımıyor.

Python için Databricks SDK'sına yönelik ek Azure Databricks kimlik doğrulama seçeneklerinin yanı sıra, kullanılabilir Databricks REST API'lerine çalışma alanı düzeyinde değil hesap düzeyinde erişmek üzere Databricks SDK'ları içinde AccountClient başlatma hakkında bilgi için bkz. PyPI üzerinde databricks-sdk.

Örnek: Bir birimde dosya oluşturma

Aşağıdaki örnekte Databricks Yardımcı Programlarını otomatikleştirmek amacıyla Python için Databricks SDK'sının nasıl kullanılacağı gösterilmektedir. Bu örnek, çalışma alanı içinde Unity Kataloğu biriminin yolunda adlı zzz_hello.txt bir dosya oluşturur, dosyadaki verileri okur ve ardından dosyayı siler. Bu örnekte, DATABRICKS_HOST ve DATABRICKS_TOKEN ortam değişkenlerinin önceden ayarlandığı varsayılır:

from databricks.sdk import WorkspaceClient

w = WorkspaceClient()

file_path = "/Volumes/main/default/my-volume/zzz_hello.txt"
file_data = "Hello, Databricks!"
fs = w.dbutils.fs

fs.put(
  file      = file_path,
  contents  = file_data,
  overwrite = True
)

print(fs.head(file_path))

fs.rm(file_path)

Ayrıca Python için Databricks SDK belgesinde dbutils ile etkileşim bölümüne bakın.

  • Last updated on