Python için Databricks Bağlan ile Databricks Yardımcı Programları

Makale
03/01/2024

Dekont

Bu makalede Databricks Runtime 13.0 ve üzeri için Databricks Bağlan yer alır.

Bu makalede, Databricks Utilities'in Python için Databricks Bağlan ile nasıl kullanılacağı açıklanmaktadır. Databricks Bağlan popüler IDE'leri, not defteri sunucularını ve özel uygulamaları Azure Databricks kümelerine bağlamanızı sağlar. Bkz. Databricks Bağlan nedir?. Bu makalenin Scala sürümü için bkz. Scala için Databricks Bağlan ile Databricks Yardımcı Programları.

Dekont

Databricks Bağlan kullanmaya başlamadan önce Databricks Bağlan istemcisini ayarlamanız gerekir.

Databricks Yardımcı Programları'na erişmek için Databricks Bağlan aşağıdaki gibi kullanırsınız:

WorkspaceClient Databricks Yardımcı Programlarına erişmek için sınıfın dbutils değişkenini kullanın. sınıfı Python WorkspaceClient için Databricks SDK'sına aittir ve Databricks Bağlan'a dahildir.
Databricks Utilities fs yardımcı programı'na erişmek için kullanındbutils.fs.
Databricks Utilities gizli dizileri yardımcı programı'na erişmek için kullanındbutils.secrets.
önceki yardımcı programlar dışındaki Databricks Yardımcı Programları işlevselliği aracılığıyla dbutilskullanılamaz.

Bahşiş

Ayrıca python için databricks SDK'sını kullanarak yalnızca önceki Databricks Yardımcı Programları API'lerine değil kullanılabilir databricks REST API'lerine de erişebilirsiniz. Bkz. PyPI üzerinde databricks-sdk .

uygulamasını başlatmak WorkspaceClientiçin databricks SDK'sının kimliğini çalışma alanıyla doğrulamak için yeterli bilgi sağlamanız gerekir. Örneğin, aşağıdakileri yapabilirsiniz:

Çalışma alanı URL'sini ve erişim belirtecinizi doğrudan kodunuzun içinde sabit kodlayın ve ardından aşağıdaki gibi başlatın WorkspaceClient . Bu seçenek desteklense de Databricks , kodunuzun sürüm denetimine iade edilmesi veya başka bir şekilde paylaşılması durumunda erişim belirteçleri gibi hassas bilgileri kullanıma sunmasından bu seçeneği önermez :
```
from databricks.sdk import WorkspaceClient

w = WorkspaceClient(host  = f"https://{retrieve_workspace_instance_name()}",
                    token = retrieve_token())
```
ve alanlarını içeren bir yapılandırma profili oluşturun veya belirtin ve ardından aşağıdaki gibi başlatınWorkspaceClient:hosttoken
```
from databricks.sdk import WorkspaceClient

w = WorkspaceClient(profile = "<profile-name>")
```
Ortam değişkenlerini databricks DATABRICKS_HOSTDATABRICKS_TOKEN Bağlan için ayarladığınız gibi ayarlayın ve aşağıdaki gibi başlatınWorkspaceClient:
```
from databricks.sdk import WorkspaceClient

w = WorkspaceClient()
```

Python için Databricks SDK'sı SPARK_REMOTE Databricks Bağlan ortam değişkenini tanımıyor.

Python için Databricks SDK'sı için ek Azure Databricks kimlik doğrulama seçeneklerinin yanı sıra kullanılabilir Databricks REST API'lerine çalışma alanı düzeyinde değil hesap düzeyinde erişmek üzere Databricks SDK'ları içinde başlatma AccountClient için bkz . PyPI üzerinde databricks-sdk .

Aşağıdaki örnekte, Databricks Yardımcı Programlarını otomatikleştirmek için Python için Databricks SDK'sının nasıl kullanılacağı gösterilmektedir. Bu örnek, çalışma alanı içinde Unity Kataloğu biriminin yolunda adlı zzz_hello.txt bir dosya oluşturur, dosyadaki verileri okur ve ardından dosyayı siler. Bu örnekte, ortam değişkenlerinin DATABRICKS_HOST ve DATABRICKS_TOKEN önceden ayarlanmış olduğu varsayılır:

from databricks.sdk import WorkspaceClient

w = WorkspaceClient()

file_path = "/Volumes/main/default/my-volume/zzz_hello.txt"
file_data = "Hello, Databricks!"
fs = w.dbutils.fs

fs.put(
  file      = file_path,
  contents  = file_data,
  overwrite = True
)

print(fs.head(file_path))

fs.rm(file_path)

Ayrıca Bkz. Python için Databricks SDK belgelerinde dbutils ile etkileşim.

Aracılığıyla paylaş

Python için Databricks Bağlan ile Databricks Yardımcı Programları

Ek kaynaklar