A Databricks segédprogramok és a Databricks Connect Pythonhoz

Jegyzet

Ez a cikk a Databricks Runtime 13.3 LTS-hez készült Databricks Connectet ismerteti.

Ez a cikk a Databricks Utilities és a Databricks Connect for Python használatát ismerteti. A Databricks Connect lehetővé teszi az integrált fejlesztőkörnyezetek, notebook szerverek és egyéni alkalmazások csatlakoztatását az Azure Databricks fürtökhöz. Lásd : Databricks Connect.

Mielőtt megkezdené a Databricks Connect használatát, be kell állítania a Databricks Connect kliens-t.

A cikk Scala-verziójáról a Databricks Utilities és a Databricks Connect for Scalacímű cikkben olvashat.

Elérhető Databricks segédprogramok

A Databricks Connect használatával az alábbiak szerint érheti el a Databricks segédprogramokat:

• Használja az WorkspaceClient osztály változóját dbutils a Databricks Utilities eléréséhez. A WorkspaceClient osztály a Databricks SDK Python és a Databricks Connect része.
• Használja a dbutils.fs a Databricks Utilities fs segédprogram eléréséhez.
• A dbutils.secrets használatával elérheti a Databricks Utilities titkos kulcsokat segédprogramot.

Csak az előzőleg említett segédprogramok érhetők el a dbutils-n keresztül. Az egyéb Databricks segédprogramok nem elérhetők.

Borravaló

A mellékelt Databricks SDK-val Python bármely elérhető Databricks REST API-hoz hozzáférhet, nem csak az előző Databricks Utilities API-khoz. Lásd databricks-sdk a PyPI-n.

A WorkspaceClient intializálása

A WorkspaceClientinicializálásához elegendő információt kell megadnia a Databricks SDK munkaterülethez való azonosításához. Például a következőt teheti:

• A munkaterület URL-címét és a hozzáférési jogkivonatot közvetlenül a kódban építse be, majd inicializálja a(z) WorkspaceClient-t az alábbi módon. Bár ez a beállítás támogatott, a Databricks nem javasolja ezt a beállítást, mivel bizalmas információkat, például hozzáférési jogkivonatokat tehet közzé, ha a kód be van jelölve a verziókövetésbe vagy más módon meg van osztva:

  from databricks.sdk import WorkspaceClient
  
  w = WorkspaceClient(host  = f"https://{retrieve_workspace_instance_name()}",
                      token = retrieve_token())
  

• Hozzon létre vagy adjon meg egy konfigurációs profilt, amely tartalmazza a host és tokenmezőket, majd inicializálja a WorkspaceClient az alábbiak szerint:

  from databricks.sdk import WorkspaceClient
  
  w = WorkspaceClient(profile = "<profile-name>")
  

• Állítsa be a környezeti változókat DATABRICKS_HOST és DATABRICKS_TOKEN ugyanúgy, mint a Databricks Connect esetében, majd inicializálja a WorkspaceClient az alábbiak szerint:

  from databricks.sdk import WorkspaceClient
  
  w = WorkspaceClient()
  

A Databricks SDK for Python nem ismeri fel a Databricks Connect SPARK_REMOTE környezeti változóját.

A Python számára készült Databricks SDK további Azure Databricks hitelesítési lehetőségeiről, valamint arról, hogyan lehet inicializálni a AccountClient-t a Databricks SDK-kban, hogy a fiók szintjén férhessen hozzá az elérhető Databricks REST API-khoz a munkaterületi szint helyett, tekintse meg a databricks-sdk a PyPI-n.

Példa: Fájl létrehozása kötetben

Az alábbi példa bemutatja, hogyan használhatja a Databricks SDK-t Python a Databricks Utilities automatizálásához. Ez a példa létrehoz egy Unity Catalog-kötet munkaterületen belüli elérési útján elnevezett zzz_hello.txt fájlt, beolvassa az adatokat a fájlból, majd törli a fájlt. Ez a példa feltételezi, hogy a környezeti változók DATABRICKS_HOST és DATABRICKS_TOKEN már be vannak állítva:

from databricks.sdk import WorkspaceClient

w = WorkspaceClient()

file_path = "/Volumes/main/default/my-volume/zzz_hello.txt"
file_data = "Hello, Databricks!"
fs = w.dbutils.fs

fs.put(
  file      = file_path,
  contents  = file_data,
  overwrite = True
)

print(fs.head(file_path))

fs.rm(file_path)

Lásd még Interaction with dbutils a Databricks SDK-ban Python dokumentációjában.