Databricks Utilities met Databricks Connect voor Python

Notitie

Dit artikel bevat informatie over Databricks Connect voor Databricks Runtime 13.3 LTS en hoger.

In dit artikel wordt beschreven hoe u Databricks Utilities gebruikt met Databricks Connect voor Python. Met Databricks Connect kunt u populaire IDE's, notebookservers en aangepaste toepassingen verbinden met Azure Databricks clusters. Zie Databricks Connect.

Voordat u Databricks Connect gaat gebruiken, moet u de Databricks Connect-client instellen.

Zie Databricks Utilities met Databricks Connect voor Scalavoor de Scala-versie van dit artikel.

Beschikbare Databricks-hulpprogramma's

U gebruikt Databricks Connect als volgt om toegang te krijgen tot Databricks Utilities:

  • Gebruik de WorkspaceClient klasse's dbutils variabele voor toegang tot Databricks Utilities. De klasse WorkspaceClient behoort tot de Databricks SDK voor Python en is opgenomen in Databricks Connect.
  • Gebruik dbutils.fs om toegang te krijgen tot het hulpprogramma Databricks Utilities fs.
  • Gebruik dbutils.secrets om toegang te krijgen tot de Databricks Utilities secrets-functionaliteit.
  • Gebruik dbutils.widgets om lokale widgets te maken en te lezen, zodat code geschreven voor de Databricks Utilities widgets utility lokaal draait. Deze widgets bestaan alleen in je lokale sessie en kunnen geen parameters van externe notebooks of jobtaakparameters ophalen. Het lezen van een widget die je niet lokaal hebt aangemaakt, genereert een KeyError, of geeft de standaardwaarde terug als je getArgument gebruikt.
  • Gebruik dbutils.jobs.taskValues om lokaal code te debuggen die is geschreven voor de Databricks Utilities jobs-utility. Taakwaarden worden niet uitgewisseld met remote job runs: set doet niets, en get geeft de waarde van zijn debugValue-argument terug, of geeft een foutmelding als je debugValue niet doorgeeft. Om taakwaarden in te stellen of op te halen voor downstream-taken, voer je code uit als een jobtaak.

Er is geen functionaliteit van Databricks Utilities, behalve de voorgaande utilities, beschikbaar via dbutils.

Aanbeveling

U kunt ook de meegeleverde Databricks SDK voor Python gebruiken voor toegang tot alle beschikbare Databricks REST API's, niet alleen de voorgaande Databricks Utilities-API's. Zie databricks-sdk op PyPI.

De WorkspaceClient intialiseren

Als u WorkspaceClientwilt initialiseren, moet u voldoende informatie opgeven om een Databricks SDK met de werkruimte te verifiëren. U kunt bijvoorbeeld het volgende doen:

  • Codeer de werkruimte-URL en het toegangstoken rechtstreeks in uw code en initialiseer WorkspaceClient als volgt. Hoewel deze optie wordt ondersteund, raadt Databricks- deze optie niet aan, omdat gevoelige informatie, zoals toegangstokens, kan worden weergegeven als uw code is ingecheckt bij versiebeheer of anderszins wordt gedeeld:

    from databricks.sdk import WorkspaceClient

w = WorkspaceClient(host  = f"https://{retrieve_workspace_instance_name()}",
                    token = retrieve_token())

  • Maak of specificeer een configuratieprofiel met de velden host en token, en initialiseer het WorkspaceClient als volgt:

    from databricks.sdk import WorkspaceClient

w = WorkspaceClient(profile = "<profile-name>")

  • Stel de omgevingsvariabelen DATABRICKS_HOST en DATABRICKS_TOKEN op dezelfde manier in als u ze instelt voor Databricks Connect en initialiseer WorkspaceClient als volgt:

    from databricks.sdk import WorkspaceClient

w = WorkspaceClient()

De Databricks SDK voor Python herkent de omgevingsvariabele SPARK_REMOTE voor Databricks Connect niet.

Zie AccountClient op PyPI voor aanvullende Azure Databricks verificatieopties voor de Databricks SDK voor Python en hoe u initialiseert voor toegang tot de beschikbare Databricks REST API's op accountniveau in plaats van op werkruimteniveau.

Voorbeeld: Een bestand maken in een volume

In het volgende voorbeeld ziet u hoe u de Databricks SDK voor Python gebruikt om Databricks Utilities te automatiseren. In dit voorbeeld wordt een bestand gemaakt met de naam zzz_hello.txt in het pad van een Unity Catalog-volume in de werkruimte, worden de gegevens uit het bestand gelezen en vervolgens het bestand verwijderd. In dit voorbeeld wordt ervan uitgegaan dat de omgevingsvariabelen DATABRICKS_HOST en DATABRICKS_TOKEN al zijn ingesteld:

from databricks.sdk import WorkspaceClient

w = WorkspaceClient()

file_path = "/Volumes/main/default/my-volume/zzz_hello.txt"
file_data = "Hello, Databricks!"
fs = w.dbutils.fs

fs.put(
  file      = file_path,
  contents  = file_data,
  overwrite = True
)

print(fs.head(file_path))

fs.rm(file_path)

Zie ook Interactie met dbutils in de Databricks SDK voor Python documentatie.

  • Laatst bijgewerkt om