Usare il connettore Databricks per connettersi a un'altra area di lavoro di Databricks

Questo articolo fornisce esempi di sintassi sull'uso del connettore Databricks per connettersi a un'altra area di lavoro di Databricks. Questo connettore sfrutta il driver JDBC di Databricks, incluso in Databricks Runtime 13.3 LTS e versioni successive.

Importante

Per la maggior parte delle operazioni di condivisione dei dati, Databricks consiglia Delta Sharing. Si veda Che cos'è Delta Sharing?. È anche possibile preferire Lakehouse Federation per la gestione delle query sui dati in altre aree di lavoro di Databricks. Vedere Che cos'è Lakehouse Federation?.

Connessione a un'altra area di lavoro di Databricks

Il connettore Databricks Spark consente di connettersi alle risorse di calcolo configurate in un'altra area di lavoro di Databricks e restituire i risultati all'area di lavoro corrente di Azure Databricks. È necessario avere accesso alle risorse di calcolo attive in entrambe le aree di lavoro affinché le query abbiano esito positivo.

Il driver JDBC è registrato per jdbc:databricks:// URL. È necessario configurare e usare un token di accesso personale che concede le autorizzazioni per le risorse dell'area di lavoro a cui si accede in remoto. Vedere l'API di gestione dei token.

Annotazioni

Se al cluster è collegata una libreria JDBC di Databricks, la versione della libreria collegata al cluster viene usata invece della versione inclusa in Databricks Runtime.

Leggere i dati da un'altra area di lavoro di Databricks

È possibile specificare il formato databricks per usare il connettore Databricks Spark durante la lettura dei dati, come nell'esempio seguente:

df = (spark.read
  .format("databricks")
  .option("host", "adb-<workspace-id>.<random-number>.azuredatabricks.net")
  .option("httpPath", "/sql/1.0/warehouses/<warehouse-id>")
  .option("personalAccessToken", "<auth-token>")
  .option("dbtable", "<table-name>")
  .load()
)

Creare una tabella esterna in un'altra area di lavoro di Databricks

È possibile registrare una tabella esterna in un'area di lavoro di Azure Databricks collegata a un'area di lavoro databricks separata.

L'esempio seguente illustra questa sintassi, usando la secret funzione per ottenere le credenziali archiviate con i segreti di Databricks:

Annotazioni

Per altre informazioni sui segreti di Databricks, vedere secret funzione.

CREATE TABLE databricks_external_table
USING databricks
OPTIONS (
  host 'adb-<workspace-id>.<random-number>.azuredatabricks.net',
  httpPath '/sql/1.0/warehouses/<warehouse-id>',
  personalAccessToken secret('<scope>', '<token>'),
  dbtable '<table-name>'
);