Utiliser le connecteur Databricks pour se connecter à un autre espace de travail Databricks

Cet article fournit des exemples de syntaxe d’utilisation du connecteur Databricks pour se connecter à un autre espace de travail Databricks. Ce connecteur tire parti du pilote JDBC Databricks, inclus dans Databricks Runtime 13.3 LTS et versions ultérieures.

Important

Pour la plupart des opérations de partage de données, Databricks recommande OpenSharing. Voir Qu’est-ce qu’OpenSharing ?. Vous pouvez également préférer Lakehouse Federation pour la gestion des requêtes sur les données dans d’autres espaces de travail Databricks. Consultez Se connecter aux bases de données externes et aux catalogues.

Connexion à un autre espace de travail Databricks

Le connecteur Databricks Spark vous permet de vous connecter aux ressources de calcul configurées dans un autre espace de travail Databricks et de retourner les résultats à votre espace de travail Azure Databricks actuel. Vous devez avoir accès au calcul actif sur les deux espaces de travail pour que les requêtes réussissent.

Le pilote JDBC est inscrit pour les URL jdbc:databricks://. Vous devez configurer et utiliser un jeton d’accès personnel qui vous accorde des autorisations sur les ressources de l’espace de travail accessibles à distance. Consultez l’API de gestion des jetons.

Remarque

Si vous disposez d’une bibliothèque JDBC Databricks attachée à votre cluster, la version de la bibliothèque attachée à votre cluster est utilisée au lieu de la version incluse dans Databricks Runtime.

Lire des données à partir d’un autre espace de travail Databricks

Vous pouvez spécifier le format databricks pour utiliser le connecteur Databricks Spark lorsque vous lisez des données, comme dans l’exemple suivant :

df = (spark.read
  .format("databricks")
  .option("host", "adb-<workspace-id>.<random-number>.azuredatabricks.net")
  .option("httpPath", "/sql/1.0/warehouses/<warehouse-id>")
  .option("personalAccessToken", "<auth-token>")
  .option("dbtable", "<table-name>")
  .load()
)

Créer une table externe sur un autre espace de travail Databricks

Vous pouvez inscrire une table externe dans un espace de travail Azure Databricks lié à un espace de travail Databricks distinct.

L’exemple suivant illustre cette syntaxe, à l’aide de la secret fonction pour obtenir les informations d’identification stockées avec les secrets Databricks :

Remarque

Pour plus d’informations sur les secrets de Databricks, consultez secret la fonction.

CREATE TABLE databricks_external_table
USING databricks
OPTIONS (
  host 'adb-<workspace-id>.<random-number>.azuredatabricks.net',
  httpPath '/sql/1.0/warehouses/<warehouse-id>',
  personalAccessToken secret('<scope>', '<token>'),
  dbtable '<table-name>'
);