Delen via

De Databricks-connector gebruiken om verbinding te maken met een andere Databricks-werkruimte

  • Artikel

Dit artikel bevat syntaxisvoorbeelden van het gebruik van de Databricks-connector om verbinding te maken met een andere Databricks-werkruimte. Deze connector maakt gebruik van het Databricks JDBC-stuurprogramma, dat is opgenomen in Databricks Runtime 13.3 LTS en hoger.

Belangrijk

Voor de meeste bewerkingen voor het delen van gegevens raadt Databricks Delta Sharing aan. Zie Gegevens en AI-assets veilig delen met Delta Sharing. U kunt ook de voorkeur geven aan Lakehouse Federation voor het beheren van query's op gegevens in andere Databricks-werkruimten. Zie Wat is Lakehouse Federation.

Verbinding maken naar een andere Databricks-werkruimte

Met de Databricks Spark-connector kunt u verbinding maken met rekenresources die zijn geconfigureerd in een andere Databricks-werkruimte en resultaten retourneren naar uw huidige Azure Databricks-werkruimte. U moet toegang hebben tot actieve berekeningen in beide werkruimten om query's te laten slagen.

Het JDBC-stuurprogramma is geregistreerd voor jdbc:databricks:// URL's. U moet een persoonlijk toegangstoken configureren en gebruiken waarmee u machtigingen verleent voor de werkruimtebronnen die extern worden geopend. Zie de tokenbeheer-API.

Notitie

Als u een Databricks JDBC-bibliotheek hebt gekoppeld aan uw cluster, wordt de bibliotheekversie die aan uw cluster is gekoppeld, gebruikt in plaats van de versie die is opgenomen in Databricks Runtime.

Gegevens lezen uit een andere Databricks-werkruimte

U kunt de indeling databricks opgeven voor het gebruik van de Databricks Spark-connector wanneer u gegevens leest, zoals in het volgende voorbeeld:

df = (spark.read
  .format("databricks")
  .option("host", "adb-<workspace-id>.<random-number>.azuredatabricks.net")
  .option("httpPath", "/sql/1.0/warehouses/<warehouse-id>")
  .option("personalAccessToken", "<auth-token>")
  .option("dbtable", "<table-name>")
  .load()
)

Een externe tabel maken voor een andere Databricks-werkruimte

U kunt een externe tabel registreren in een Azure Databricks-werkruimte die is gekoppeld aan een afzonderlijke Databricks-werkruimte.

In het volgende voorbeeld ziet u deze syntaxis met behulp van de secret functie om referenties op te halen die zijn opgeslagen met Databricks-geheimen:

Notitie

Zie de geheime functie voor meer informatie over Databricks-geheimen.

CREATE TABLE databricks_external_table
USING databricks
OPTIONS (
  host 'adb-<workspace-id>.<random-number>.azuredatabricks.net',
  httpPath '/sql/1.0/warehouses/<warehouse-id>',
  personalAccessToken secret('<scope>', '<token>'),
  dbtable '<table-name>'
);