Databricks-tabellen lezen van Delta-clients

Deze pagina biedt een overzicht van het gebruik van de Unity REST API voor toegang tot beheerde en externe tabellen van externe Delta-clients van Unity Catalog. Zie Externe Delta-tabellen maken vanuit externe clients voor instructies over hoe u externe Delta-tabellen kunt maken vanuit externe clients.

Gebruik de Iceberg REST-catalogus om geregistreerde Unity Catalog-tabellen op Azure Databricks te lezen van ondersteunde Iceberg-clients, waaronder Apache Spark en DuckDB.

Zie Unity Catalog-integraties voor een volledige lijst met ondersteunde integraties.

Tip

Zie Microsoft Fabric gebruiken om gegevens te lezen die zijn geregistreerd in Unity Catalogvoor meer informatie over het lezen van Azure Databricks-gegevens met behulp van Microsoft Fabric.

Lezen en schrijven met behulp van de Unity REST API

De Unity REST API biedt externe clients leestoegang tot tabellen die zijn geregistreerd bij Unity Catalog. Sommige clients ondersteunen ook het maken van tabellen en het schrijven naar bestaande tabellen.

Toegang configureren met behulp van het eindpunt /api/2.1/unity-catalog.

Requirements

Azure Databricks biedt ondersteuning voor Unity REST API-toegang tot tabellen als onderdeel van Unity Catalog. U moet Unity Catalog in uw werkruimte hebben ingeschakeld om deze eindpunten te kunnen gebruiken. De volgende tabeltypen komen in aanmerking voor leesbewerkingen van de Unity REST API:

• Unity Catalog beheerde tabellen.
• Externe tabellen van Unity Catalog.

U moet de volgende configuratiestappen uitvoeren om de toegang te configureren voor het lezen van Databricks-objecten van Delta-clients met behulp van de Unity REST API:

• Schakel externe gegevenstoegang in voor uw metastore. Zie Externe gegevenstoegang inschakelen in de metastore.
• Geef de principal die de integratie configureert de EXTERNAL USE SCHEMA bevoegdheid op het schema dat de objecten bevat. Zie Unity Catalog-rechten aan een principal verlenen.
• Verifieer met behulp van een persoonlijk databricks-toegangstoken. Zie Toegang tot Azure Databricks-resources autoriseren.

Delta-tabellen lezen met Apache Spark

De volgende configuratie is vereist voor het lezen van beheerde en externe Delta-tabellen van Unity Catalog met Apache Spark:

"spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension",
"spark.sql.catalog.spark_catalog": "io.unitycatalog.spark.UCSingleCatalog",
"spark.sql.catalog.<uc-catalog-name>": "io.unitycatalog.spark.UCSingleCatalog",
"spark.sql.catalog.<uc-catalog-name>.uri": "<workspace-url>/api/2.1/unity-catalog",
"spark.sql.catalog.<uc-catalog-name>.token": "<token>",
"spark.sql.defaultCatalog": "<uc-catalog-name>",
"spark.jars.packages": "io.delta:delta-spark_2.12:3.2.1,io.unitycatalog:unitycatalog-spark_2.12:0.2.0,org.apache.hadoop:hadoop-azure:3.3.6"

Vervang de volgende variabelen:

• <uc-catalog-name>: de naam van de catalogus in Unity Catalog die uw tabellen bevat.
• <workspace-url>: URL van de Azure Databricks-werkruimte.
• <token>: PAT-token voor de principal die de integratie configureert.

Opmerking

De hierboven weergegeven pakketversies zijn actueel vanaf de laatste update van deze pagina. Nieuwere versies zijn mogelijk beschikbaar. Controleer of pakketversies compatibel zijn met uw Databricks Runtime-versie en Spark-versie.

Zie de DOCUMENTATIE van Unity Catalog OSS voor meer informatie over het configureren van Apache Spark voor cloudobjectopslag.