Ler tabelas do Databricks a partir de clientes Delta

Esta página fornece uma visão geral do uso da API REST Unity para acessar tabelas gerenciadas e externas do Unity Catalog a partir de clientes Delta externos. Para criar tabelas Delta externas a partir de clientes externos, consulte Criar tabelas Delta externas a partir de clientes externos.

Use o catálogo REST do Iceberg para ler tabelas registradas no Unity Catalog no Azure Databricks de clientes Iceberg suportados, incluindo Apache Spark e DuckDB.

Para obter uma lista completa das integrações suportadas, consulte Integrações do Catálogo Unity.

Dica

Para obter informações sobre como ler dados do Azure Databricks usando o Microsoft Fabric, consulte Usar o Microsoft Fabric para ler dados registrados no Unity Catalog.

Ler e gravar usando a API REST Unity

A API REST Unity fornece aos clientes externos acesso de leitura às tabelas registradas no Unity Catalog. Alguns clientes também suportam a criação de tabelas e a escrita em tabelas existentes.

Configure o acesso usando o ponto de extremidade /api/2.1/unity-catalog.

Requerimentos

O Azure Databricks dá suporte ao acesso da API REST Unity a tabelas como parte do Catálogo Unity. Você deve ter o Unity Catalog habilitado em seu espaço de trabalho para usar esses endpoints. Os seguintes tipos de tabela são elegíveis para leituras da API REST Unity:

• Tabelas gerenciadas do Unity Catalog.
• Tabelas externas do Unity Catalog.

Você deve concluir as seguintes etapas de configuração para configurar o acesso para ler objetos Databricks de clientes Delta usando a API REST Unity:

• Ative o acesso a dados externos para o seu metastore. Consulte Ativar o acesso a dados externos no metastore.
• Conceda ao principal que está a configurar a integração o EXTERNAL USE SCHEMA privilégio no esquema que contém os objetos. Ver Conceder privilégios a uma entidade no Catálogo Unity.
• Autentique-se usando um token de acesso pessoal Databricks. Consulte Autorizar o acesso aos recursos do Azure Databricks.

Leia tabelas Delta com o Apache Spark

A seguinte configuração é necessária para ler tabelas Delta geridas pelo Unity Catalog e externas com Apache Spark:

"spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension",
"spark.sql.catalog.spark_catalog": "io.unitycatalog.spark.UCSingleCatalog",
"spark.sql.catalog.<uc-catalog-name>": "io.unitycatalog.spark.UCSingleCatalog",
"spark.sql.catalog.<uc-catalog-name>.uri": "<workspace-url>/api/2.1/unity-catalog",
"spark.sql.catalog.<uc-catalog-name>.token": "<token>",
"spark.sql.defaultCatalog": "<uc-catalog-name>",
"spark.jars.packages": "io.delta:delta-spark_2.12:3.2.1,io.unitycatalog:unitycatalog-spark_2.12:0.2.0,org.apache.hadoop:hadoop-azure:3.3.6"

Substitua as seguintes variáveis:

• <uc-catalog-name>: O nome do catálogo no Unity Catalog que contém suas tabelas.
• <workspace-url>: URL do espaço de trabalho do Azure Databricks.
• <token>: Token PAT para o principal que configura a integração.

Observação

As versões dos pacotes apresentadas acima estão atualizadas até à última atualização desta página. Podem estar disponíveis versões mais recentes. Verifique se as versões dos pacotes são compatíveis com a versão Databricks Runtime e a versão Spark.

Para mais detalhes sobre a configuração do Apache Spark para armazenamento de objetos na cloud, consulte a documentação do Unity Catalog OSS.