Ler tabelas do Databricks de clientes Delta

Esta página fornece uma visão geral do uso da API REST do Unity para acessar tabelas externas e gerenciadas do Catálogo do Unity de clientes Delta externos. Para criar tabelas Delta externas de clientes externos, consulte Criar tabelas Delta externas de clientes externos.

Use o catálogo REST do Iceberg para ler tabelas registradas no Catálogo do Unity no Azure Databricks de clientes iceberg compatíveis, incluindo Apache Spark e DuckDB.

Para obter uma lista completa de integrações com suporte, consulte as integrações do Catálogo do Unity.

Dica

Para obter informações sobre como ler dados do Azure Databricks usando o Microsoft Fabric, veja Use o Microsoft Fabric para ler dados registrados no Unity Catalog.

Ler e gravar usando a API REST do Unity

A API REST do Unity fornece aos clientes externos acesso de leitura a tabelas registradas no Catálogo do Unity. Alguns clientes também dão suporte à criação de tabelas e gravação em tabelas existentes.

Configurar o acesso usando o endpoint /api/2.1/unity-catalog.

Requisitos

O Azure Databricks oferece suporte ao acesso da API REST do Unity às tabelas como parte do Catálogo do Unity. Você deve ter o Catálogo do Unity habilitado em seu espaço de trabalho para usar esses endpoints. Os seguintes tipos de tabela são elegíveis para leituras da API REST do Unity:

• Tabelas gerenciadas pelo Catálogo do Unity.
• Tabelas externas do Catálogo do Unity.

Você deve concluir as seguintes etapas de configuração para configurar o acesso aos objetos do Databricks de leitura de clientes Delta usando a API REST do Unity:

• Habilite o Acesso a dados externos no seu metastore. Confira Habilitar o acesso a dados externos no metastore.
• Conceda à entidade de segurança que configure a integração o EXTERNAL USE SCHEMA privilégio no esquema que contém os objetos. Consulte Conceder privilégios de catálogo principal do Unity.
• Autentique usando um token de acesso pessoal do Databricks. Consulte Autorizar o acesso aos recursos do Azure Databricks.

Ler tabelas Delta com Apache Spark

A configuração a seguir é necessária para ler tabelas Delta gerenciadas e externas do Unity Catalog usando o Apache Spark:

"spark.sql.extensions": "io.delta.sql.DeltaSparkSessionExtension",
"spark.sql.catalog.spark_catalog": "io.unitycatalog.spark.UCSingleCatalog",
"spark.sql.catalog.<uc-catalog-name>": "io.unitycatalog.spark.UCSingleCatalog",
"spark.sql.catalog.<uc-catalog-name>.uri": "<workspace-url>/api/2.1/unity-catalog",
"spark.sql.catalog.<uc-catalog-name>.token": "<token>",
"spark.sql.defaultCatalog": "<uc-catalog-name>",
"spark.jars.packages": "io.delta:delta-spark_2.12:3.2.1,io.unitycatalog:unitycatalog-spark_2.12:0.2.0,org.apache.hadoop:hadoop-azure:3.3.6"

Substitua as seguintes variáveis:

• <uc-catalog-name>: o nome do catálogo no Unity Catalog que contém suas tabelas.
• <workspace-url>: URL do workspace do Azure Databricks.
• <token>: token PAT para a entidade de segurança que está configurando a integração.

Observação

As versões do pacote mostradas acima são atuais a partir da última atualização para esta página. Versões mais recentes podem estar disponíveis. Verifique se as versões do pacote são compatíveis com a versão do Databricks Runtime e com a versão do Spark.

Para obter detalhes adicionais sobre como configurar o Apache Spark para armazenamento de objetos na nuvem, consulte a documentação do Catálogo do Unity OSS.