Trabalhar com tabelas estrangeiras

Tabelas estrangeiras, às vezes chamadas de tabelas federadas, são tabelas registradas usando o Unity Catalog como parte de um catálogo estrangeiro. Tabelas estrangeiras contêm dados e metadados gerenciados por sistemas externos, com o Unity Catalog adicionando governança de dados para consultar essas tabelas.

O Azure Databricks dá suporte aos seguintes métodos para registrar tabelas estrangeiras:

• A federação de consultas usa conexões JDBC seguras para federar a sistemas de dados externos, como PostgreSQL e MySQL.
• A federação de catálogos conecta catálogos externos, como um Hive Metastore ou o Snowflake Horizon Catalog, para consultar dados diretamente no armazenamento de arquivos.

Important

Para garantir a compatibilidade retroativa com cargas de trabalho herdadas do Apache Spark e Azure Databricks, as tabelas externas em uma metastore federada do Hive recuperam metadados da metastore do Hive, incluindo se a tabela é gerida pelo Hive ou é uma tabela externa do Hive.

Porquê usar uma mesa estrangeira?

As tabelas estrangeiras fornecem flexibilidade ao integrar o Azure Databricks com sistemas de dados existentes ou ao migrar de sistemas herdados.

Muitas tabelas estrangeiras servem como uma solução temporária para acesso direto a dados não gerenciados pelo Azure Databricks, pois fornecem uma solução rápida sem exigir migração de dados ou refatoração de código para fluxos de trabalho ETL upstream. O Databricks recomenda a migração de conjuntos de dados que geram cargas de trabalho de produção ou são consultados com frequência para tabelas gerenciadas do Unity Catalog, pois as tabelas gerenciadas oferecem o melhor desempenho e têm muitas otimizações internas. Consulte Converter uma tabela estrangeira em uma tabela gerenciada do Catálogo Unity.

A federação de consultas fornece uma solução gratuita para carregar dados de sistemas de dados externos não suportados pelo Lakeflow Connect. O Databricks recomenda o uso de exibições materializadas para replicar tabelas estrangeiras para o Unity Catalog. Veja Carregar dados de tabelas estrangeiras com vistas materializadas.

Criar ou gravar em tabelas estrangeiras

Se você tiver privilégios suficientes e seu espaço de trabalho tiver sido configurado com um metastore federado interno do Hive, poderá criar ou gravar em tabelas estrangeiras apoiadas por um metastore federado interno do Hive. O metastore federado externo do Hive e todas as tabelas estrangeiras suportadas pela Lakehouse Federation são de apenas leitura.

O Azure Databricks não gerencia os metadados, dados ou semântica para gravações em tabelas estrangeiras. As tabelas estrangeiras podem ser apoiadas por um formato compatível com ACID, como Delta Lake ou Apache Iceberg, mas as tabelas estrangeiras não fornecem as garantias transacionais das tabelas gerenciadas pelo Unity Catalog.

A maioria das otimizações do Azure Databricks para desempenho de consultas, velocidade de escrita aprimorada, saltos de dados e consultas que utilizam apenas metadados requer o Unity Catalog. O Databricks recomenda comparar o desempenho da consulta de leitura e gravação entre tabelas estrangeiras e tabelas gerenciadas pelo Unity Catalog usando a versão mais recente do Databricks Runtime para avaliar a latência e as diferenças de custo. Consulte Tabelas gerenciadas do Catálogo Unity no Azure Databricks para Delta Lake e Apache Iceberg.