Trabajar con tablas externas

Las tablas externas, a veces denominadas tablas federadas, son tablas registradas mediante el Catálogo de Unity como parte de un catálogo externo. Las tablas externas contienen datos y metadatos administrados por sistemas externos, con el Catálogo de Unity que agrega gobernanza de datos para consultar estas tablas.

Azure Databricks admite los métodos siguientes para registrar tablas externas:

• La federación de consultas usa conexiones JDBC seguras para federar a sistemas de datos externos, como PostgreSQL y MySQL.
• La federación de catálogos conecta catálogos externos, como un metastore de Hive o Snowflake Horizon Catalog, para consultar los datos directamente en el almacenamiento de archivos.

Important

Para la compatibilidad con versiones anteriores con cargas de trabajo heredadas de Apache Spark y Azure Databricks, las tablas externas de un metastore de Hive federado devuelven metadatos de metastore de Hive, incluido si la tabla es una tabla administrada de Hive o una tabla externa de Hive.

¿Por qué usar una tabla externa?

Las tablas externas proporcionan flexibilidad al integrar Azure Databricks con sistemas de datos existentes o migrar desde sistemas heredados.

Muchas tablas externas sirven como solución temporal para el acceso directo a los datos no administrados por Azure Databricks, ya que proporcionan una solución rápida sin necesidad de migración de datos ni refactorización de código para flujos de trabajo ETL ascendentes. Databricks recomienda migrar conjuntos de datos que impulsan cargas de trabajo de producción o se consultan con frecuencia en tablas administradas de Unity Catalog, ya que las tablas administradas proporcionan el mejor rendimiento y tienen muchas optimizaciones integradas. Consulte Conversión de una tabla externa en una tabla de catálogo de Unity administrada.

La federación de consultas proporciona una solución gratuita para cargar datos desde sistemas de datos externos no compatibles con Lakeflow Connect. Databricks recomienda usar vistas materializadas para replicar tablas externas en el catálogo de Unity. Consulte Carga de datos de tablas externas con vistas materializadas.

Crear o escribir en tablas externas

Si tiene privilegios suficientes y el área de trabajo se ha configurado con un metastore de Hive federado interno, puede crear o escribir en tablas foráneas respaldadas por un metastore de Hive federado interno. El metastore de Hive federado externo y todas las tablas externas respaldadas por la Federación de Lakehouse son de solo lectura.

Azure Databricks no administra los metadatos, los datos ni la semántica de las escrituras en tablas externas. Las tablas externas pueden estar respaldadas por un formato compatible con ACID, como Delta Lake o Apache Iceberg, pero las tablas externas no proporcionan las garantías transaccionales de las tablas administradas por el catálogo de Unity.

La mayoría de las optimizaciones de Azure Databricks para el rendimiento de consultas, la velocidad de escritura mejorada, la omisión de datos y las consultas solo de metadatos requieren Unity Catalog. Databricks recomienda comparar el rendimiento de las consultas de lectura y escritura entre tablas externas y tablas administradas de Unity Catalog mediante la versión más reciente de Databricks Runtime para evaluar la latencia y las diferencias de costos. Consulte Tablas administradas del catálogo de Unity en Azure Databricks para Delta Lake y Apache Iceberg.