Compartir vía

¿Qué es la federación de Lakehouse?

La federación de Lakehouse es la plataforma de federación de consultas para Databricks. El término federación de consultas describe una colección de características que permiten a los usuarios y sistemas ejecutar consultas en varios orígenes de datos sin necesidad de migrar todos los datos a un sistema unificado.

Hay dos tipos de federación: federación de consultas y federación de catálogos. En esta página se describen las diferencias entre los tipos.

Federación de consultas en comparación con federación de catálogos

En la tabla siguiente se resumen las diferencias clave entre la federación de consultas y la federación del catálogo:

Attribute Federación de consultas Federación del catálogo
Ruta de consulta Las consultas de Unity Catalog se envían a la base de datos remota mediante JDBC. La consulta se ejecuta tanto en Databricks como mediante computación remota. Las consultas de Unity Catalog acceden directamente a la tabla externa en el almacenamiento de objetos. La federación de catálogos está disponible para plataformas que admiten el acceso directo a sus servicios de catálogo y almacenamiento. La consulta solo se ejecuta en el cómputo de Databricks, lo que significa que la federación de catálogos es más rentable y optimizada para el rendimiento que la federación de consultas.
Caso de uso
  • Necesita acceso a informes personalizados o acceso de prueba de concepto a los datos operativos almacenados en bases de datos externas.
  • Quiere minimizar el movimiento de datos y mantener el acceso en tiempo real a sistemas externos.

Cuando el origen admite Lakehouse Federation y Lakeflow Connect, Databricks recomienda Lakeflow Connect si el rendimiento en volúmenes de datos más altos y una menor latencia son prioridades.
  • Va a migrar al catálogo de Unity, pero necesita introducir gradualmente los datos gestionados desde un catálogo extranjero.
  • Quiere un modelo híbrido a largo plazo en el que algunos datos permanecen en un catálogo externo y algunos datos los administra Unity Catalog.
Introducción a los pasos
  • Cree una conexión en el catálogo de Unity con las credenciales de acceso y la dirección URL de JDBC.
  • Cree un catálogo externo mediante la conexión.
  • Conceda privilegios a los usuarios en tablas del catálogo externo.
  • Ejecutar consultas. Se insertan en la base de datos externa.
  • Cree una conexión en el catálogo de Unity para acceder al catálogo externo.
  • Cree una credencial de almacenamiento y una ubicación externa para las rutas de las tablas.
  • Cree un catálogo extranjero mediante la conexión y la ubicación externa.
  • Conceda privilegios a los usuarios en tablas del catálogo externo.
  • Ejecutar consultas. Estos se ejecutan directamente contra el almacenamiento de objetos.

Orígenes de datos compatibles

Conéctese a las siguientes fuentes mediante la federación de consultas.

Conéctese a las siguientes fuentes mediante la federación de catálogos:

Recursos adicionales

  • Last updated on