¿Qué es Lakebase?

Importante

Esta característica se encuentra en versión preliminar pública en las siguientes regiones: westus, westus2, eastuseastus2, centralussouthcentralusnortheuropewesteuropeaustraliaeastbrazilsouthcanadacentralcentralindia, , . southeastasiauksouth

En esta página se presenta Azure Databricks Lakebase, un motor de base de datos OLTP de Postgres totalmente administrado, integrado en la plataforma de inteligencia de datos de Databricks. Una instancia de base de datos es un tipo de computación de Azure Databricks que proporciona el almacenamiento y la computación para ejecutar un servidor Postgres que administra varias bases de datos.

Información general

Una base de datos de procesamiento de transacciones en línea (OLTP) es un tipo especializado de sistema de bases de datos diseñado para controlar eficazmente grandes volúmenes de datos transaccionales en tiempo real. Lakebase permite crear una base de datos OLTP en Azure Databricks e integrar cargas de trabajo OLTP con Lakehouse. Esta base de datos OLTP permite crear y administrar bases de datos almacenadas en el almacenamiento administrado por Databricks.

El uso de una base de datos OLTP junto con la plataforma de Azure Databricks reduce significativamente la complejidad de la aplicación. Lakebase está bien integrado con Databricks Feature Store, SQL Warehouses y Databricks Apps. El uso de tablas de sincronización proporciona una manera sencilla y eficaz de sincronizar datos entre cargas de trabajo olTP y procesamiento analítico en línea (OLAP).

Basado en Postgres y totalmente integrado con Databricks Data Intelligence Platform, Lakebase hereda varias funcionalidades principales de la plataforma, entre las que se incluyen:

• Administración simplificada: Aprovecha la infraestructura de Azure Databricks existente para implementar instancias con almacenamiento y proceso desacoplado, captura de datos modificados administrados con Delta Lake y compatibilidad con implementaciones de varias nubes.
• Funcionalidades integradas de inteligencia artificial (IA) y aprendizaje automático (ML): Admite funciones y servicios de modelos, generación aumentada de recuperación (RAG) y otras integraciones de INTELIGENCIA ARTIFICIAL y APRENDIZAJE automático.
• Autenticación integrada y gobernanza: Opcionalmente, use el Catálogo de Unity para aplicar el acceso seguro a los datos.

Ejemplos de casos de uso

En los ejemplos siguientes se muestra cómo las organizaciones de diferentes sectores usan integraciones de Azure Databricks para la automatización del flujo de trabajo y la toma de decisiones en tiempo real:

• Comercio electrónico: Utilice segmentos de clientes pre-calculados y conocimientos para soportar flujos de trabajo como la entrega preferencial, la segmentación de ofertas y las recomendaciones de productos personalizadas.
• Atención sanitaria: Administre los datos del ensayo clínico y exponte información relevante a través de sistemas de recomendación insertados en flujos de trabajo clínicos.
• Servicios financieros: Habilite el comercio automático del mercado en función de los datos de streaming y los modelos entrenados previamente.
• Venta al por menor: Use un bot de chat que incorpore el historial de conversaciones reciente y los datos en tiempo real (por ejemplo, el contenido del carro de la compra) para personalizar las respuestas y impulsar la interacción.
• Fabricación: Realice un seguimiento y administre la telemetría de las máquinas y los datos de IoT para admitir flujos de trabajo de toma de decisiones de baja latencia y mantenimiento automatizado.

Tipos de carga de trabajo

• Servicio de datos: Proporcione información de tablas doradas a aplicaciones con baja latencia y QPS elevadas.
• Guardar el estado de la aplicación: administre el estado del flujo de trabajo en el almacén de datos transaccionales.
• Servicio de características: proporciona a los modelos datos con características a una latencia baja.

Integración de Databricks

Las siguientes funcionalidades admiten la integración de Lakebase con las funcionalidades existentes de Azure Databricks:

• Integración del almacén de características en línea: Utilice tablas de PostgreSQL como almacén en línea para el servicio en tiempo real de características. Consulte Databricks Online Feature Stores.
• Almacenar datos de Databricks Apps: Agregue instancias de base de datos como un recurso de aplicación para conservar los datos en las implementaciones de Azure Databricks Apps. Consulte Incorporación de un recurso de Lakebase a una aplicación de Databricks.
• Recursos de Conjuntos de Activos de Databricks: Defina instancias de bases de datos y tablas sincronizadas como recursos de un conjunto para ayudar a administrar proyectos complejos. Consulte database_instance y synced_database_table.
• Integración de Databricks Terraform: Utilice el proveedor de Terraform de Databricks para crear y gestionar recursos de Lakebase. Terraform le permite automatizar los aspectos más complicados de la implementación y administración de las plataformas de datos. Consulte el proveedor de Terraform de Databricks y la documentación de Terraform.