Что такое Lakebase?

Это важно

Эта функция доступна в общедоступной предварительной версии в следующих регионах: westus, westus2eastuseastus2centralussouthcentralusnortheuropewesteuropeaustraliaeastbrazilsouthcanadacentralcentralindia, . southeastasiauksouth

На этой странице представлен Azure Databricks Lakebase, полностью управляемый движок базы данных Postgres OLTP, интегрированный в платформу интеллектуальных данных Databricks. Экземпляр базы данных — это тип вычислительных ресурсов Azure Databricks, который предоставляет хранилище и вычисления для запуска сервера Postgres, который управляет несколькими базами данных.

Обзор

База данных обработки транзакций в сети (OLTP) — это специализированный тип системы баз данных, предназначенная для эффективной обработки больших объемов транзакционных данных в режиме реального времени. Lakebase позволяет создать базу данных OLTP в Azure Databricks и интегрировать рабочие нагрузки OLTP с Lakehouse. Эта база данных OLTP позволяет создавать базы данных, хранящиеся в управляемом databricks хранилище, и управлять ими.

Использование базы данных OLTP в сочетании с платформой Azure Databricks значительно снижает сложность приложения. Lakebase хорошо интегрирован с Хранилищем компонентов Databricks, хранилищами SQL и приложениями Databricks. Использование таблиц синхронизации обеспечивает простой и интерактивный способ синхронизации данных между рабочими нагрузками OLTP и оперативной аналитической обработки (OLAP).

На основе Postgres и полностью интегрированной с платформой аналитики данных Databricks, Lakebase наследует несколько основных возможностей платформы, в том числе:

• Упрощенное управление: Использует существующую инфраструктуру Azure Databricks для развертывания экземпляров с развязанными вычислительными ресурсами и хранилищем, управляемого отслеживания измененных данных с помощью Delta Lake и поддержки многооблачных развертываний.
• Интегрированные возможности искусственного интеллекта (ИИ) и машинного обучения (ML): Поддерживает функции и представление моделей, создание с дополнением на основе поиска (RAG) и другие интеграции ИИ и ML.
• Встроенная проверка подлинности и управление: При необходимости используйте каталог Unity для обеспечения безопасного доступа к данным.

Примеры вариантов использования

В следующих примерах показано, как организации в разных отраслях используют интеграции Azure Databricks для принятия решений в режиме реального времени и автоматизации рабочих процессов:

• Электронная коммерция: Используйте предварительно вычисляемые сегменты клиентов и аналитические сведения для поддержки рабочих процессов, таких как льготная доставка, назначение предложений и персонализированные рекомендации по продуктам.
• Здравоохранение: Управляйте данными клинических испытаний и соответствующими аналитическими сведениями с помощью систем рекомендаций, внедренных в клинические рабочие процессы.
• Финансовые услуги: Включите автоматическую торговлю рынка на основе потоковых данных и предварительно обученных моделей.
• Розничная торговля: Используйте чат-бота, который включает в себя недавнюю историю общения и данные в режиме реального времени (например, содержимое корзины покупок), чтобы персонализировать ответы и повысить вовлеченность.
• Производственный: Отслеживайте и управляйте данными телеметрии компьютера и Интернета вещей для поддержки рабочих процессов принятия решений с низкой задержкой и автоматизированного обслуживания.

Типы рабочих нагрузок

• Обслуживание данных: Предоставление аналитических сведений от золотых таблиц приложениям с низкой задержкой и высоким уровнем QPS.
• Хранение состояния приложения: Управление состоянием рабочего процесса в нашем хранилище транзакционных данных.
• Подача признаков: Подача признаков данных для моделей с низкой задержкой.

Интеграция Databricks

Следующие возможности поддерживают интеграцию Lakebase с существующими возможностями Azure Databricks:

• Интеграция с интернет-магазином функций: Используйте таблицы PostgreSQL в качестве интернет-магазина для обслуживания функций в режиме реального времени. См. сведения о хранилищах компонентов Databricks Online.
• Хранение данных в приложениях Databricks: Добавьте экземпляры баз данных в качестве ресурса приложения для обеспечения сохранности данных при развертывании приложений Azure Databricks. См. статью "Добавление ресурса Lakebase" в приложение Databricks.
• Ресурсы наборов Databricks: Определите экземпляры баз данных и синхронизированные таблицы как ресурсы в наборе для управления сложными проектами. См. database_instance и synced_database_table.
• Интеграция Databricks Terraform: Используйте поставщика Databricks Terraform для создания и управления ресурсами Lakebase. Terraform позволяет автоматизировать самые сложные аспекты развертывания и управления платформами данных. См. поставщик Databricks Terraform и документацию по Terraform.