Хранилище компонентов и обслуживание моделей

Онлайн-магазины функций Databricks работают на базе Lakebase. Когда вы создаёте онлайн-магазин с помощью клиента Feature Engineering, Databricks предоставляет проект Lakebase в качестве базового бэкенда хранилища, предоставляя доступ к данным о функциях с низкой задержкой для вывода машинного обучения в реальном времени.

Случаи использования

  • Вывод модели в режиме реального времени: передача последних значений признаков к конечным точкам для вывода моделей с низкой задержкой. Модели, обученные с помощью Databricks Feature Engineering, автоматически отслеживают происхождение своих функций и используют каталог Unity для поиска соответствующего интернет-магазина во время обслуживания.
  • Конечные точки обслуживания компонентов: обслуживающие функции непосредственно внешним приложениям и службам без модели с помощью конечных точек обслуживания компонентов.
  • Системы рекомендаций, обнаружение мошенничества, персонализация: любое приложение, требующее согласованных, высоко пропускной способности поиск функций в автономных таблицах функций.

Принцип работы

Онлайн-хранилища функций синхронизируют данные из офлайн-таблиц функций Unity Catalog в проект Lakebase. Вы контролируете частоту синхронизации данных с помощью режимов публикации:

  • TRIGGERED (по умолчанию): добавочная синхронизация по расписанию или через API.
  • НЕПРЕРЫВНО. Конвейер потоковой передачи, обновляющий интернет-магазин по мере записи новых данных в автономную таблицу.
  • SNAPSHOT: однократная полная копия, эффективная для массовых обновлений.

Поскольку онлайн-магазин является проектом Lakebase, он выигрывает от автоматического масштабирования вычислений, масштабирования до нуля во время бездействия и управления Unity Catalog.

Миграция безопасна и удобна

Новые онлайн-магазины функций создаются автоматически в виде проектов Lakebase. Существующие рабочие нагрузки хранилища компонентов и службы моделей продолжают работать без каких-либо действий.

Интерфейсы create_online_store и update_online_store продолжают работать для интернет-магазинов, которыми вы управляете с помощью клиента Feature Engineering, без необходимости вносить какие-либо изменения. Обратите внимание, что update_online_store не поддерживается для экземпляров автомасштабирования, созданных непосредственно через API проектов или пользовательский интерфейс. Дополнительные сведения см. в разделе "Ограничения".

Замечание

Эндпоинты Feature Serving и Model Serving, которые получают признаки из нескольких онлайн-хранилищ признаков, продолжают работать, но в Lakebase нельзя создавать новые конфигурации такого типа. Дополнительные сведения см. в разделе "Ограничения".

Implementation

Полные инструкции по настройке, справочник по API и примеры записных книжек см. в хранилищах компонентов Databricks Online.

Дополнительные ресурсы

  • Last updated on