Открытый исходный код и управляемый MLflow в Azure Databricks

Эта страница предназначена для того, чтобы пользователи MLflow с открытым кодом знакомы с использованием MLflow в Databricks. Управляемый Databricks MLflow использует одни и те же API, но предоставляет дополнительные возможности с помощью интеграции с более широкой платформой Azure Databricks.

Преимущества управляемого MLflow в Azure Databricks

MLflow с открытым кодом предоставляет базовую модель данных, API и пакет SDK. Это означает, что данные и рабочие нагрузки всегда переносятся.

Управляемый MLflow в Databricks добавляет:

• Корпоративное управление и безопасность благодаря интеграции с платформой Databricks, Lakehouse и каталогом Unity. Данные ИИ и машинное обучение, инструменты, агенты, модели и другие ресурсы можно управлять и использовать на той же платформе, что и остальные ваши данные и рабочие нагрузки.
• Полностью управляемое размещение на серверах, подготовленных к работе, с возможностью масштабирования
• Интеграции для разработки и производства с более широкой платформой Mosaic AI

Дополнительные сведения о преимуществах см. на странице продукта Managed MLflow и см. на остальной части этой страницы, чтобы узнать о технических деталях.

Подсказка

Ваши данные всегда являются вашими . Базовая модель данных и API полностью открыты. Вы можете экспортировать и использовать данные MLflow в любом месте.

Дополнительные возможности Databricks

В этом разделе перечислены важные возможности, включенные в управляемый MLflow через интеграцию с более широкой платформой Azure Databricks. Общие сведения обо всех возможностях MLflow для GenAI см. в документации по MLflow 3 для GenAI и документации по GenAI с открытым кодом.

Управление и безопасность корпоративного уровня

• Управление предприятиями с помощью каталога Unity: модели, таблицы компонентов, векторные индексы, инструменты и многое другое управляются централизованно в каталоге Unity. При развертывании агентов проверка подлинности агента, данных и инструментов может быть точно контролируема с помощью сквозной проверки подлинности и проверки подлинности от имени пользователя.
• Интеграция данных Lakehouse: использование пространств ИИ/BI Genie и панелей мониторинга и Databricks SQL для анализа журналов и трассировок из экспериментов MLflow.
• Безопасность и управление: разрешения MLflow соответствуют тем же шаблонам управления, что и более широкая платформа Databricks:
  • Объекты рабочей области, такие как эксперименты, следуют разрешениям рабочей области.
  • Объекты каталога Unity, такие как зарегистрированные модели, следуют привилегиям каталога Unity.
  • Проверка подлинности пользовательского интерфейса и API и доступ соответствуют платформе Databricks и REST API.
• Аудит. Системные таблицы предоставляют журналы использования и аудита для управляемого MLflow.

Полностью управляемое размещение на рабочих серверах

• Полностью управляемый: Azure Databricks предоставляет серверы MLflow с автоматическими обновлениями, предназначенными для масштабируемости и рабочей среды. Дополнительные сведения см. в разделе "Ограничения ресурсов".
• Надежная платформа: Управляемый MLflow используется тысячами клиентов по всему миру.

Интеграция для разработки и рабочей среды

Разработка искусственного интеллекта и машинного обучения упрощается интеграцией, например:

• Интеграция ноутбуков: ноутбуки Databricks автоматически подключаются к серверу MLflow и могут использовать эксперименты ноутбуков и эксперименты рабочего пространства для отслеживания и совместного использования результатов. Записные книжки Databricks поддерживают автоматическое ведение журнала для отслеживания MLflow. Для GenAI записные книжки Databricks могут отображать встроенный интерфейс трассировки для интерактивного анализа.
• Средства обратной связи GenAI: для оценки GenAI Databricks предоставляет приложение для отзывов человека, включающее интерфейс чата для оценки общего впечатления и интерфейс экспертных отзывов для маркировки трассировок.

Производственные ИИ и машинное обучение упрощаются такими интеграциями, как:

• Инфраструктура как код для CI/CD: управление экспериментами MLflow, моделями и многое другое с помощью наборов ресурсов Databricks и MLOps Stacks.
• Развертывание модели с помощью CI/CD: задания развертывания MLflow 3 интегрируют рабочие процессы Databricks с каталогом Unity для автоматизации поэтапного развертывания моделей машинного обучения.
• Интеграция с Хранилищем компонентов: Databricks Feature Store + MLflow интеграция обеспечивает более простое развертывание моделей машинного обучения, использующих таблицы функций.
• Мониторинг производственной среды GenAI: Databricks предоставляет производственную службу мониторинга, которая постоянно оценивает образец вашего производственного трафика с использованием оценщиков и систем анализа LLM. Это позволяет использовать прием трассировки в масштабе рабочей среды , которая включает хранение трассировок в таблицах каталога Unity.

Замечание

Коллекция телеметрии с открытым кодом была представлена в MLflow 3.2.0 и отключена по умолчанию в Databricks. Дополнительные сведения см. в документации по отслеживанию использования MLflow.

Дальнейшие шаги

Начало работы с MLflow в Databricks:

• Создание бесплатной пробной учетной записи Databricks для использования MLflow под управлением Databricks
• Руководство. Подключение среды разработки к MLflow
• Начало работы: MLflow 3 для GenAI
• Начало работы с MLflow 3 для моделей

Связанные справочные материалы:

• Документация по MLflow с открытым кодом для GenAI
• REST API Databricks, который включает API MLflow
• Пакеты SDK Databricks, которые включают в себя операции MLflow