** MLflow на платформе Databricks

В этой статье описывается, как MLflow в Databricks используется для разработки высококачественных агентов ИИ и моделей машинного обучения.

Заметка

Если вы только начинаете работу с Azure Databricks, попробуйте MLflow в Databricks Free Edition.

Что такое MLflow?

MLflow является крупнейшей платформой разработки искусственного интеллекта с открытым исходным кодом для агентов, LLM и моделей машинного обучения. MLflow позволяет командам всех размеров выполнять отладку, оценку, мониторинг и оптимизацию приложений искусственного интеллекта рабочего качества при управлении затратами и управлением доступом к моделям и данным. Ежемесячно MLflow скачивают более 30 миллионов раз, и тысячи организаций ежедневно полагаются на него, чтобы уверенно внедрять ИИ в производственную среду.

Комплексный набор функций MLflow для агентов и приложений LLM включает в себя наблюдаемость, оценку, управление запросами, шлюз ИИ для управления затратами и доступом к модели и многое другое.

Для разработки моделей машинного обучения MLflow предоставляет возможности отслеживания экспериментов, оценки моделей, реестра рабочих моделей и средств развертывания моделей.

MLflow поддерживает любой поставщик LLM, платформу агента, библиотеку машинного обучения и язык программирования. MLflow предоставляет собственные пакеты SDK для Python, TypeScript/JavaScript, Java и R.

MLflow 3

MLflow 3 в Azure Databricks обеспечивает передовые возможности по отслеживанию, оценке и управлению подсказками для агентов и приложений LLM. Для разработки моделей машинного обучения MLflow 3 предоставляет отслеживание экспериментов, оценку моделей, реестр моделей и средства развертывания моделей. С помощью MLflow 3 в Azure Databricks можно:

Централизованно отслеживайте и анализируйте производительность моделей, приложений ИИ и агентов во всех средах, от интерактивных запросов в записной книжке разработки через рабочий пакет или развертывание в режиме реального времени.
Оркестрируйте рабочие процессы оценки и развертывания с помощью каталога Unity и доступа к комплексным журналам состояния для каждой версии модели, приложения ИИ или агента.
Просмотр и доступ к метрикам и параметрам модели на странице версии модели в каталоге Unity и из REST API.
Аннотируйте запросы и ответы (трассировки) для всех ваших генеративных ИИ приложений и агентов, что позволяет экспертам и автоматизированным методам (например, LLM-as-a-judge) предоставлять богатые отзывы. Эти отзывы можно использовать для оценки и сравнения производительности версий приложений и создания наборов данных для улучшения качества.

Эти возможности облегчают и упорядочивают оценку, развертывание, отладку и мониторинг всех ваших инициатив в области ИИ.

MLflow 3 также вводит понятия зарегистрированных моделей и заданий на развертывание.

Задокументированные модели помогают отслеживать прогресс модели на протяжении жизненного цикла. При регистрации модели с помощью log_model() создается объект LoggedModel, который сохраняется в течение всего жизненного цикла модели в разных средах и запусках, а также содержит ссылки на артефакты, такие как метаданные, метрики, параметры и код, используемый для создания модели. Вы можете использовать зарегистрированную модель для сравнения моделей между собой, поиска наиболее эффективной модели и отслеживания сведений во время отладки.
Задания развертывания можно использовать для управления жизненным циклом модели, включая шаги, такие как оценка, утверждение и развертывание. Эти рабочие процессы модели управляются каталогом Unity, и все события сохраняются в журнале действий, доступном на странице версии модели в каталоге Unity.

Ознакомьтесь со следующими статьями, чтобы установить и приступить к работе с MLflow 3.

MLflow под управлением Databricks

Databricks предоставляет полностью управляемую и размещенную версию MLflow, опираясь на интерфейс с открытым кодом, чтобы сделать его более надежным и масштабируемым для корпоративного использования.

Агенты и приложения LLM

MLflow в Databricks предоставляет полную платформу для разработки, оценки и мониторинга агентов и приложений LLM.

Наблюдаемость:MLflow Отслеживание записывает входные данные, выходные данные и метаданные, связанные с каждым промежуточным шагом запроса, что позволяет быстро найти источник неожиданного поведения в агентах.
Оценка: Используйте Оценку агента для измерения и повышения качества агента на базе средств оценки MLflow.
Управление подсказками: Версионирование, управление и итерация шаблонов подсказок, используемых в ваших AI-приложениях.
Разработка агента: Используйте настраиваемые агенты для создания агентов , которые используют MLflow для отслеживания кода агента, метрик производительности и трассировок.
Интерактивная отладка: Используйте Код Genie для обеспечения наблюдаемости и оценки агента с помощью естественного языка для доступа к трассировкам, запускам оценок, счетчикам и т. д. в эксперименте MLflow.

Разработка модели машинного обучения

MLflow в Databricks предоставляет отслеживание экспериментов, оценку моделей, реестр производственных моделей и средства развертывания моделей для разработки моделей машинного обучения.

На следующей схеме показано, как Databricks интегрируется с MLflow для обучения и развертывания моделей машинного обучения.

MLflow интегрируется с Databricks для разработки и развертывания моделей машинного обучения.

Управляемый Databricks MLflow основан на каталоге Unity и Cloud Озеро данных для объединения всех ваших данных и ресурсов ИИ в жизненном цикле машинного обучения:

Хранилище компонентов: Автоматический поиск функций Databricks упрощает интеграцию и уменьшает ошибки.
Обучение моделей: Используйте функции ИИ Azure Databricks для обучения моделей или точной настройки базовых моделей.
отслеживание: MLflow отслеживает обучение с помощью регистрации параметров, метрик и артефактов, для оценки и сравнения производительности модели.
Реестр моделей: Реестр моделей MLflow, интегрированный с Каталогом Unity, централизует модели ИИ и артефакты.
Обслуживание моделей: Служба моделей развертывает модели в конечной точке REST API.
Мониторинга: Служба моделей автоматически фиксирует запросы и ответы на мониторинг и отладку моделей. MLflow расширяет эти данные данными трассировки для каждого запроса.

Обучение модели

Модели MLflow находятся в основе разработки ИИ и машинного обучения в Databricks. Модели MLflow — это стандартный формат для упаковки моделей машинного обучения и агентов искусственного интеллекта. Стандартизованный формат гарантирует, что модели и агенты могут использоваться подчиненными инструментами и рабочими процессами в Databricks.

Документация по MLflow — модели.

Databricks предоставляет функции для обучения различных типов моделей машинного обучения.

Обучение моделей ИИ.

Отслеживание экспериментов

Databricks использует эксперименты MLflow как организационные единицы, чтобы отслеживать вашу работу при разработке моделей.

Отслеживание экспериментов позволяет регистрировать параметры, метрики, артефакты и версии кода во время обучения машинного обучения и разработки агента. Упорядочение журналов в эксперименты и запуски позволяет сравнивать модели, анализировать производительность и выполнять итерацию проще.

отслеживание экспериментов с помощью Databricks.
Общие сведения о запусках и отслеживанииэкспериментов см. в документации по MLflow.

Реестр моделей с каталогом Unity

Реестр моделей MLflow — это централизованный репозиторий моделей, пользовательский интерфейс и набор API для управления процессом развертывания модели.

Databricks интегрирует реестр моделей с каталогом Unity, чтобы обеспечить централизованное управление моделями. Интеграция каталога Unity позволяет получать доступ к моделям в рабочих областях, отслеживать происхождение моделей и обнаруживать модели для повторного использования.

Управление моделями с помощью каталога Databricks Unity.
Общие сведения о реестре моделей см. в документации по MLflow.

Обслуживание моделей

Служба моделей Databricks тесно интегрирована с реестром моделей MLflow и предоставляет унифицированный, масштабируемый интерфейс для развертывания, управления и запроса моделей ИИ. Каждая модель, которую вы обслуживаете, доступна как REST API, который можно интегрировать в веб-приложения или клиентские приложения.

Хотя они являются отдельными компонентами, служба моделей сильно зависит от реестра моделей MLflow для обработки управления версиями моделей, управления зависимостями, проверки и управления.

обслуживание моделей с помощью Databricks.

Функции MLflow с открытым исходным кодом по сравнению с управляемыми Databricks.

Для получения общей информации о концепциях MLflow, API и функциях, используемых как в версиях с открытым исходным кодом, так и в управляемых Databricks версиях, обратитесь к документации MLflow. Информацию о функциях, эксклюзивных для MLflow под управлением Databricks, см. в документации Databricks.

В следующей таблице перечислены основные различия между MLflow с открытым исходным кодом и управляемым MLflow Databricks и содержатся ссылки на документацию, которые помогут вам узнать больше:

Особенность	Доступность в MLflow с открытым исходным кодом	Доступность на платформе MLflow, управляемой Databricks
Безопасность	Пользователь должен предоставить свой собственный уровень управления безопасностью	Корпоративная безопасность Databricks
Аварийное восстановление	Недоступный	Аварийное восстановление Databricks
Отслеживание экспериментов	API отслеживания MLflow	API отслеживания MLflow, интегрированное с передовой системой отслеживания экспериментов Databricks
Реестр моделей	реестр моделей MLflow	реестр моделей MLflow, интегрированный с каталогом Databricks Unity
Интеграция каталога Unity	Интеграция открытого исходного кода с каталогом Unity	Каталог Unity от Databricks
Развертывание модели	Пользовательские интеграции с внешними решениями обслуживания (SageMaker, Kubernetes, службы контейнеров и т. д.)	Сервис моделей Databricks и внешние решения для предоставления услуг
Агенты ИИ	разработка LLM с использованием MLflow	Разработка LLM с MLflow с интеграцией настраиваемых агентов и оценки агентов
Шифрование	Недоступный	Шифрование с использованием управляемых клиентом ключей