MLOps и GenAIOps для рабочих нагрузок ИИ в Azure

Операции рабочей нагрузки ИИ сосредоточены на сборе данных и использовании этих данных. Операции обеспечивают эффективность достижения и поддержания качества, надежности, безопасности, этики и других стандартов, приоритетных для рабочей нагрузки.

Задачи рабочей нагрузки можно разделить на три основные области: разработка приложений, обработка данных и управление моделями ИИ. Каждая категория должна применять проверенные в отрасли операционные методологии, такие как DevOps, DataOps, MLOps и GenAIOps.

Действия DevOps охватывают все управление жизненным циклом разработки приложений с помощью автоматизированных конвейеров непрерывной интеграции и непрерывного развертывания (CI/CD) и мониторинга. Однако для рабочих нагрузок ИИ конвейер данных является одним из основных компонентов. DataOps, специализация DevOps, ориентирована на управление жизненным циклом данных путем упрощения таких процессов, как извлечение данных, преобразование и загрузка (ETL/ELT). Специалисты DataOps обычно измеряют производительность потока данных и эффективность очистки данных и отслеживают конвейер аномалий.

Рабочие нагрузки ИИ по сути недетерминированные. Многие модели искусственного интеллекта склонны порождать различные ответы на один и тот же запрос в процессе вывода. Эти рабочие нагрузки нуждаются в процессах, которые могут управлять и адаптироваться к непредсказуемости выходных данных ИИ. DataOps расширяется в MLOps, который активирует рабочие процессы машинного обучения для обучения и тестирования моделей. GenAIOps, специализированное подмножество MLOps, предназначено для создания решений искусственного интеллекта. Она включает такие задачи, как обнаружение моделей и уточнение предварительно обученных моделей с обогащенными данными.

Операционные действия часто пересекаются, а различные методологии применяются к разным степеням. Например, в дискриминирующих ИИ DataOps играет важную роль, в то время как действия DevOps менее заметны. И наоборот, в генерируемом ИИ эффективность работы в значительной степени зависит от DevOps, чем DataOps.

Независимо от того, общая цель — это доставка возможностей с эффективными операциями на протяжении всего жизненного цикла разработки. Ожидаемые результаты:

• Повторяемые процессы с согласованными результатами.
• Устойчивая точность моделей с течением времени.
• Эффективное управление, которое сводит к минимуму риски.
• Процессы управления изменениями для адаптации к смещениям модели.

Автоматизация и мониторинг — это ключевые операционные стратегии для достижения этих целей.

Кроме того, необходимо установить стандартизированные процессы для компонентов ИИ, для обычных, незапланированных и чрезвычайных операций, а также иметь надлежащие механизмы отслеживания. Без этих процессов вы рискуете:

• Повторяющиеся ошибки и невоспроизводимость в обработке данных, размещении моделей, управлении базовыми данными и других задачах.
• Низкое качество или устаревшие данные, используемые для обучения моделей и уточнения.
• Влияние на доверие конечных пользователей к системе, что в худшем случае может привести к юридическим проблемам, несоответствиям или проблемам безопасности.

Необходимо реализовать установленные процессы с правильным набором инструментов. Специализированные средства доступны для управления рабочими процессами искусственного интеллекта и машинного обучения в разных средах.

Эта статья посвящена стратегии проектирования операций и предоставляет рекомендации по инструментам.

Рекомендации

Ниже приведена сводка рекомендаций, приведенных в этой статье.

Рекомендация	Описание
Разработка эффективного жизненного цикла операций рабочей нагрузки.	На основе компонентов рабочей нагрузки ИИ различные операционные этапы будут применяться к его жизненному циклу. Важно понимать рекомендации, относящиеся к вашему сценарию, и средства, доступные для их реализации. Уделите время, чтобы узнать и внедрить основные рекомендации для всех компонентов вашей рабочей нагрузки. ▪ Операции с данными ▪ MLOps ▪ GenAIOps ▪ Контроль
Автоматизируйте все.	Автоматизация обеспечивает повторяемость и эффективность жизненного цикла рабочей нагрузки. Хотя процессы DevOps являются ключевым участником этого процесса, необходимо выполнить дополнительные действия, необходимые для создания, тестирования, проверки и эффективного развертывания моделей. ▪ Автоматизация
Используйте конвейеры развертывания, где это возможно.	Конвейеры развертывания помогут обеспечить повторяемые развертывания инфраструктуры или непрерывно интегрировать код. Они также отличный инструмент для создания и/или проверки моделей перед продвижением их в рабочую среду. Реализация конвейеров развертывания помогает повысить как надежность, так и общий пользовательский опыт вашей рабочей нагрузки. ▪ Конвейеры развертывания
Предотвращение сдвига и деградации моделей.	Необходимо защититься от деградации и дрейфа модели, а также иметь структурированный процесс, который помогает принимать новые изменения модели контролируемым образом. Следуя рекомендациям по обслуживанию моделей, вы можете оставаться соответствующими, избегать неожиданных пользовательских опытов и предоставлять более актуальную услугу. ▪ Обслуживание моделей

Жизненный цикл операций рабочей нагрузки

На этом изображении показаны операционные этапы для моделей ИИ, включая сбор данных, очистку данных для устранения несоответствий или ошибок, а также преобразование данных в формат с возможностью анализа. Эти этапы актуальны для обучения как дискриминативных моделей, так и данных для обеспечения базиса в генерирующих моделях. Однако конкретный вариант использования обучающих моделей не показан на этом изображении. Этот вариант использования выходит за рамки этой статьи.

Этапы MLOps и GenAIOps похожи. Основное различие заключается в том, что, в случае GenAIOps, фокус перемещается с обучения на выбор правильной модели, разработки запросов и включения знаний, относящихся к домену, путем точной настройки или реализации повторного создания дополненного поколения (RAG).

Даже этапы развертывания и мониторинга довольно похожи.

В следующих разделах описаны распространенные операционные методики. Они охватывают каждый этап жизненного цикла, от предварительного производства до производства.

DataOps

Данные агрегируются из различных рабочих источников данных, а затем предварительно обрабатываются для удаления ошибок и несоответствий и обработки отсутствующих значений. Наконец, оно преобразуется и нормализуется в подходящий формат для обучения или обогащения. Аспекты проектирования описаны в статьях об обучающих данных и основах данных .

Процессы операций с данными на этом этапе должны быть эффективными, так как обработка больших объемов данных из нескольких источников и сложных конвейеров данных может быть сложной задачей. Необходимо, чтобы подходы, которые вы принимаете, гарантировали, что на этом этапе получаются данные высокого качества. Отслеживайте этот этап, чтобы увидеть прогресс до приемлемого уровня качества.

Вам также необходимо убедиться, что данные защищены, так как они из рабочей среды. Убедитесь, что среды нижнего уровня, такие как разработка/тестирование, столь же безопасны, как и рабочие среды, чтобы помочь предотвратить любые проблемы с безопасностью.

Примечание.

Решение данных с низким качеством путем инвестиций в обширную очистку данных на начальных этапах. Воспользуйтесь преимуществами известных шаблонов аналитики, таких как медальон, сетка данных и хранилища функций, для выполнения задач обработки вышестоящего потока. Если восходящие этапы неэффективны, необходимо улучшить качество на последующих этапах, что приводит к увеличению затрат на рабочую нагрузку, так как подготовка данных происходит на каждом этапе.

Сведения о задачах обработки данных см. в следующих статьях:

• Предварительная обработка данных для обучения
• Подготовка данных для обоснования данных

Инструменты

Мы рекомендуем стандартизировать ваши средства оркестрации данных рабочей нагрузки. Средства должны иметь возможность предоставить конвейер данных, который может группировать действия и имеет встроенную автоматизацию.

Конвейер Фабрика данных Azure может быть первоначальным выбором. Он может эффективно подключать и обрабатывать множество источников данных. Вы также можете рассмотреть Azure Synapse Analytics, которая объединяет большие данные и хранилище данных и поддерживает озера данных, Apache Spark и Azure Synapse SQL. Она также интегрируется с Data Factory для ETL.

Для подготовки обучающих данных конвейеры Azure Machine Learning предоставляют специализированные функции, которые могут автоматизировать такие задачи, как сбор и обработка данных.

Технологии с открытым исходным кодом, такие как Pandas (для подготовки данных) и Scrapy, являются популярными вариантами.

Операции машинного обучения (MLOps)

Обучение модели — это процесс выбора соответствующих алгоритмов и предоставления им предварительно обработанных исторических данных и наблюдений, позволяющих модели изучать шаблоны и делать прогнозы.

Обучение модели (проектирование признаков) и настройка гиперпараметра являются итеративными процессами, и они являются дорогостоящими. Во время каждой итерации специалисты по обработке и анализу данных отслеживают результаты с сочетаниями данных, кода и параметров. Используйте повторяемые конвейеры для отслеживания экспериментов с минимальными усилиями вручную до достижения правильного уровня точности.

Еще одной операционной проблемой является подготовка и масштабирование специализированных вычислительных ресурсов , где выполняются эксперименты. Кроме того, необходимо эффективно подготовить и опубликовать модели.

Команды могут начать с разработки на основе пользовательского интерфейса, чтобы уменьшить трудности, и затем, по мере обретения уверенности, они могут перейти к подходу на основе кода.

Инструменты

Мы рекомендуем использовать средства, которые могут отслеживать эксперименты машинного обучения, записывая такие сведения, как версии кода, среды, параметры, запуски и результаты. MLflow является одной из таких платформ с открытым исходным кодом. Рассмотрите возможность использования рабочих областей Azure Machine Learning, совместимых с MLflow, и обеспечивающих упрощенный рабочий процесс, который позволяет специалистам по данным управлять производительностью и воспроизводимостью в своих проектах. Чтобы управлять разработкой кода с помощью отслеживания системы управления версиями, интегрируйте конвейер машинного обучения с системой управления версиями, например GitHub, или используйте общие папки.

Компьютерная мощность размещения также может повлиять на выбор средств для организации рабочих процессов. Если ваше приложение размещено в Azure Kubernetes Службе (AKS), рассмотрите возможность использования Kubeflow.

Если вы рассматриваете Машинное обучение Azure, мы рекомендуем начать с подхода Azure Well-Architected Framework к машинному обучению, чтобы убедиться, что продукт может помочь вам с проблемами качества рабочей нагрузки в соответствии с принципами Well-Architected Framework.

Частью преимущества процесса является оптимизация личного времени. Специалисты по обработке и анализу данных обычно требуют конкретных средств и пакетов SDK для эффективного проведения анализа данных (EDA) и экспериментирования с рабочих станций. Оцените, подходят ли готовые варианты в Azure Machine Learning. В противном случае сохраните конфигурацию рабочей станции или сохраните утвержденные образы виртуальных машин для этой работы. Одним из примеров изображения, которое можно использовать в качестве отправной точки, является Виртуальная машина для обработки и анализа данных (DSVM).

В некоторых случаях использование виртуальных машин может быть запрещено политикой. Ищите альтернативные варианты, например добавление Microsoft Dev Box и виртуального рабочего стола Azure. Вы также можете использовать Docker для инициализации машин, содержащих предварительно созданные образы.

Однако по мере созревания этого этапа, и когда требуются расширенные эксперименты, перейдите к управляемым вычислительным экземплярам и предпочтите варианты, интегрированные в рамках рабочего процесса. Оцените, можно ли использовать вычислительные экземпляры Azure Machine Learning для тренировки и инференса в целях разработки и тестирования. Вычислительные кластеры могут обрабатывать большие наборы данных и сложные модели.

Машинное обучение Azure предоставляет решения на основе кода с помощью пакета SDK и параметров с низким кодом, таких как автоматизированное машинное обучение и визуальный конструктор. Пакет SDK для Python предлагает несколько способов обучения моделей, каждый из которых содержит различные функции. Машинное обучение также поддерживает расширенную оптимизацию и распределенные вычислительные технологии, такие как ORTModule ONNX Runtime Training, DeepSpeed и LoRA, чтобы ускорить процесс обучения.

GenAIOps

Ключевые действия на этом этапе начинаются с обнаружения и оценки существующих моделей для определения предварительно обученного для конкретного варианта использования. Это итеративный процесс. После того как вы найдете подходящую модель, может потребоваться ее уточнение для адаптации к конкретной области, что также включает итеративные шаги и требует определенного уровня координации.

Для интеграции и развертывания моделей требуются специализированные инструменты и методики, которые выходят за рамки традиционных возможностей MLOps, включая оркестрацию моделей, векторные индексы, запросы и блоки кода.

Инструменты

Чтобы решить задачи обнаружения, воспользуйтесь преимуществами каталогов моделей, включающих модели из различных поставщиков. Каталог моделей на портале Azure AI Foundry позволяет оценивать модели из тщательно отобранных коллекций и эффективно развертывать модели.

Поток подсказок Azure Machine Learning может помочь с разработкой кода оркестрации, созданием прототипов, экспериментированием, итерацией и разработкой подсказок. Эти потоки можно развернуть на управляемых Azure Machine Learning конечных точках. Оцените, можно ли запускать и развертывать потоки с помощью существующей технологии конвейера CI/CD.

Развертывание

На этом этапе модель развертывается на платформе размещения и интерференции или на уровне обслуживающего слоя нагрузок ИИ. API-интерфейсы необходимо упаковать как масштабируемый контейнер. Платформа контейнеров может быть управляемой вычислительной или пользовательской платформой размещения. Операционные практики должны обеспечить безопасное развертывание и позволять откат.

Начните с платформы как службы (PaaS) и бессерверных решений, таких как Azure OpenAI в моделях Foundry, чтобы упростить процессы внедрения и управления. Рассмотрите возможность использования бессерверного API Машинного обучения Azure для объединения доступа к конечным точкам. Управляемые вычислительные кластеры — это жизнеспособный вариант для расширенных потребностей. Самостоятельное размещение в AKS — это еще один вариант. Убедитесь, что вы правильно масштабируете вычислительные ресурсы и сохраняете правильную изоляцию от других рабочих нагрузок. Вы также можете рассмотреть такие варианты, как полное размещение вашей модели в качестве инфраструктуры как услуги (IaaS). IaaS обеспечивает гибкость, но может добавить рабочее бремя. Эти параметры описаны на платформе приложений.

На этом этапе есть последняя возможность выявить проблемы перед внедрением модели в рабочую среду. Тестовые процессы должны включать шаги проверки, чтобы убедиться, что модель настроена для предоставления прогнозов, как ожидалось.

Модель следует интегрировать в существующую рабочую среду, следуя прогрессивным процессам воздействия и используя параллельные развертывания. Канарейская модель является распространенным способом развертывания новых моделей. С помощью этого метода база пользователей постепенно увеличивается. Развертывание blue-green — это другой метод.

Инструменты

Для развертывания моделей для вывода можно использовать Конвейеры машинного обучения Azure или Azure Pipelines. Машинное обучение предоставляет несколько функций для упрощенных операций, включая подготовку узлов, обновления ОС, автомасштабирование, мониторинг и изолированные виртуальные сети.

Машинное обучение также поддерживает сине-зеленое развертывание, что позволяет одной конечной точке содержать несколько развертываний.

Если вы используете другие платформы размещения, такие как приложения контейнеров Azure или служба приложение Azure, вы несете ответственность за операции, включая подготовку и масштабирование. Используйте конвейеры Azure DevOps, GitHub или любую технологию CI/CD по вашему выбору в этих случаях.

Наблюдение

Мониторинг является ключевой стратегией и применяется на всех этапах. Это непрерывный процесс и служит в качестве входных данных для обеспечения качества рабочих нагрузок ИИ, которые тщательно проверяются для обеспечения согласованности и надежности на протяжении всего жизненного цикла разработки. Модели должны отслеживаться как с точки зрения операционной, так и с точки зрения обработки и анализа данных.

Настоятельно рекомендуется использовать процесс мониторинга внутренних циклов DataOps, который измеряет близость к панели качества принятия и проверяет наличие аномалий.

Для предварительно обученных моделей также важно отслеживать смещение и производительность данных с основным акцентом на релевантность. Оцените входные данные (запросы) и выходные данные (завершения), чтобы убедиться, что они актуальны и точны. Кроме того, следует учитывать риски безопасности, такие как попытки управления поведением модели с помощью вредоносных запросов. Убедитесь, что существует тщательная модерация контента, которая проверяет данные в обоих направлениях и фильтрует неуместное содержимое. Эти рекомендации описаны в области проектирования ResponsibleAI.

После развертывания операции мониторинга необходимы для решения таких проблем, как разложение модели. Модели могут стать устаревшими из-за изменений в данных или внешних изменениях, которые могут привести к возникновению неуместных результатов. В качестве упреждающей меры используйте автоматизированные процессы для непрерывного мониторинга, а также оцените и переобучите для обеспечения точности и актуальности. Кроме того, необходимо отслеживать метрики инфраструктуры и рабочей нагрузки, как и в любой другой рабочей нагрузке, чтобы обеспечить оптимальную производительность и надежность. Дополнительные сведения см. в разделе "Тестирование для распада модели".

Инструменты

Инвестируйте в инструменты, которые упрощают сбор метрик с конечных точек вывода, такие как Azure Machine Learning Data Collector.

Кроме того, необходимо наблюдать за производительностью модели, смещением данных и безопасностью и качеством для создания искусственного интеллекта.

Дополнительные сведения см. в следующих статьях:

• Сбор данных из моделей в рабочей среде

• Мониторинг моделей в Azure Machine Learning

• Фильтрация контента в портале Azure AI Foundry

Автоматизация

Рабочие нагрузки искусственного интеллекта являются сложными, так как общий жизненный цикл включает в себя множество ролей, частых изменений и взаимосвязанных шагов. Ручные процессы могут быть подвержены ошибкам и несоответствиям. Автоматизация в размещении модели обработки данных помогает обеспечить повторяемость и эффективность. Автоматизация не всегда требуется, но это эффективный способ управления этими сложностями. Ниже приведены некоторые варианты использования, в которых автоматизация может снизить риски.

• В отличие от традиционного развертывания кода, недетерминированные модели и решения в искусственном интеллекте или машинном обучении требуют итеративного эксперимента и обучения. При совместной работе нескольких команд автоматизация в качестве способа применения стандартизованных процессов может помочь обеспечить согласованность, воспроизводимость и эффективную совместную работу между специалистами по обработке и анализу данных, инженерами и рабочими группами.

  Жизненный цикл модели включает два основных типа обучения:

  • Онлайн-обучение включает последние данные в модель часто, иногда ежедневно, чтобы гарантировать, что решения основаны на последней информации. Это обучение интегрировано в рабочую нагрузку, чтобы модель постоянно обновлялась как часть регулярного процесса.

  • Автономное обучение обучает модель реже, что позволяет более длительный разрыв между обновлениями. Процесс обучения отделен от основной рабочей нагрузки и выполняется асинхронно. После того как новая модель будет готова, она будет интегрирована в систему.

  Надежность может быть скомпрометирована, если обновления редко. Если обновление отсутствует, его можно отложить без серьезных проблем. Эта концепция также относится к данным заземления. Например, если вы используете RAG, необходимо решить, нужно ли использовать последние данные или будет достаточно немного более старых данных. Оба сценария включают балансировку необходимости актуальной информации с практической степенью частоты обновления. Вы должны проводить онлайн-обучение с помощью автоматизации, поскольку требуется высокая частота и надежность. Для автономного обучения из-за требуемой частоты необходимо оправдать автоматизацию путем выполнения анализа затрат. Кроме того, вы можете выполнять автономное обучение с помощью менее дорогих ресурсов, таких как автономное оборудование.

• Традиционные процессы DevOps обычно влияют на структурные изменения. Однако в ИИ и машинном обучении модели обучаются на рабочих данных. Распад модели представляет значительный риск и может привести к снижению производительности с течением времени, если он не отслеживается. Автоматическая сбор и анализ метрик производительности, оповещений и переобучения моделей необходимы для поддержания эффективности модели. Используйте автоматизацию таким образом, чтобы вы могли обнаруживать изменения в зависимостях данных и моделей, чтобы получить четкое представление о текущем состоянии в любое время.

• Модели можно обучить двумя различными подходами.

  • Модели обучены в среде разработки с полными рабочими данными , и только артефакт продвигается через среды. Этот подход может снизить вычислительные затраты, но требует более жесткой безопасности для обработки рабочих данных в более низких средах и может быть невозможно во всех организациях.
  • Модель обучалась в каждой среде. Повышение уровня кода может помочь в стабильности, так как обучающий код проверяется и тестируется в более низких средах, но повышает стоимость вычислений.

  Оба подхода имеют свои преимущества и недостатки. Выбор правильного подхода зависит от приоритетов вашей организации и практики жизненного цикла разработки программного обеспечения (SDLC). Независимо от метода, тщательное тестирование и оценка модели перед развертыванием в рабочей среде являются важными

• Код автоматизации должен включать в себя происхождение данных для поддержки аудита путем предоставления четкой записи этапов обработки данных. Эта запись помогает управлять ожиданиями и позволяет продемонстрировать, как были приняты решения, чтобы решить любые проблемы с результатами.

Цепочки развертывания

В рабочих нагрузках искусственного интеллекта и машинного обучения разработка моделей включает создание, проверку и продвижение моделей на платформы размещения моделей. Важно иметь конвейеры развертывания, которые упрощают сложные рабочие процессы, связанные с обработкой данных, проектированием функций, обучением модели или расширением и развертыванием в рабочей среде. Учитывая недетерминированный характер ИИ, который делает процессы непрозрачными, необходимо включить качественные тесты в конвейеры выпуска и системы мониторинга.

Хотя mlOps и GenAIOps могут потребовать различных действий и основных технологий ИИ, базовые понятия остаются похожими на devOps. Рекомендуется применять рекомендации из существующих процессов DevOps. Интеграция действий ИИ в существующие конвейеры рабочей нагрузки.

Как правило, рабочие нагрузки ИИ включают традиционные развертывания кода. Вы можете обрабатывать развертывание модели вместе с кодом или отдельно в собственном жизненном цикле. Бывший подход предпочтительнее. Подготовьтесь к упаковке моделей и конечных точек вывода вместе с развертыванием рабочей нагрузки, чтобы операции искусственного интеллекта в основном были сосредоточены на подготовке данных, обучении/тонкой настройке, управлении данными и мониторинге.

Повторно оцените, как можно адаптировать следующие ресурсы для покрытия всего жизненного цикла MLOps и GenAIOps, от предпроизводственного этапа до производственного этапа.

• Средства инфраструктуры как кода (IaC)
• Конвейеры CI/CD
• Стек наблюдаемости для отслеживания и выявления проблем

Инструменты

Вы можете расширить рабочие процессы Azure Pipelines и GitHub Actions, часто используемые для CI/CD, к моделям машинного обучения. Они помогают развернуть инфраструктуру машинного обучения, пользовательские компоненты рабочей нагрузки, код оркестрации и модели. Объедините конвейеры Azure Machine Learning с конвейерами Azure DevOps или GitHub. Для получения дополнительной информации см. Использование Azure Pipelines с Azure Machine Learning.

Два основных фактора влияют на выбор правильного сочетания инструментов: вариант использования и возможности. Например, конвейеры машинного обучения Azure отлично подходят для оркестрации, выполняемой учеными-исследователями данных. Он имеет широкий набор функций, который поддерживает повторное использование, кэширование и многое другое. Сведения о выборе инструментов см. в статье "Какие технологии конвейера Azure следует использовать?".

Обслуживание модели

Сфера ИИ/ML характеризуется конкурентоспособностью и непрерывными инновациями. Новые модели часто возникают, новые варианты использования обнаруживаются, а новые источники данных становятся доступными. В результате разложение модели является распространенным вызовом.

Чтобы предотвратить снижение производительности модели или смещение с течением времени, необходимо реализовать автоматизированные процессы для непрерывного мониторинга, оценки и переобучения. Например:

• Поддержка каталога моделей. Автоматизируйте процесс обнаружения новых моделей и обновления каталога.

• Адаптация к новым вариантам использования. Когда новые варианты использования добавляются к требованиям рабочей нагрузки, предвидьте запросы и корректируйте логику обработки данных соответствующим образом.

• Включение новых источников данных. Если новые источники данных могут повысить прогнозную мощность или релевантность модели, обновите конвейер приема данных, чтобы подключиться к этим источникам и извлечь данные из этих источников.

• Оценка соответствия нормативным требованиям. При адаптации к новым возможностям убедитесь, что изменения остаются допустимыми в пределах ограничений организационных или внешних стандартов соответствия.

Реализуйте формальный процесс для отслеживания непрерывного улучшения и включите самосовершенствование в качестве подпроцесса в рамках этого цикла.

Непрерывная эволюция

Регулярно просматривайте и совершенствуйте операции и поощряйте инновации.

Модель зрелости MLOps развивается от ручных процессов к полной автоматизации. Начните с ручной сборки и мониторинга, а затем включите автоматизированные сборки приложений, окружения для обучения и развертывание по этапам, оправданным подробными метриками. Дополнительные сведения см. в модели зрелости MLOps.

Уровни зрелости GenAIOps переходят от базовых моделей к структурированным развертываниям, постепенно используя автоматизированные методы оптимизации. Дополнительные сведения см. в разделе "Продвинуть уровень зрелости" для GenAIOps.

Следующие шаги

Область конструктора: операции