Мониторинг качества модели и работоспособности конечных точек
Служба модели ИИ Мозаики предоставляет расширенные средства для мониторинга качества и работоспособности моделей и их развертываний. В следующей таблице представлен обзор каждого средства мониторинга.
| Инструмент | Description | Целевые назначения | Открыть |
|---|---|---|---|
| Журналы служб | stdout Записывает и stderr передает потоки из конечной точки обслуживания модели. |
Полезно для отладки во время развертывания модели. Используется print(..., flush=true) для немедленного отображения в журналах. |
Доступно с помощью вкладки "Журналы" в пользовательском интерфейсе обслуживания. Журналы передаются в режиме реального времени и могут экспортироваться через API. |
| Создание журналов | Отображает выходные данные процесса, который автоматически создает рабочую среду Python для конечной точки обслуживания модели. | Полезно для диагностики проблем с развертыванием модели и зависимостей. | Доступно после завершения сборки модели в разделе "Журналы сборки " на вкладке "Журналы ". Журналы можно экспортировать через API. |
| Метрики работоспособности конечных точек | Предоставляет аналитические сведения о метриках инфраструктуры, таких как задержка, скорость запросов, скорость ошибок, использование ЦП и использование памяти. | Важно понимать производительность и работоспособность инфраструктуры обслуживания. | Доступно по умолчанию в пользовательском интерфейсе обслуживания за последние 14 дней. Данные также можно передавать в средства наблюдения в режиме реального времени. |
| Таблицы вывода | Автоматически регистрирует запросы и ответы по сети в разностные таблицы, управляемые каталогом Unity. | Используйте это средство для мониторинга и отладки качества модели или ответов, создания наборов данных обучения или проведения аудита соответствия требованиям. | Можно включить для существующих и новых конечных точек, обслуживающих модели, с помощью одного щелчка в пользовательском интерфейсе или API. |