Отладка и анализ приложения с помощью трассировки

Трассировка MLflow предоставляет глубокое понимание поведения вашего приложения, обеспечивая полноценный процесс отладки в различных средах. Захватив полный цикл ответа запроса (отслеживание входных и выходных данных) и поток выполнения, вы можете визуализировать и понять логику и процесс принятия решений в приложении.

Изучение входных, выходных данных и метаданных для каждого промежуточного шага (например, получение, вызовы инструментов, взаимодействия LLM) и связанные отзывы пользователей или результаты оценки качества позволяют осуществлять:

• В разработке: получите подробные сведения о том, что происходит под абстракциями библиотек GenAI, помогая точно определить, где возникают проблемы или непредвиденные действия.
• В рабочей среде: мониторинг и отладка проблем в режиме реального времени. Трассировки фиксируют ошибки и могут включать операционные параметры, такие как задержка на каждом шаге, помогая в быстрой диагностике.

Трассировка MLflow обеспечивает единый опыт работы между разработкой и продуктивной средой: вы инструментируете приложение один раз, и трассировка работает согласованно в обеих средах. Это позволяет легко прослеживать трассы в предпочитаемой среде, будь то IDE, записная книжка или панель мониторинга в продакшене, устраняя необходимость переключаться между несколькими инструментами или поиском в обширных журналах.

Мониторинг производительности и оптимизация затрат

Понимание и оптимизация производительности и стоимости приложений GenAI имеет решающее значение. Трассировка MLflow позволяет записывать и отслеживать ключевые операционные метрики, такие как задержка, затраты и использование ресурсов на каждом этапе выполнения приложения.

Это позволяет:

• Отслеживайте и выявляйте узкие места производительности в сложных конвейерах.
• Отслеживайте использование ресурсов, чтобы обеспечить эффективную операцию.
• Оптимизируйте экономическую эффективность, понимая, где используются ресурсы или токены.
• Определите области улучшения производительности в взаимодействии с кодом или моделью.

Кроме того, трассировка MLflow совместима с OpenTelemetry, стандартной спецификацией наблюдаемости в отрасли. Эта совместимость позволяет экспортировать данные трассировки в различные службы в существующем стеке наблюдаемости. Дополнительные сведения см. в разделе "Экспорт OpenTelemetry ".