Оценка ошибок в моделях машинного обучения
Одной из самых больших проблем с текущими методиками отладки моделей является использование статистических метрик для оценки моделей в наборе данных производительности. Точность модели может быть неоднородной в подгруппах данных, и могут быть входные когорты, для которых модель чаще всего завершается сбоем. Прямыми последствиями этих сбоев являются отсутствие надежности и безопасности, появление проблем справедливости и потеря доверия к машинному обучению в целом.
Анализ ошибок отходит от метрик агрегированной точности. Он предоставляет разработчикам прозрачное распределение ошибок и позволяет им эффективно выявлять и диагностировать ошибки.
Компонент анализа ошибок панели мониторинга ответственного искусственного интеллекта предоставляет специалистам по машинному обучению более глубокое понимание распределения сбоев модели и помогает им быстро выявлять ошибочные когорты данных. Этот компонент определяет когорты данных с более высоким уровнем ошибок по сравнению с общей частотой ошибок производительности. Он вносит свой вклад в этап идентификации рабочего процесса жизненного цикла модели с помощью следующих средств:
- Дерево принятия решений, которое показывает когорты с высокой частотой ошибок.
- Тепловая карта, которая визуализирует влияние входных функций на частоту ошибок в когортах.
Расхождения в ошибках могут возникать, когда система не соответствует определенным демографическим группам или редко наблюдаемым входным когортам в обучающих данных.
Возможности этого компонента поступают из пакета анализа ошибок , который создает профили ошибок модели.
Используйте анализ ошибок, когда необходимо:
- Получите глубокое представление о том, как сбои модели распределяются по набору данных, а также по нескольким входным и функциональным измерениям.
- Разбейте статистические метрики производительности, чтобы автоматически обнаруживать ошибочные когорты для информирования о действиях по устранению рисков.
Дерево ошибок
Часто шаблоны ошибок являются сложными и включают в себя несколько функций. Разработчики могут испытывать трудности при изучении всех возможных сочетаний функций для обнаружения скрытых карманов данных с критическими сбоями.
Чтобы снизить нагрузку, визуализация двоичного дерева автоматически разделяет данные теста производительности на интерпретируемые подгруппы с неожиданно высокой или низкой частотой ошибок. Другими словами, дерево использует признаки из входных данных, чтобы максимально разделить ошибки и успешные прогнозы модели. Для каждого узла, определяющего подгруппу данных, пользователи могут исследовать следующие сведения:
- Частота ошибок: часть экземпляров в узле, для которых модель неверна. Это показано в интенсивности красного цвета.
- Покрытие ошибок: часть всех ошибок, которые попадают в узел. Он отображается через скорость заполнения узла.
- Представление данных: количество экземпляров в каждом узле дерева ошибок. Он отображается через толщину входящего ребра к узлу, а также общее количество экземпляров в узле.
Тепловая карта ошибок
Представление срезает данные на основе одномерной или двумерной сетки входных признаков. Пользователи могут выбрать для анализа наиболее интересующие признаки из входных данных.
Тепловая карта визуализирует ячейки с высокой погрешностью, используя темный красный цвет, чтобы привлечь внимание пользователя к этим областям. Эта функция особенно полезна, когда темы ошибок различаются в разных секциях, что часто происходит на практике. В этом представлении идентификации ошибок анализ в значительной степени определяется пользователями и их знаниями или гипотезами о том, какие функции могут быть наиболее важными для понимания сбоев.
Дальнейшие действия
- Узнайте, как создать панель мониторинга ответственного ИИ с помощью CLI и пакета SDK или пользовательского интерфейса Студии Машинного обучения Azure.
- Изучите поддерживаемые визуализации анализа ошибок.
- Узнайте, как создать систему показателей ответственного применения ИИ на основе аналитических сведений, наблюдаемых на панели мониторинга ответственного применения ИИ.