Оценка информационной панели ответственного ИИ

  • 6 мин

При создании информационной панели ответственного искусственного интеллекта можно изучить его содержимое в Студия машинного обучения Azure для оценки модели.

При открытии панели мониторинга ответственного искусственного интеллекта студия пытается автоматически подключить ее к вычислительному экземпляру. Вычислительный экземпляр предоставляет необходимые вычислительные ресурсы для интерактивного изучения на панели мониторинга.

Выходные данные каждого компонента, добавленного в конвейер, отражаются на панели мониторинга. В зависимости от выбранных компонентов можно найти следующие аналитические сведения на панели мониторинга ответственного искусственного интеллекта:

  • Анализ ошибок
  • Пояснения
  • Контрфактуалы
  • Анализ причинно-следственных связей

Давайте рассмотрим, что мы можем просмотреть для каждого из этих аналитических сведений.

Изучение анализа ошибок

Ожидается, что модель будет делать ложные прогнозы или ошибки. С помощью функции анализа ошибок на панели мониторинга ответственного искусственного интеллекта вы можете просмотреть и понять, как ошибки распределяются в наборе данных. Например, существуют ли определенные подгруппы или когорты в наборе данных, для которого модель делает более ложные прогнозы?

При включении анализа ошибок можно просмотреть два типа визуальных элементов на панели мониторинга ответственного искусственного интеллекта:

  • Карта дерева ошибок: позволяет изучить, какая комбинация подгрупп приводит к созданию более ложных прогнозов.

Screenshot of error tree of diabetes classification model.

  • Тепловая карта ошибок: представляет обзор ошибок модели в масштабе одного или двух функций.

Screenshot of error heat map of diabetes classification model.

Изучение объяснений

Всякий раз, когда вы используете модель для принятия решений, вы хотите понять, как модель достигает определенного прогноза. Каждый раз, когда вы обучили модель, которая слишком сложна для понимания, вы можете запускать объясняющие модели для вычисления важности функции. Другими словами, вы хотите понять, как каждая из входных функций влияет на прогноз модели.

Существуют различные статистические методы , которые можно использовать в качестве объяснителей моделей. Чаще всего объяснение имитации обучает простую интерпретируемую модель на одних и том же данных и задачах. В результате можно изучить два типа важности признаков:

  • Важность агрегатной функции. Показывает, как каждая функция в тестовых данных влияет на прогнозы модели в целом.

Screenshot of aggregate feature importance for diabetes dataset.

  • Важность отдельных признаков: показывает, как каждая функция влияет на индивидуальное прогнозирование.

Screenshot of individual feature importance for one row in the diabetes dataset.

Изучение контрфактуалов

Пояснения могут дать аналитические сведения о относительной важности функций прогнозов модели. Иногда может потребоваться выполнить шаг дальше и понять, изменятся ли прогнозы модели, если входные данные будут отличаться. Чтобы узнать, как выходные данные модели будут изменяться на основе изменения входных данных, можно использовать контрфактуалы.

Вы можете изучить контрфактуальные примеры, выбрав точку данных и прогноз требуемой модели для этой точки. При создании счетчика what-if панель мониторинга открывает панель, чтобы понять, какие входные данные привели бы к желаемому прогнозированию.

Изучение причинного анализа

Объяснения и контрфактуалы помогают понять прогнозы модели и последствия признаков прогнозов. Хотя интерпретация модели уже может быть целью сама по себе, может потребоваться дополнительная информация, чтобы помочь вам улучшить принятие решений.

Анализ причин использует статистические методы для оценки среднего эффекта функции в требуемом прогнозе. Он анализирует, как некоторые вмешательства или лечения могут привести к лучшему результату, по всей совокупности или для конкретного человека.

Существует три доступных вкладки на панели мониторинга ответственного искусственного интеллекта при включении причинного анализа:

  • Агрегатные причинные эффекты: показывает средние причинные эффекты для предопределенных функций лечения (функции, которые необходимо изменить для оптимизации прогнозов модели).
  • Отдельные причинные эффекты: показывает отдельные точки данных и позволяет изменять особенности лечения для изучения их влияния на прогноз.
  • Политика лечения: показывает, какие части точек данных пользуются больше всего от лечения.