Анализ противоречащего фактам предположения и анализ "что если"

  • Статья

Контрфактуалы "что если" решают вопрос о том, что модель спрогнозирует при изменении входных данных действия. Они позволяют понять и отладить модель машинного обучения с точки зрения того, как она реагирует на изменения входных данных (функций).

Стандартные методы интерпретации позволяют приблизить модель машинного обучения или ранжировать признаки по их прогнозной важности. Напротив, контрфактуальный анализ "опрашивает" модель, чтобы определить, какие изменения в конкретной точке данных перевернут решение модели.

Такой анализ помогает разобрать влияние коррелированных признаков в изоляции. Это также помогает получить более тонкое представление о том, сколько изменений признаков необходимо, чтобы увидеть перевернутые решения модели для моделей классификации и изменения решений для моделей регрессии.

Компонент "Контрфактуальный анализ" и "что если " панели мониторинга ответственного применения ИИ имеет две функции:

  • Создайте набор примеров с минимальными изменениями в определенной точке таким образом, чтобы они изменяли прогноз модели (показывая ближайшие точки данных с противоположными прогнозами модели).
  • Разрешить пользователям создавать собственные возмущения "что если", чтобы понять, как модель реагирует на изменения функций.

Одним из основных отличий компонента контрфактуального анализа панели мониторинга ответственного применения ИИ является тот факт, что вы можете определить, какие признаки следует изменять, и их допустимые диапазоны для допустимых и логических контрфактуальных примеров.

Возможности этого компонента поступают из пакета DiCE .

Используйте контрфактуалы "что если", когда необходимо:

  • Изучите критерии справедливости и надежности в качестве оценщика принятия решений, изменив такие важные атрибуты, как пол и этническая принадлежность, а затем наблюдая за изменением прогнозов модели.
  • Выполните углубленную отладку определенных экземпляров ввода.
  • Предоставьте пользователям решения и определите, что они могут сделать, чтобы получить желаемый результат от модели.

Как создаются контрфактуальные примеры?

Для создания контрфактуалов DiCE реализует несколько методов, не зависящих от модели. Эти методы применяются к любому классификатору непрозрачного поля или регрессии. Они основаны на выборке близлежащих точек к входной точке при оптимизации функции потерь на основе близости (и, необязательно, разреженности, разнообразия и осуществимости). В настоящее время поддерживаются следующие методы:

  • Случайный поиск. Этот метод выборки случайным образом указывает точки рядом с точкой запроса и возвращает контрфактуальные значения в виде точек, прогнозируемая метка которых является требуемым классом.
  • Генетический поиск. Этот метод выполняет выборку точек с помощью генетического алгоритма, учитывая общую цель оптимизации близости к точке запроса, изменения как можно меньшего числа признаков и поиска разнообразия между созданными контрфактуалами.
  • Поиск в дереве KD. Этот алгоритм возвращает контрфактуалы из обучающего набора данных. Он создает дерево KD для точек данных обучения на основе функции расстояния, а затем возвращает ближайшие точки к определенной точке запроса, которая возвращает нужную прогнозируемую метку.

Дальнейшие действия