Поделиться через

Мониторинг справедливости и предвзятости для моделей классификации

С помощью Databricks Lakehouse Monitoring можно отслеживать прогнозы модели классификации, чтобы увидеть, работает ли модель аналогично на данных, относящихся к разным группам. Например, можно изучить, генерирует ли классификатор кредитных дефолтов одинаковый уровень ложных срабатываний для заявителей из разных демографических групп.

Работа с метриками справедливости и предвзятости

Чтобы отслеживать справедливость и предвзятость, создайте булевое выражение для среза. Группа, определяемая срезовым выражением True, считается защищенной группой (т. е. группой, на которую проверяется предвзятость). Например, если вы создаете slicing_exprs=["age < 25"], срез, определенный slice_key = "возраст < 25" и считается защищенной группой, и slice_value = True срез, идентифицированный slice_key = "возраст < 25" и slice_value = False считается незащищенной группой.

Монитор автоматически вычисляет метрики, которые сравнивают производительность модели классификации между группами. В таблице метрик профиля отображаются следующие метрики:

  • predictive_parity, который сравнивает точность модели между группами.
  • predictive_equality, который сравнивает уровень ложноположительных результатов между группами.
  • equal_opportunity, который измеряет, прогнозируется ли метка одинаково хорошо для обеих групп.
  • statistical_parity, который измеряет разницу в прогнозируемых результатах между группами.

Эти метрики вычисляются только в том случае, если тип анализа равен InferenceLog, а problem_type является classification.

Определения этих метрик см. в следующих ссылках:

Выходные данные метрик справедливости и предвзятости

Дополнительные сведения об этих метриках и их просмотре в таблицах метрик см. в справочнике по API . ** Все метрики справедливости и предвзятости используют один и тот же тип данных, как показано ниже, демонстрируя оценки справедливости, вычисляемые для всех предсказанных классов по принципу "один-против-всех" в виде пар "ключ-значение".

Вы можете создать оповещение об этих метриках. Например, владелец модели может настроить оповещение, когда метрика справедливости превышает некоторое пороговое значение, и затем перенаправить это оповещение на дежурного или команду для расследования.