Мониторинг справедливости и предвзятости для моделей классификации
Важно
Эта функция доступна в общедоступной предварительной версии.
С помощью мониторинга Databricks Lakehouse можно отслеживать прогнозы модели классификации, чтобы увидеть, работает ли модель аналогичным образом с данными, связанными с разными группами. Например, можно выяснить, генерирует ли классификатор по умолчанию кредит одинаковой ложноположительной ставке для заявителей из разных демографических показателей.
Работа с метриками справедливости и смещения
Чтобы отслеживать справедливость и смещение, создается выражение логического среза. Группа, определяемая выражением среза, вычисляющим значение True
, считается защищенной группой (то есть группой, в которую вы проверяете смещение). Например, если создать slicing_exprs=["age < 25"]
, срез, определенный с помощью slice_key
параметра = "возраст < 25" slice_value
= True
, считается защищенной группой, а срез, определенный параметром slice_key
= "возраст < 25" slice_value
= False
, считается незащищенной группой.
Монитор автоматически вычисляет метрики, которые сравнивают производительность модели классификации между группами. В таблице метрик профиля отображаются следующие метрики:
predictive_parity
, который сравнивает точность модели между группами.predictive_equality
, который сравнивает коэффициент ложноположительных результатов между группами.equal_opportunity
, который определяет, является ли метка одинаково хорошо прогнозируемой для обеих групп.statistical_parity
, который измеряет разницу в прогнозируемых результатах между группами.
Эти метрики вычисляются только в том случае, если тип анализа — InferenceLog
и problem_type
— classification
.
Определения этих метрик см. в следующих справочниках:
- Статья Википедии о справедливости в машинном обучении:
https://en.wikipedia.org/wiki/Fairness_(machine_learning)
- Объяснение определений справедливости, Верма и Рубин, 2018
Выходные данные метрик справедливости и смещения
Дополнительные сведения об этих метриках и их просмотре в таблицах метрик см. в справочнике по API . Все метрики справедливости и смещения имеют один и тот же тип данных, как показано ниже, и отображают оценки справедливости, вычисляемые во всех прогнозируемых классах в виде пар "один и все".
Вы можете создать оповещение для этих метрик. Например, владелец модели может настроить оповещение, когда метрика справедливости превышает некоторое пороговое значение, а затем направить это оповещение вызывающей стороне или группе для исследования.