Поделиться через

Мониторинг справедливости и предвзятости для моделей классификации

  • Статья

Важно

Эта функция доступна в общедоступной предварительной версии.

С помощью мониторинга Databricks Lakehouse можно отслеживать прогнозы модели классификации, чтобы увидеть, работает ли модель аналогичным образом с данными, связанными с разными группами. Например, можно выяснить, генерирует ли классификатор по умолчанию кредит одинаковой ложноположительной ставке для заявителей из разных демографических показателей.

Работа с метриками справедливости и смещения

Чтобы отслеживать справедливость и смещение, создается выражение логического среза. Группа, определяемая выражением среза, вычисляющим значение True , считается защищенной группой (то есть группой, в которую вы проверяете смещение). Например, если создать slicing_exprs=["age < 25"], срез, определенный с помощью slice_key параметра = "возраст < 25" slice_value = True , считается защищенной группой, а срез, определенный параметром slice_key = "возраст < 25" slice_value = False , считается незащищенной группой.

Монитор автоматически вычисляет метрики, которые сравнивают производительность модели классификации между группами. В таблице метрик профиля отображаются следующие метрики:

  • predictive_parity, который сравнивает точность модели между группами.
  • predictive_equality, который сравнивает коэффициент ложноположительных результатов между группами.
  • equal_opportunity, который определяет, является ли метка одинаково хорошо прогнозируемой для обеих групп.
  • statistical_parity, который измеряет разницу в прогнозируемых результатах между группами.

Эти метрики вычисляются только в том случае, если тип анализа — InferenceLog и problem_type — classification.

Определения этих метрик см. в следующих справочниках:

Выходные данные метрик справедливости и смещения

Дополнительные сведения об этих метриках и их просмотре в таблицах метрик см. в справочнике по API . Все метрики справедливости и смещения имеют один и тот же тип данных, как показано ниже, и отображают оценки справедливости, вычисляемые во всех прогнозируемых классах в виде пар "один и все".

Вы можете создать оповещение для этих метрик. Например, владелец модели может настроить оповещение, когда метрика справедливости превышает некоторое пороговое значение, а затем направить это оповещение вызывающей стороне или группе для исследования.