Оценка систем ИИ с помощью панели мониторинга ответственного ИИ

Реализация ответственного ИИ на практике требует тщательного проектирования. Но тщательное проектирование может быть трудоемким, ручным и трудоемким без правильного инструментария и инфраструктуры.

Панель мониторинга ответственного использования ИИ предоставляет единый интерфейс, помогающий эффективно и эффективно реализовать ответственное применение ИИ на практике. Он объединяет несколько зрелых инструментов ответственного ИИ в следующих областях:

• Оценка производительности и справедливости модели
• Исследование данных
• Интерпретируемость машинного обучения
• Анализ ошибок
• Контрфактуальный анализ и возмущения
• Причинно-следственный вывод

Панель мониторинга предлагает целостную оценку и отладку моделей, чтобы вы могли принимать обоснованные решения на основе данных. Доступ ко всем этим средствам в одном интерфейсе позволяет:

• Оценка и отладка моделей машинного обучения путем выявления ошибок модели и проблем с справедливостью, диагностики причин возникновения этих ошибок и информирования о действиях по их устранению.

• Повысьте свои возможности принятия решений на основе данных, обращаясь к следующим вопросам:

  "Каково минимальное изменение, которое пользователи могут применить к своим функциям, чтобы получить результат, отличный от модели?"

  "Каково причинное влияние уменьшения или увеличения признака (например, потребление красного мяса) на реальный результат (например, развитие диабета)?"

Вы можете настроить панель мониторинга так, чтобы она включала только подмножество средств, относящихся к вашему варианту использования.

Панель мониторинга ответственного использования ИИ сопровождается pdf-картой показателей. С помощью системы показателей можно экспортировать метаданные ответственного ИИ и аналитические сведения в данные и модели. Затем вы можете поделиться ими в автономном режиме с заинтересованными лицами по продукту и соответствию требованиям.

Компоненты панели мониторинга ответственного применения ИИ

Панель мониторинга ответственного использования ИИ объединяет в полном объеме различные новые и уже существующие средства. Панель мониторинга интегрирует эти средства с Интерфейсом командной строки Машинного обучения Azure версии 2, пакетом SDK Python для Машинного обучения Azure версии 2 и Студия машинного обучения Azure. Вот эти средства:

• Анализ данных, чтобы понять и изучить распределения наборов данных и статистику.
• Обзор модели и оценка справедливости для оценки производительности модели и оценки проблем, связанных с справедливостью в группах (как прогнозы модели влияют на различные группы людей).
• Анализ ошибок, чтобы просмотреть и понять, как ошибки распределяются в наборе данных.
• Интерпретируемость модели (значения важности для агрегатных и отдельных признаков), чтобы понять прогнозы модели и как делаются эти общие и индивидуальные прогнозы.
• Чтобы наблюдать за тем, как возмущения признаков повлияют на прогнозы модели, предоставляя ближайшие точки данных с противоположными или различными прогнозами модели.
• Причинно-следственный анализ для использования исторических данных для просмотра причинно-следственных последствий признаков лечения на реальные результаты.

Вместе эти средства помогут отлаживать модели машинного обучения, а также информировать бизнес-решения на основе данных и модели. На следующей схеме показано, как включить их в жизненный цикл ИИ для улучшения моделей и получения надежной аналитики данных.

Отладка модели

Оценка и отладка моделей машинного обучения имеет критически важное значение для надежности модели, ее интерпретации, справедливости и соответствия требованиям. Это помогает определить, как и почему системы ИИ ведут себя таким образом. Затем эту базу знаний можно использовать для повышения производительности модели. Концептуально отладка модели состоит из трех этапов:

1. Определите, чтобы понять и распознать ошибки модели и (или) проблемы справедливости, ответив на следующие вопросы:

   "Какие типы ошибок есть в моей модели?"

   "В каких областях ошибки наиболее распространены?"

2. Диагностика. Чтобы изучить причины обнаруженных ошибок, ответьте на следующие вопросы:

   "Каковы причины этих ошибок?"

   "Где следует сосредоточить ресурсы для улучшения модели?"

3. Устранение рисков. Чтобы воспользоваться аналитическими сведениями об идентификации и диагностике на предыдущих этапах для выполнения целевых действий по устранению рисков и решить следующие вопросы:

   "Как улучшить модель?"

   "Какие социальные или технические решения существуют для этих вопросов?"

В следующей таблице описано, когда следует использовать компоненты панели мониторинга ответственного использования ИИ для поддержки отладки моделей.

Этап	Компонент	Описание
Identify	Анализ ошибок	Компонент анализа ошибок помогает получить более глубокое представление о распределении сбоев модели и быстро определить ошибочные когорты (подгруппы) данных. Возможности этого компонента на панели мониторинга поступают из пакета анализа ошибок .
Identify	Анализ справедливости	Компонент справедливости определяет группы с точки зрения чувствительных атрибутов, таких как пол, раса и возраст. Затем он оценивает, как прогнозы модели влияют на эти группы и как можно устранить различия. Он оценивает производительность модели путем изучения распределения прогнозирующих значений и значений метрик производительности модели между группами. Возможности этого компонента на панели мониторинга поступают из пакета Fairlearn .
Identify	Общие сведения о модели	Компонент обзора модели объединяет метрики оценки модели в высокоуровневом представлении распределения прогнозов модели для лучшего изучения его производительности. Этот компонент также позволяет оценить справедливость групп, выделяя разбивку производительности модели по конфиденциальным группам.
Диагностика	Анализ данных	Анализ данных визуализирует наборы данных на основе прогнозируемых и фактических результатов, групп ошибок и конкретных признаков. Затем можно определить проблемы, связанные с чрезмерной и недопредставленной, а также узнать, как данные кластеризованы в наборе данных.
Диагностика	Интерпретируемость модели	Компонент интерпретируемости создает понятные для человека объяснения прогнозов модели машинного обучения. Он предоставляет несколько представлений о поведении модели: — Глобальные объяснения (например, какие функции влияют на общее поведение модели распределения кредитов); - Местные объяснения (например, почему заявка заявителя на кредит была одобрена или отклонена); Возможности этого компонента на панели мониторинга поступают из пакета InterpretML .
Диагностика	Анализ противоречащего фактам предположения и анализ "что если"	Этот компонент состоит из двух функций для лучшей диагностики ошибок: — создание набора примеров, в которых минимальные изменения в определенной точке изменяют прогноз модели. То есть в примерах показаны ближайшие точки данных с противоположными прогнозами модели. — Включение интерактивных и пользовательских искажений "Что если" для отдельных точек данных, чтобы понять, как модель реагирует на изменения функций. Возможности этого компонента на панели мониторинга поступают из пакета DiCE .

Действия по устранению рисков доступны с помощью автономных средств, таких как Fairlearn. Дополнительные сведения см. в статье Алгоритмы устранения несправедливости.

Ответственное принятие решений

Принятие решений является одним из самых больших обещаний машинного обучения. Панель мониторинга ответственного использования ИИ помогает принимать обоснованные бизнес-решения с помощью следующих средств:

• Аналитические сведения на основе данных для дальнейшего понимания причинно-следственных последствий на результат с помощью только исторических данных. Пример:

  "Как лекарство влияет на кровяное давление пациента?"

  "Как предоставление рекламных ценностей определенным клиентам повлияет на доход?"

  Эти аналитические сведения предоставляются с помощью компонента причинно-следственных выводов панели мониторинга.

• Аналитика на основе модели позволяет ответить на вопросы пользователей, например, "Что можно сделать, чтобы в следующий раз получить другой результат от ИИ?", чтобы пользователи могли принять меры. Эти аналитические сведения предоставляются специалистам по обработке и анализу данных с помощью компонента "что, если ".

Возможности разведочного анализа данных, причинно-следственного вывода и контрфактуального анализа помогают принимать обоснованные решения на основе модели и данных.

Следующие компоненты панели мониторинга ответственного использования ИИ поддерживают ответственное принятие решений:

• Анализ данных. Здесь можно повторно использовать компонент анализа данных, чтобы понять распределение данных и выявить перепредставленность и недопредставленность. Исследование данных является важной частью принятия решений, так как невозможно принимать обоснованные решения о когорте, которая недостаточно представлены в данных.

• Причинно-следственный вывод. Компонент причинно-следственного вывода оценивает, как изменяется реальный результат при наличии вмешательства. Это также помогает создавать перспективные мероприятия, моделируя результаты различных мероприятий и создавая правила, чтобы определить, какие когорты населения выиграют от конкретного вмешательства. В совокупности эти функциональные возможности позволяют применять новые политики и влиять на реальные изменения.

  Возможности этого компонента поступают из пакета EconML , который оценивает разнородные эффекты обработки на основе данных наблюдений с помощью машинного обучения.

• Контрфактуальный анализ. Здесь можно повторно использовать компонент контрфактуального анализа для создания минимальных изменений, применяемых к функциям точки данных, которые приводят к противоположным прогнозам модели. Например, Тейлор получил бы одобрение кредита от ИИ, если бы они заработали 10 000 долларов США в годовом доходе и было открыто на две кредитные карты меньше.

  Предоставление этой информации пользователям сообщает их точку зрения. Он обучает их тому, как они могут принять меры для получения желаемого результата от ИИ в будущем.

  Возможности этого компонента поступают из пакета DiCE .

Причины использования панели мониторинга ответственного ИИ

Хотя в отдельных средствах для конкретных областей ответственного применения ИИ достигнут прогресс, специалистам по обработке и анализу данных часто приходится использовать различные инструменты для комплексной оценки своих моделей и данных. Например, им может потребоваться совместно использовать интерпретируемость модели и оценку справедливости.

Если специалисты по обработке и анализу данных обнаруживают проблему справедливости в одном средстве, им необходимо перейти к другому средству, чтобы понять, какие факторы данных или модели лежат в основе проблемы, прежде чем предпринимать какие-либо действия по устранению рисков. Следующие факторы еще больше усложняют этот сложный процесс:

• Нет центрального места для обнаружения и изучения инструментов, расширяя время, необходимое для исследования и изучения новых методов.
• Различные инструменты не взаимодействуют друг с другом. Специалисты по обработке и анализу данных должны выполнять обработку наборов данных, моделей и других метаданных при их передаче между инструментами.
• Метрики и визуализации трудно сравнить, а результаты трудно поделиться.

Панель мониторинга ответственного использования ИИ бросает вызов этому статус-кво. Это комплексное, но настраиваемое средство, которое объединяет фрагментированные интерфейсы в одном месте. Это позволяет легко подключиться к единой настраиваемой платформе для отладки модели и принятия решений на основе данных.

С помощью панели мониторинга ответственного применения ИИ можно создавать когорты наборов данных, передавать их всем поддерживаемым компонентам и отслеживать работоспособность модели для определенных когорт. Вы можете дополнительно сравнить аналитические сведения из всех поддерживаемых компонентов в различных предварительно созданных когортах, чтобы выполнить дезагрегированное анализ и найти слепые пятна модели.

Когда вы будете готовы поделиться этими сведениями с другими заинтересованными лицами, вы сможете легко извлечь их с помощью системы показателей ответственного использования ИИ в формате PDF. Приложите отчет в формате PDF к отчетам о соответствии требованиям или поделитесь им с коллегами, чтобы создать доверие и получить их утверждение.

Способы настройки панели мониторинга ответственного применения ИИ

Преимущество панели мониторинга ответственного использования ИИ заключается в ее настройке. Она позволяет пользователям разрабатывать специализированные комплексные рабочие процессы отладки и принятия решений, которые соответствуют их конкретным потребностям.

Не хватает вдохновения? Ниже приведены некоторые примеры того, как можно объединить компоненты панели мониторинга для анализа сценариев различными способами.

Поток панели мониторинга ответственного применения ИИ	Вариант использования
Анализ данных анализа > ошибок в обзоре > модели	Определение ошибок модели и их диагностика путем распознавания базового распределения данных
Анализ данных оценки > справедливости в обзоре > модели	Определение проблем справедливости и их диагностика путем распознавания базового распределения данных
Обзор > модели анализ > ошибок, контрфактуальный анализ и "что если"	Диагностика ошибок в отдельных экземплярах с помощью анализа противоречащих фактам предположений (минимальное изменение, чтобы привести к другому прогнозу модели)
Анализ данных обзора > модели	Распознавание первопричины ошибок и проблем справедливости, вызванных дисбалансом данных или недостаточной репрезентацией определенной когорты данных
Интерпретируемость обзора > модели	Диагностика ошибок модели путем распознавания того, каким образом модель сделала прогнозы
> Анализ данных причинно-следственных выводов	Чтобы различать корреляции и причинно-следственные связи в данных или выбрать лучшие методы лечения для получения положительного результата
Интерпретируемость > причинно-следственных выводов	Чтобы узнать, оказывают ли факторы, которые модель использовала для прогнозирования, оказывают какое-либо причинно-следственное влияние на реальный результат
> Анализ контрфактуальных данных и "что если"	Ответ на вопросы клиентов о том, что они могут сделать в следующий раз, чтобы получить другой результат от системы ИИ

Люди, кто должен использовать панель мониторинга ответственного применения ИИ

Следующие пользователи могут использовать панель мониторинга ответственного применения ИИ и соответствующую систему показателей ответственного применения ИИ для создания доверия с системами ИИ:

• Специалисты по машинному обучению и специалисты по обработке и анализу данных, заинтересованные в отладке и улучшении моделей машинного обучения перед развертыванием
• Специалисты по машинному обучению и специалисты по обработке и анализу данных, заинтересованные в обмене своими медицинскими записями модели с менеджерами по продуктам и заинтересованными лицами для создания доверия и получения разрешений на развертывание
• Менеджеры по продуктам и заинтересованные лица, которые просматривают модели машинного обучения перед развертыванием
• Сотрудники по рискам, которые просматривают модели машинного обучения, чтобы понять проблемы справедливости и надежности
• Поставщики решений ИИ, которые хотят объяснить пользователям решения модели или помочь им улучшить результат
• Специалисты в строго регулируемых пространствах, которым необходимо ознакомиться с моделями машинного обучения с регулирующими органами и аудиторами

Поддерживаемые сценарии и ограничения

• Панель мониторинга ответственного применения ИИ в настоящее время поддерживает модели регрессии и классификации (двоичные и многоклассовые), обученные на основе табличных структурированных данных.
• Панель мониторинга ответственного применения ИИ в настоящее время поддерживает модели MLflow, зарегистрированные в Машинном обучении Azure только с использованием варианта sklearn (scikit-learn). Модели scikit-learn должны реализовывать predict()/predict_proba() методы, или модель должна быть заключена в класс, реализующий методы predict()/predict_proba() . Модели должны быть загружены в среде компонентов и должны быть доступны для выбора.
• Панель мониторинга ответственного использования ИИ в настоящее время визуализирует до 5 КБ точек данных в пользовательском интерфейсе панели мониторинга. Перед передачей на панель мониторинга необходимо уменьшить объем набора данных до 5 КБ или меньше.
• Входные данные набора данных для панели мониторинга ответственного применения ИИ должны быть кадрами данных Pandas в формате Parquet. Разреженные данные NumPy и SciPy в настоящее время не поддерживаются.
• Панель мониторинга ответственного использования ИИ в настоящее время поддерживает числовые или категориальные функции. Для категориальных признаков пользователь должен явно указать имена признаков.
• Панель мониторинга ответственного применения ИИ в настоящее время не поддерживает наборы данных с более чем 10 000 столбцов.
• Панель мониторинга ответственного использования ИИ в настоящее время не поддерживает модель AutoML MLFlow.

Дальнейшие действия

• Узнайте, как создать панель мониторинга ответственного ИИ с помощью CLI и пакета SDK или пользовательского интерфейса Студии Машинного обучения Azure.
• Узнайте, как создать систему показателей ответственного применения ИИ на основе аналитических сведений, наблюдаемых на панели мониторинга ответственного применения ИИ.