Использование мониторинга рисков и Сейф ty в Azure OpenAI Studio (предварительная версия)

При использовании развертывания модели Azure OpenAI с фильтром содержимого может потребоваться проверка результаты действия фильтрации. Эти сведения можно использовать для дальнейшего изменения конфигурации фильтра для удовлетворения конкретных бизнес-потребностей и принципов ответственного ИИ.

Azure OpenAI Studio предоставляет панель мониторинга рисков и Сейф сти мониторинга для каждого развертывания, использующего конфигурацию фильтра содержимого.

Мониторинг рисков доступа и Сейф ty

Чтобы получить доступ к мониторингу рисков и Сейф ty, вам потребуется ресурс Azure OpenAI в одном из поддерживаемых регионов Azure: Восточная часть США, Северная Швейцария, Центральная Франция, Центральная Швеция, Восточная Канада. Вам также требуется развертывание модели, использующее конфигурацию фильтра содержимого.

Перейдите в Azure OpenAI Studio и войдите с учетными данными, связанными с ресурсом Azure OpenAI. Перейдите на вкладку "Развертывания" слева и выберите развертывание модели из списка. На странице развертывания выберите вкладку "Риски" и Сейф ty в верхней части.

Обнаружение содержимого

В области обнаружения содержимого отображаются сведения о действии фильтра содержимого. Конфигурация фильтра содержимого применяется, как описано в документации по фильтрации содержимого.

Описание отчета

Данные фильтрации содержимого отображаются следующими способами:

• Общее число заблокированных запросов и частота блокировок: в этом представлении отображается глобальное представление о количестве и скорости содержимого, отфильтрованного по времени. Это помогает понять тенденции вредоносных запросов от пользователей и увидеть любые непредвиденные действия.
• Заблокированные запросы по категориям: в этом представлении отображается объем содержимого, заблокированного для каждой категории. Это статистика всех вредоносных запросов в выбранном диапазоне времени. В настоящее время она поддерживает категории вреда ненависти, сексуального, самоповредения и насилия.
• Скорость блокировки по категориям: в этом представлении показано скорость блокировки для каждой категории с течением времени. В настоящее время она поддерживает категории вреда ненависти, сексуального, самоповредения и насилия.
• Распределение серьезности по категориям: в этом представлении показаны уровни серьезности, обнаруженные для каждой категории вреда, в течение всего выбранного диапазона времени. Это не ограничивается заблокированным содержимым, а включает все содержимое, помеченное фильтрами содержимого.
• Распределение частоты серьезности по категориям: в этом представлении показаны показатели обнаруженных уровней серьезности с течением времени для каждой категории вреда. Выберите вкладки для переключения между поддерживаемыми категориями.

Рекомендованные действия

Настройте конфигурацию фильтра контента, чтобы обеспечить дальнейшее соответствие бизнес-потребностям и принципам ответственного искусственного интеллекта.

Потенциально оскорбление обнаружения пользователей

Панель обнаружения потенциально оскорбительных пользователей использует отчеты о злоупотреблениях на уровне пользователей для отображения сведений о пользователях, поведение которых привело к блокировке содержимого. Цель заключается в том, чтобы получить представление о источниках вредного содержимого, чтобы вы могли принимать адаптивные меры, чтобы гарантировать, что модель используется ответственно.

Чтобы использовать потенциально жестокое обнаружение пользователей, вам потребуется:

• Конфигурация фильтра содержимого, примененная к развертыванию.
• Необходимо отправить сведения об идентификаторе пользователя в запросах завершения чата (например, см. параметр пользователя API завершения).

  Внимание

  Используйте строки GUID для идентификации отдельных пользователей. Не включать конфиденциальную личную информацию в поле "пользователь".

• База данных Azure Обозреватель, настроенная для хранения результатов анализа пользователей (инструкции ниже).

Настройка базы данных azure data Обозреватель

Чтобы защитить конфиденциальность данных пользователей и управлять разрешением данных, мы поддерживаем возможность для наших клиентов перенести собственное хранилище, чтобы получить подробные аналитические сведения об обнаружении потенциально оскорбительных пользователей (включая GUID пользователя и статистику по вредному запросу по категориям), хранящиеся в соответствии с требованиями и с полным контролем. Выполните следующие действия, чтобы включить его:

1. В Azure OpenAI Studio перейдите к развертыванию модели, с помощью которой вы хотите настроить анализ злоупотреблений пользователем, и нажмите кнопку "Добавить хранилище данных".
2. Введите необходимые сведения и нажмите кнопку "Сохранить". Мы рекомендуем создать новую базу данных для хранения результатов анализа.
3. После подключения хранилища данных выполните следующие действия, чтобы предоставить разрешение на запись результатов анализа в подключенную базу данных:
   1. Перейдите на страницу ресурса Azure OpenAI в портал Azure и перейдите на вкладку "Удостоверение".
   2. Включите состояние для назначаемого системой удостоверения и скопируйте созданный идентификатор.
   3. Перейдите к ресурсу Azure Data Обозреватель в портал Azure, выберите базы данных и выберите конкретную базу данных, созданную для хранения результатов анализа пользователей.
   4. Выберите разрешения и добавьте роль администратора в базу данных.
   5. Вставьте удостоверение Azure OpenAI, созданное на предыдущем шаге, и выберите его. Теперь удостоверение ресурса Azure OpenAI разрешено для чтения и записи в учетную запись хранения.
4. Предоставьте доступ к подключенной базе данных Azure data Обозреватель пользователям, которым необходимо просмотреть результаты анализа:
   1. Перейдите к ресурсу Azure Data Обозреватель, который вы подключили, выберите управление доступом и добавьте роль читателя кластера Azure Data Обозреватель для пользователей, которым требуется получить доступ к результатам.
   2. Выберите базы данных и выберите конкретную базу данных , подключенную к хранилищу результатов анализа злоупотреблений на уровне пользователя. Выберите разрешения и добавьте роль читателя базы данных для пользователей, которым требуется получить доступ к результатам.

Описание отчета

Потенциально неправильное обнаружение пользователей зависит от сведений о пользователе, которые клиенты отправляют с помощью вызовов API Azure OpenAI вместе с содержимым запроса. Показаны следующие аналитические сведения:

• Общее число потенциально оскорбительных пользователей: в этом представлении показано количество обнаруженных потенциально оскорбительных пользователей с течением времени. Это пользователи, для которых обнаружен шаблон злоупотреблений и которые могут привести к высокому риску.
• Потенциально оскорбительный список пользователей: это представление представляет собой подробный список обнаруженных потенциально оскорбительных пользователей. Он предоставляет следующие сведения для каждого пользователя:
  • UserGUID: это отправляется клиентом через поле "пользователь" в API Azure OpenAI.
  • Оценка злоупотреблений: это цифра, созданная моделью для анализа запросов и поведения каждого пользователя. Оценка нормализуется до 0-1. Более высокая оценка указывает на более высокий риск злоупотреблений.
  • Тенденция оценки злоупотреблений: изменение оценки злоупотреблений в течение выбранного диапазона времени.
  • Дата оценки: дата анализа результатов.
  • Общее соотношение запросов на злоупотребление и количество
  • Соотношение и число злоупотреблений по категориям

Рекомендованные действия

Объедините эти данные с обогащенными сигналами, чтобы проверить, являются ли обнаруженные пользователи действительно оскорбительными или нет. Если они есть, выполните такие действия, как регулирование или приостановка работы пользователя, чтобы обеспечить ответственное использование приложения.

Следующие шаги

Затем создайте или измените конфигурацию фильтра содержимого в Azure OpenAI Studio.

• Настройка фильтров содержимого с помощью Службы Azure OpenAI