Мониторинг злоупотреблений

Служба Azure OpenAI обнаруживает и устраняет экземпляры повторяющегося содержимого и (или) поведения, которые предлагают использование службы способом, который может нарушить кодекс поведения или другие применимые условия продукта. Сведения о том, как обрабатываются данные, можно найти на странице "Данные, конфиденциальность и безопасность". Применяется к измененным мониторингу злоупотреблений с помощью этой формы: Проверка ограниченного доступа Azure OpenAI: измененный мониторинг злоупотреблений.

Компоненты мониторинга злоупотреблений

Существует несколько компонентов для мониторинга злоупотреблений:

• Классификация содержимого: модели классификатора обнаруживают вредоносный язык и (или) изображения в запросах пользователей (входных данных) и завершениях (выходных данных). Система ищет категории вреда, как определено в требованиях к содержимому, и назначает уровни серьезности, как описано более подробно на странице фильтрации содержимого.

• Отслеживание шаблонов злоупотреблений. Мониторинг злоупотреблений в Службе Azure OpenAI рассматривает шаблоны использования клиентов и использует алгоритмы и эвристики для обнаружения индикаторов потенциальных злоупотреблений. Обнаруженные шаблоны рассматривают, например, частоту и серьезность, при которой вредное содержимое обнаруживается в запросах и завершениях клиента.

• Проверка человека и решение. Если запросы и (или) завершения помечены с помощью классификации содержимого и отслеживания шаблонов злоупотреблений, как описано выше, авторизованные сотрудники Майкрософт могут оценить помеченное содержимое, а также подтвердить или исправить классификацию или определение на основе предопределенных рекомендаций и политик. Доступ к данным для проверки человека осуществляется только авторизованными сотрудниками Майкрософт с помощью рабочих станций Secure Access (SAW) с помощью JIT-запроса на утверждение, предоставленное руководителями групп. Для ресурсов Службы Azure OpenAI, развернутых в Европейской экономической зоне, авторизованные сотрудники Майкрософт находятся в Европейской экономической зоне.

• Уведомление и действие. Если порог оскорбительных действий был подтвержден на основе предыдущих трех шагов, клиент уведомляется об определении по электронной почте. За исключением случаев серьезных или повторяющихся злоупотреблений, клиенты обычно получают возможность объяснить или исправить их, а также реализовать механизмы для предотвращения повторения — жестокого поведения. Неспособность устранить поведение (или повторяющиеся или серьезные нарушения) может привести к приостановке или прекращению доступа клиента к ресурсам Azure OpenAI и (или) возможностям.

Следующие шаги

• Ознакомьтесь с дополнительными сведениями о базовых моделях, лежащих в основе Azure OpenAI.
• Дополнительные сведения о понимании и устранении рисков, связанных с приложением, см . в обзоре методик ответственного ИИ для моделей Azure OpenAI.
• Узнайте больше о том, как данные обрабатываются в связи с фильтрацией содержимого и мониторингом злоупотреблений: данные, конфиденциальность и безопасность для Azure OpenAI Service.