Что такое безопасность содержимого ВИ Azure?
Безопасность содержимого ИИ Azure обнаруживает вредное содержимое, созданное пользователем, и содержимое, созданное ИИ, в приложениях и службах. Безопасность содержимого ИИ Azure включает API текста и изображения, которые позволяют обнаруживать материалы, которые являются вредными. У нас также есть интерактивная студия безопасности контента, которая позволяет просматривать, изучать и пробовать пример кода для обнаружения вредного содержимого в разных модальности.
Программное обеспечение фильтрации содержимого может помочь вашему приложению соответствовать нормативным требованиям или поддерживать предназначенную среду для пользователей.
Эта документация включает статьи следующих типов:
- Краткие руководства — инструкции по началу работы и отправке запросов в службу.
- Руководства — содержат инструкции для более специфического или специализированного использования службы.
- Статьи с основными понятиями — здесь подробно описываются функциональность и возможности службы.
Где используется
Ниже приведены несколько сценариев, в которых разработчику программного обеспечения или команде требуется служба модерации контента:
- Запросы пользователей, отправленные в созданную службу искусственного интеллекта.
- Содержимое, созданное с помощью моделей генерированных ИИ.
- интернет-магазины с модерацией каталогов продукции и создаваемого пользователями содержимого;
- компании-разработчики игр, которые модерируют создаваемые пользователями игровые артефакты и чаты;
- Социальные платформы обмена сообщениями, которые модерируют изображения и текст, добавленные пользователями.
- корпоративные медиакомпании, внедряющие централизованную модерацию своего содержимого;
- поставщики образовательных решений K-12, фильтрующие неуместное содержимое для учащихся и преподавателей.
Внимание
Вы не можете использовать безопасность содержимого ИИ Azure для обнаружения незаконных образов эксплуатации детей.
Типы продуктов
В этой службе доступны различные типы анализа. В следующей таблице описаны доступные в настоящее время API.
| Тип | Функция |
|---|---|
| Экраны запроса (предварительная версия) | Сканирует текст для риска атаки пользователей на крупную языковую модель. Краткое руководство |
| Обнаружение заземления (предварительная версия) | Определяет, находятся ли текстовые ответы больших языковых моделей (LLM) в исходных материалах, предоставляемых пользователями. Краткое руководство |
| Обнаружение защищенного текста материалов (предварительная версия) | Сканирует созданный ИИ текст для известного текстового содержимого (например, текст песни, статьи, рецепты, выбранное веб-содержимое ). Краткое руководство |
| API пользовательских категорий (предварительная версия) | Позволяет создавать и обучать собственные пользовательские категории контента и сканировать текст для совпадений. Краткое руководство |
| API пользовательских категорий (быстрая версия) (предварительная версия) | Позволяет определить новые вредоносные шаблоны содержимого и сканировать текст и изображения для совпадений. Практическое руководство |
| Анализ API текста | Сканирует текст для сексуального содержимого, насилия, ненависти и самоповредения с многоуровневыми уровнями серьезности. |
| Анализ API изображений | Сканирует изображения сексуального содержимого, насилия, ненависти и самоповредения с многоуровневыми уровнями серьезности. |
Студия безопасности содержимого
Azure AI Content Safety Studio — это онлайн-средство, предназначенное для обработки потенциально оскорбительных, рискованных или нежелательных материалов с помощью передовых моделей машинного обучения режим палатки. Он предоставляет шаблоны и настраиваемые рабочие процессы, позволяя пользователям выбирать и создавать собственную систему con режим палатки ration. Пользователи могут отправить собственное содержимое или попробовать его с предоставленным примером содержимого.
Content Safety Studio не только содержит стандартные модели ИИ, но и встроенные списки терминов Майкрософт, чтобы пометить ненормативность и оставаться в курсе новых тенденций. Вы также можете отправить собственные блок-списки, чтобы повысить охват вредного содержимого, относящееся к вашему варианту использования.
Studio также позволяет настроить рабочий процесс модерации, где можно непрерывно отслеживать и улучшать производительность кон режим палатки раций. Это поможет вам удовлетворить требования к контенту от всех видов отраслей, таких как игры, медиа, образование, электронная коммерция и многое другое. Предприятия могут легко подключать свои службы к Студии и иметь свои недостатки режим палатки оценены в режиме реального времени, будь то созданные пользователем или ИИ.
Все эти возможности обрабатываются студией и серверной частью; клиентам не нужно беспокоиться о разработке моделей. Вы можете подключить данные для быстрой проверки и отслеживать ключевые показатели эффективности соответствующим образом, такие как технические метрики (задержка, точность, отзыв) или бизнес-метрики (скорость блокировки, объем блоков, пропорции категорий, языковые пропорции и многое другое). С помощью простых операций и конфигураций клиенты могут быстро тестировать различные решения и находить оптимальные варианты, а не тратить время на эксперименты с пользовательскими моделями или выполнять модерацию вручную.
Функции Content Safety Studio
В Студии безопасности содержимого доступны следующие функции службы безопасности содержимого ВИ Azure:
Умеренное текстовое содержимое. С помощью средства модерации текста можно легко выполнять тесты на текстовом содержимом. Независимо от того, хотите ли вы протестировать одно предложение или весь набор данных, наше средство предлагает удобный пользовательский интерфейс, который позволяет оценить результаты теста непосредственно на портале. Вы можете поэкспериментировать с различными уровнями конфиденциальности для настройки фильтров содержимого и управления блок-списками, гарантируя, что содержимое всегда модерировано до точных спецификаций. Кроме того, с возможностью экспорта кода вы можете реализовать средство непосредственно в приложении, оптимизируя рабочий процесс и экономя время.
Умеренное содержимое изображения. С помощью средства модерации изображений можно легко выполнять тесты на изображениях, чтобы обеспечить соответствие стандартам содержимого. Наш пользовательский интерфейс позволяет оценить результаты теста непосредственно на портале, и вы можете экспериментировать с различными уровнями конфиденциальности для настройки фильтров содержимого. После настройки параметров можно легко экспортировать код для реализации средства в приложении.
Мониторинг активности в Интернете: мощная страница мониторинга позволяет легко отслеживать использование и тенденции использования API модерации в различных модальности. С помощью этой функции вы можете получить доступ к подробным сведениям об ответе, включая распределение категорий и серьезности, задержку, ошибку и обнаружение списка блокировок. Эта информация содержит полный обзор производительности con режим палатки ration, что позволяет оптимизировать рабочий процесс и убедиться, что содержимое всегда модерировано в соответствии с вашими точными спецификациями. С помощью нашего пользовательского интерфейса вы можете быстро и легко перейти на страницу мониторинга, чтобы получить доступ к информации, необходимой для принятия обоснованных решений о стратегии con режим палатки ration. У вас есть инструменты, необходимые для того, чтобы оставаться на вершине вашей режим палатки производительности и достичь целей содержимого.
Безопасность
Использование идентификатора Microsoft Entra или управляемого удостоверения для управления доступом
Для повышения безопасности можно использовать идентификатор Microsoft Entra или Управляемое удостоверение (MI) для управления доступом к ресурсам.
- Управляемое удостоверение автоматически включено при создании ресурса безопасности содержимого.
- Идентификатор Microsoft Entra поддерживается как в сценариях API, так и в пакетах SDK. Ознакомьтесь с общим руководством по службам искусственного интеллекта для проверки подлинности с помощью идентификатора Microsoft Entra. Вы также можете предоставить доступ другим пользователям в организации, назначив им роли пользователей и читателей Cognitive Services. Дополнительные сведения о предоставлении пользователям доступа к ресурсам Azure с помощью портал Azure см. в руководстве по управлению доступом на основе ролей.
Шифрование неактивных данных
Узнайте, как безопасность содержимого ИИ Azure обрабатывает шифрование и расшифровку данных. Управляемые клиентом ключи (CMK), также известные как "Принести собственный ключ" (BYOK), обеспечивают большую гибкость для создания, поворота, отключения и отзыва элементов управления доступом. Они также дают возможность выполнять аудит ключей шифрования, используемых для защиты ваших данных.
Цены
В настоящее время безопасность содержимого ИИ Azure имеет ценовую категорию F0 и S0 . Дополнительные сведения см. на странице цен Azure.
Лимиты служб
Требования к входным данным
См. следующий список для требований к входным данным для каждой функции.
- Анализ API текста:
- Максимальная длина по умолчанию: 10K символов (по мере необходимости разделены длинные тексты).
- Анализ API изображений:
- Максимальный размер файла изображения: 4 МБ
- Размеры от 50 x 50 до 2048 x 2048 пикселей.
- Изображения могут быть в форматах JPEG, PNG, GIF, BMP, TIFF или WEBP.
- Экраны запроса (предварительная версия):
- Максимальная длина запроса: 10K символов.
- До пяти документов с общей сложности 10K символов.
- Обнаружение приземления (предварительная версия):
- Максимальная длина источников заземления: 55 000 символов (на вызов API).
- Максимальная длина текста и запроса: 7500 символов.
- Обнаружение защищенных материалов (предварительная версия)
- Максимальная длина по умолчанию: 1K символов.
- Минимальная длина по умолчанию: 110 символов (для сканирования завершения LLM, а не запросов пользователей).
- Пользовательские категории (стандартные):
- Максимальная длина входных данных вывода: 1K символов.
Поддержка языков
Модели безопасности содержимого специально обучены и протестированы на следующих языках: английский, немецкий, японский, испанский, французский, итальянский, португальский и китайский. Однако служба может работать на многих других языках, но качество может отличаться. В любом случае вам следует провести собственное тестирование, чтобы убедиться, что она работает для вашего приложения.
Пользовательские категории в настоящее время хорошо работают только на английском языке. Вы можете попытаться использовать другие языки с собственным набором данных, но качество может отличаться на разных языках.
Дополнительные сведения см. в разделе "Поддержка языков".
Доступность по регионам
Чтобы использовать API безопасности содержимого, необходимо создать ресурс безопасности содержимого Azure в поддерживаемых регионах. В настоящее время функции безопасности содержимого доступны в следующих регионах Azure:
| Область/регион | API модерации | Экраны запросов (предварительная версия) |
Защищенный материал обнаружение (предварительная версия) |
Заземленность обнаружение (предварительная версия) |
Пользовательские категории (быстрое) (предварительная версия) |
Пользовательские категории (стандартный) |
Блок-списки |
|---|---|---|---|---|---|---|---|
| Восточная часть США | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ | ✅ |
| Восточная часть США 2 | ✅ | ✅ | ✅ | ✅ | |||
| Западная часть США | ✅ | ||||||
| Западная часть США 2 | ✅ | ✅ | ✅ | ||||
| Центральная часть США | ✅ | ✅ | |||||
| Центрально-северная часть США | ✅ | ✅ | ✅ | ||||
| Центрально-южная часть США | ✅ | ✅ | ✅ | ||||
| Восточная Канада | ✅ | ✅ | ✅ | ||||
| Северная Швейцария | ✅ | ✅ | ✅ | ✅ | |||
| Центральная Швеция | ✅ | ✅ | ✅ | ✅ | |||
| южная часть Соединенного Королевства | ✅ | ✅ | ✅ | ||||
| Центральная Франция | ✅ | ✅ | ✅ | ||||
| Западная Европа | ✅ | ✅ | ✅ | ✅ | ✅ | ||
| Восточная Япония | ✅ | ✅ | ✅ | ||||
| Восточная Австралия | ✅ | ✅ | ✅ | ✅ | ✅ |
Обратитесь к нам , если вам нужны другие регионы для вашего бизнеса.
Скорость запросов
Функции безопасности содержимого имеют ограничения частоты запросов в запросах в секунду (RPS) или запросы на 10 секунд (RP10S). В следующей таблице приведены ограничения скорости для каждой функции.
| Ценовая категория | API модерации | Экраны запросов (предварительная версия) |
Защищенный материал обнаружение (предварительная версия) |
Заземленность обнаружение (предварительная версия) |
Пользовательские категории (быстрое) (предварительная версия) |
Пользовательские категории (стандартный) (предварительная версия) |
|---|---|---|---|---|---|---|
| F0 | 1000 RP10S | 1000 RP10S | 1000 RP10S | 50 RP10S | 1000 RP10S | 5 RPS |
| S0 | 1000 RP10S | 1000 RP10S | 1000 RP10S | 50 RP10S | 1000 RP10S | 5 RPS |
Если вам нужна более быстрая ставка, обратитесь к нам , чтобы запросить.
Свяжитесь с нами
Если вы застряли, отправьте нам сообщение или используйте мини-приложение обратной связи в нижней части любой страницы Microsoft Learn.
Следующие шаги
Следуйте краткому руководству, чтобы приступить к работе с безопасностью содержимого ИИ Azure в приложении.
Обратная связь
Ожидается в ближайшее время: в течение 2024 года мы постепенно откажемся от GitHub Issues как механизма обратной связи для контента и заменим его новой системой обратной связи. Дополнительные сведения см. в разделе https://aka.ms/ContentUserFeedback.
Отправить и просмотреть отзыв по