Поделиться через

Понятия модерации текста

Внимание

Azure Content Moderator устарел по состоянию на февраль 2024 г. и будет прекращен 15 марта 2027 г. Она заменена безопасностью содержимого ИИ Azure, которая предлагает расширенные функции ИИ и улучшенную производительность.

Azure AI Content Safety — это комплексное решение, предназначенное для обнаружения вредоносного содержимого, созданного пользователями и искусственным интеллектом, в приложениях и службах. Безопасность содержимого ИИ Azure подходит для многих сценариев, таких как интернет-магазины, игровые компании, платформы социальных сообщений, корпоративные медиа-компании и поставщики решений для образования K-12. Ниже приведен обзор ее функций и возможностей.

  • API обнаружения текста и изображений: сканировать текст и изображения для сексуального содержимого, насилия, ненависти и самоповредения с несколькими уровнями серьезности.
  • Content Safety Studio: онлайн-инструмент, предназначенный для обработки потенциально оскорбительного, рискованного или нежелательного содержания с использованием наших новейших моделей машинного обучения для модерации контента. Он предоставляет шаблоны и настраиваемые рабочие процессы, позволяющие пользователям создавать собственные системы модерации контента.
  • Поддержка языка: Безопасность содержимого ИИ Azure поддерживает более 100 языков и специально обучается на английском, немецком, японском, испанском, французском, итальянском, португальском и китайском языках.

Безопасность содержимого ИИ Azure предоставляет надежное и гибкое решение для ваших потребностей в модерации контента. Переключившись с Content Moderator на безопасность содержимого ИИ Azure, вы можете воспользоваться новейшими инструментами и технологиями, чтобы гарантировать, что содержимое всегда модерировано до ваших точных спецификаций.

Узнайте больше о безопасности содержимого в Azure и исследуйте, как это может улучшить вашу стратегию модерирования контента.

Модели модерации текста Azure Content Moderator можно использовать для анализа текстового содержимого, таких как комнаты чата, доски обсуждений, чат-боты, каталоги электронной коммерции и документы.

Ответ службы будет содержать следующие данные:

  • Ненормативная лексика: сопоставление по терминам с использованием встроенного списка ненормативных слов на разных языках.
  • Классификация: распределение по трем категориям с применением машинных алгоритмов.
  • Личные данные
  • Автоматически исправленный текст
  • Оригинальный текст
  • Язык

Ненормативная лексика

Если API обнаруживает ненормативную лексику на любом из поддерживаемых языков, эти термины включаются в ответ. В ответе также указывается их расположение (Index) в исходном тексте. В ListId следующем примере JSON ссылается на термины, найденные в настраиваемых списках терминов, если они доступны.

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 0,
        "Term": "<offensive word>"
    }

Примечание.

language Для параметра назначьте eng или оставьте его пустым, чтобы просмотреть ответ на классификацию с помощью компьютера (предварительная версия функции). Эта функция поддерживает только английский язык.

Для обнаружения ненормативной лексики укажите код ISO 639-3 для поддерживаемых языков, которые перечислены в этой статье, или оставьте это поле пустым.

Классификация

Функция классификации текста Content Moderator с машинными алгоритмами поддерживает только английский язык и используется для обнаружения потенциально нежелательного содержимого. Помеченное содержимое может быть оценено как недопустимое в зависимости от контекста. Она передает вероятность каждой категории. Эта функция использует обученную модель для выявления возможных оскорбительных, уничижительных или дискриминационных формулировок. Сюда входят сленг, сокращения, оскорбительные слова и слова с намеренными орфографическими ошибками.

Приведённый ниже фрагмент в формате JSON демонстрирует пример вывода:

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 1.5113095059859916E-06
    },
    "Category2": {
        "Score": 0.12747249007225037
    },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Описание

  • Category1 относится к потенциальному присутствию языка, который может считаться сексуально явным или взрослым в определенных ситуациях.
  • Category2 относится к потенциальному присутствию языка, который может считаться сексуальным или зрелым в определенных ситуациях.
  • Category3 относится к потенциальному присутствию языка, который может рассматриваться как оскорбительный в определенных ситуациях.
  • Score имеет значение в диапазоне от 0 до 1. Чем выше оценка, тем выше вероятность применения категории. Эта возможность использует статистическую модель прогнозирования, а не оценки, кодированные вручную. Мы рекомендуем протестировать с вашим собственным контентом, чтобы определить, как каждая категория соответствует вашим требованиям.
  • ReviewRecommended принимает значения true или false в зависимости от внутренних порогов оценки. Клиенты должны оценить, использовать ли это значение, или определить собственные пороги на основе своих политик контента.

Личные данные

Функция персональных данных обнаруживает потенциальные наличие таких сведений:

  • Адрес электронной почты
  • Почтовый адрес в США
  • IP-адрес
  • Номер телефона США

Ниже показан пример результатов:

"pii":{
  "email":[
      {
        "detected":"abcdef@abcd.com",
        "sub_type":"Regular",
        "text":"abcdef@abcd.com",
        "index":32
      }
  ],
  "ssn":[

  ],
  "ipa":[
      {
        "sub_type":"IPV4",
        "text":"255.255.255.255",
        "index":72
      }
  ],
  "phone":[
      {
        "country_code":"US",
        "text":"6657789887",
        "index":56
      }
  ],
  "address":[
      {
        "text":"1 Microsoft Way, Redmond, WA 98052",
        "index":89
      }
  ]
}

Автокоррекция

Ответ модерации текста, при необходимости, может возвращать текст с применением простой автокоррекции.

Например, приведенный ниже входной текст имеет опечатку.

Быстрая коричневая лиса перепрыгивает через ленивую собаку.

При указании автозамены ответ содержит исправленную версию текста:

Быстрая коричневая лиса перепрыгивает через ленивую собаку.

Создание настраиваемых списков терминов и управление ими

Хотя по умолчанию глобальный список терминов работает отлично для большинства случаев, может потребоваться экранировать условия, относящиеся к вашим бизнес-потребностям. Например, вы можете отфильтровать любые конкурентные бренды от записей пользователей.

Примечание.

Существует ограничение: максимум пять списков терминов, при этом в каждом списке должно быть не более 10 000 терминов.

В следующем примере представлен идентификатор списка:

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 231.
        "Term": "<offensive word>"
    }

Content Moderator предоставляет API списка терминов с операциями для управления пользовательскими списками терминов. Ознакомьтесь с кратким руководством по спискам терминов .NET, если вы знакомы с Visual Studio и C#.

Связанный контент