Información sobre los conceptos de moderación de texto

Use los modelos de moderación de texto de Content Moderator para analizar el contenido de texto (por ejemplo, salas de chat, paneles de discusión, bots de chat, catálogos de comercio electrónico y documentos).

La respuesta del servicio incluye la siguiente información:

• Palabras soeces: coincidencias basadas en términos con la lista integrada de términos soeces en varios idiomas
• Clasificación: clasificación asistida por máquina en tres categorías
• Datos personales
• Texto corregido automáticamente
• Texto original
• Idioma

Palabras soeces

Si la API detecta un término soez en cualquiera de los idiomas admitidos, estos términos se incluyen en la respuesta. La respuesta contiene también su ubicación (Index) en el texto original. El ListId en el siguiente ejemplo de JSON hace referencia a los términos encontrados en las listas de términos personalizadas, si hubiera alguna.

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 0,
        "Term": "<offensive word>"
    }

Nota

Para el parámetro language (idioma), asigne eng o déjelo en blanco para ver la respuesta classification (clasificación) asistida por máquina. Esta característica solo admite inglés.

Para la detección de palabras soeces, use el código ISO 639-3 de los idiomas admitidos que se enumeran en este artículo, o deje el campo en blanco.

clasificación

La característica de clasificación de texto asistida por máquina de Content Moderator admite únicamente el idioma inglés y ayuda a detectar contenido potencialmente no deseado. El contenido marcado puede considerarse como inapropiado según el contexto. Indica la probabilidad de cada categoría. La característica utiliza un modelo entrenado para identificar posible lenguaje ofensivo, despectivo o discriminatorio. Por ejemplo, jerga, palabras abreviadas, palabras ofensivas y palabras mal escritas intencionadamente.

El siguiente extracto de JSON muestra una salida de ejemplo:

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 1.5113095059859916E-06
    },
    "Category2": {
        "Score": 0.12747249007225037
    },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Explicación

• Category1 se refiere a la posible presencia de lenguaje que se puede considerar sexualmente explícito o para adultos en ciertas situaciones.
• Category2 se refiere a la posible presencia de lenguaje que se puede considerar sexualmente insinuante o para adultos en ciertas situaciones.
• Category3 se refiere a la posible presencia de lenguaje que se puede considerar ofensivo en ciertas situaciones.
• Score se encuentra entre 0 y 1. Cuanto más alta sea la puntuación, mayor será la predicción del modelo sobre la aplicabilidad de la categoría. Esta característica usa un modelo estadístico, en lugar de resultados codificados manualmente. Se recomienda realizar pruebas con contenido propio para determinar cómo se alinea cada categoría en función de sus propios requisitos.
• ReviewRecommended es true o false según los umbrales de puntuación internos. Los clientes deben evaluar si quieren usar este valor o decidir si desean umbrales personalizados basados en sus directivas de contenido.

Datos personales

La característica de datos personales detecta la posible presencia de esta información:

• Dirección de correo electrónico
• Dirección de correo postal en EE. UU.
• Dirección IP
• Número de teléfono en EE. UU.

El siguiente es un ejemplo de respuesta:

"pii":{
  "email":[
      {
        "detected":"abcdef@abcd.com",
        "sub_type":"Regular",
        "text":"abcdef@abcd.com",
        "index":32
      }
  ],
  "ssn":[

  ],
  "ipa":[
      {
        "sub_type":"IPV4",
        "text":"255.255.255.255",
        "index":72
      }
  ],
  "phone":[
      {
        "country_code":"US",
        "text":"6657789887",
        "index":56
      }
  ],
  "address":[
      {
        "text":"1 Microsoft Way, Redmond, WA 98052",
        "index":89
      }
  ]
}

Corrección automática

Opcionalmente, la respuesta de moderación de texto puede aplicar corrección automática básica al texto.

Por ejemplo, el texto de entrada siguiente tiene un error ortográfico.

The quick brown fox jumps over the lazzy dog.

Si especifica la autocorrección, la respuesta contiene la versión corregida del texto:

The quick brown fox jumps over the lazy dog.

Creación y administración de las listas personalizadas de términos

Si bien la lista global y predeterminada de términos funciona muy bien para la mayoría de los casos, puede que desee analizar términos específicos para sus necesidades empresariales. Por ejemplo, quizá desee filtrar nombres de marcas de la competencia presentes en las publicaciones de los usuarios.

Nota

Hay un límite máximo de 5 listas de términos y cada lista no debe superar los 10 000 términos.

En el ejemplo siguiente se muestra el identificador de la lista de coincidencias:

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 231.
        "Term": "<offensive word>"
    }

Content Moderator proporciona una API de lista de términos con operaciones para administrar listas de términos personalizadas. Comience con la consola de API de listas de términos y use los ejemplos de código de la API REST. Consulte también el inicio rápido de .NET de listas de términos si está familiarizado con C# y Visual Studio.

Pasos siguientes

Pruebe las API con la consola de API de moderación de texto.