Aprenda conceitos de moderação de texto

Artigo
09/02/2024

Use os modelos de moderação de texto do Content Moderator para analisar conteúdo de texto, como salas de bate-papo, quadros de discussão, chatbots, catálogos de comércio eletrônico e documentos.

A resposta do serviço inclui as seguintes informações:

Palavrões: correspondência baseada em termos com lista integrada de termos profanos em vários idiomas
Classificação: classificação assistida por máquina em três categorias
Dados pessoais
Texto corrigido automaticamente
Original text
Idioma

Palavras ofensivas

Se a API detetar quaisquer termos profanos em qualquer um dos idiomas suportados, esses termos serão incluídos na resposta. A resposta também contém a sua localização (Index) no texto original. O ListId JSON de exemplo a seguir refere-se a termos encontrados em listas de termos personalizadas, se disponíveis.

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 0,
        "Term": "<offensive word>"
    }

Nota

Para o parâmetro language, atribua-o eng ou deixe-o vazio para ver a resposta de classificação assistida por máquina (recurso de visualização). Esta funcionalidade suporta apenas inglês.

Para deteção de termos de palavrões, use o código ISO 639-3 dos idiomas suportados listados neste artigo ou deixe-o vazio.

Classificação

O recurso de classificação de texto assistida por máquina do Content Moderator suporta apenas inglês e ajuda a detetar conteúdo potencialmente indesejado. O conteúdo sinalizado pode ser avaliado como inadequado dependendo do contexto. Indica a probabilidade de cada categoria. O recurso usa um modelo treinado para identificar possíveis linguagem abusiva, depreciativa ou discriminatória. Isto inclui gíria, palavras abreviadas, e palavras ofensivas e com erros ortográficos intencionais.

A seguinte extração na extração JSON mostra um exemplo de saída:

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 1.5113095059859916E-06
    },
    "Category2": {
        "Score": 0.12747249007225037
    },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Explicação

Category1 refere-se à presença potencial de linguagem que pode ser considerada sexualmente explícita ou adulta em determinadas situações.
Category2 refere-se à presença potencial de linguagem que pode ser considerada sexualmente sugestiva ou madura em determinadas situações.
Category3 refere-se à presença potencial de linguagem que pode ser considerada ofensiva em determinadas situações.
Score está entre 0 e 1. Quanto maior a pontuação, maior o modelo está prevendo que a categoria pode ser aplicável. Esse recurso depende de um modelo estatístico em vez de resultados codificados manualmente. Recomendamos testar com seu próprio conteúdo para determinar como cada categoria se alinha às suas necessidades.
ReviewRecommended é verdadeira ou falsa, dependendo dos limiares internos de pontuação. Os clientes devem avaliar se devem usar esse valor ou decidir sobre limites personalizados com base em suas políticas de conteúdo.

Dados pessoais

A funcionalidade de dados pessoais deteta a potencial presença destas informações:

Endereço de e-mail
Endereço postal dos EUA
Endereço IP
Número de telefone dos EUA

O exemplo a seguir mostra um exemplo de resposta:

"pii":{
  "email":[
      {
        "detected":"abcdef@abcd.com",
        "sub_type":"Regular",
        "text":"abcdef@abcd.com",
        "index":32
      }
  ],
  "ssn":[

  ],
  "ipa":[
      {
        "sub_type":"IPV4",
        "text":"255.255.255.255",
        "index":72
      }
  ],
  "phone":[
      {
        "country_code":"US",
        "text":"6657789887",
        "index":56
      }
  ],
  "address":[
      {
        "text":"1 Microsoft Way, Redmond, WA 98052",
        "index":89
      }
  ]
}

Auto-correção

A resposta de moderação de texto pode, opcionalmente, retornar o texto com correção automática básica aplicada.

Por exemplo, o texto de entrada a seguir tem um erro ortográfico.

A rápida raposa castanha salta sobre o cão preguiçoso.

Se você especificar a correção automática, a resposta conterá a versão corrigida do texto:

A rápida raposa castanha salta sobre o cão preguiçoso.

Criar e gerir as suas listas personalizadas de termos

Embora a lista global padrão de termos funcione muito bem para a maioria dos casos, convém fazer uma triagem em relação a termos específicos para as necessidades da sua empresa. Por exemplo, você pode querer filtrar nomes de marcas competitivas de postagens de usuários.

Nota

Existe um limite máximo de 5 listas de termos, sendo que cada lista não pode exceder 10 000 termos.

O exemplo a seguir mostra o ID de lista correspondente:

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 231.
        "Term": "<offensive word>"
    }

O Content Moderator fornece uma API de Lista de Termos com operações para gerenciar listas de termos personalizadas. Confira o início rápido Listas de Termos .NET se você estiver familiarizado com Visual Studio e C#.

Próximos passos

Teste as APIs com o Guia de início rápido.

Partilhar via