Informazioni sui concetti di moderazione del testo

Articolo
10/16/2024

Usare i modelli di moderazione del testo di Content Moderator per analizzare i contenuti dei testi, ad esempio chat room, discussioni, chatbot, cataloghi di e-commerce e documenti.

La risposta del servizio include le informazioni seguenti:

Contenuto volgare: corrispondenza dei termini all'elenco integrato di termini volgari in varie lingue
Classificazione: classificazione automatica in tre categorie
Dati personali
Testo corretto automaticamente
Original text
Lingua

Contenuto volgare

Se l'API rileva eventuali termini volgari in una qualsiasi delle lingue supportate, tali termini vengono inclusi nella risposta. La risposta contiene inoltre la loro posizione (Index) nel testo originale. Il ListId nell'esempio di JSON seguente fa riferimento a termini trovati negli elenchi di termini personalizzati, se disponibili.

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 0,
        "Term": "<offensive word>"
    }

Nota

Per il parametro language assegnare eng o lasciarlo vuoto per vedere la risposta alla classificazione automatica (funzionalità di anteprima). Questa funzionalità supporta solo la lingua inglese.

Per rilevare i termini volgari usare il codice ISO 639-3 delle lingue supportate elencate in questo articolo o lasciare il campo vuoto.

Classificazione

La funzione di classificazione del testo automatica di Content Moderator supporta solo la lingua inglese e consente di rilevare i contenuti potenzialmente indesiderati. Il contenuto contrassegnato può essere valutato inappropriato in base al contesto. Comunica la probabilità di ogni categoria. La funzione usa un modello impostato per identificare un eventuale linguaggio offensivo, dispregiativo o discriminatorio. Ciò include gergo, parole abbreviate, parole offensive e scritte intenzionalmente in modo errato.

L'estratto seguente nell'estratto JSON mostra un esempio dell'output:

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 1.5113095059859916E-06
    },
    "Category2": {
        "Score": 0.12747249007225037
    },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Spiegazione

Category1 si riferisce alla potenziale presenza di un linguaggio che può essere considerato sessualmente esplicito o per adulti in determinate situazioni.
Category2 si riferisce alla potenziale presenza di un linguaggio che può essere considerato sessualmente esplicito o per adulti in determinate situazioni.
Category3 si riferisce alla potenziale presenza di un linguaggio che può essere considerato offensivo in determinate situazioni.
Score è compreso tra 0 e 1. Maggiore è il punteggio, più alto è il modello che prevede che la categoria possa essere applicabile. Questa funzionalità si basa su un modello statistico e non su risultati codificati manualmente. Si consiglia di eseguire i test con i propri contenuti per determinare come ogni categoria si allinei alle proprie esigenze.
ReviewRecommended è true o false a seconda delle soglie interne del punteggio. I clienti devono valutare se usare questo valore o optare per le soglie personalizzate in base ai propri criteri relativi ai contenuti.

Dati personali

La funzionalità Dati personali rileva la possibile presenza di queste informazioni:

Indirizzo di posta elettronica
Indirizzo postale degli Stati Uniti
Indirizzo IP
Numero di telefono degli Stati Uniti

L'esempio seguente riporta una risposta di esempio:

"pii":{
  "email":[
      {
        "detected":"abcdef@abcd.com",
        "sub_type":"Regular",
        "text":"abcdef@abcd.com",
        "index":32
      }
  ],
  "ssn":[

  ],
  "ipa":[
      {
        "sub_type":"IPV4",
        "text":"255.255.255.255",
        "index":72
      }
  ],
  "phone":[
      {
        "country_code":"US",
        "text":"6657789887",
        "index":56
      }
  ],
  "address":[
      {
        "text":"1 Microsoft Way, Redmond, WA 98052",
        "index":89
      }
  ]
}

Correzione automatica

La risposta di moderazione del testo può facoltativamente restituire il testo con la correzione automatica di base applicata.

Ad esempio, il testo di input seguente presenta un errore di ortografia.

Cantami o Diva del pelide Achille l'ira funesta.

Se si specifica la correzione automatica, la risposta conterrà la versione corretta del testo:

Cantami o Diva del pelide Achille l'ira funesta.

Creazione e gestione di elenchi di termini personalizzati

Sebbene l'elenco globale dei termini predefinito funzioni alla perfezione nella maggior parte dei casi, è consigliabile confrontarlo con termini specifici per i propri requisiti aziendali. Ad esempio, si consiglia di filtrare qualsiasi marchio della concorrenza dai messaggi degli utenti.

Nota

È previsto un limite massimo di cinque elenchi di termini e ogni elenco non può includere più di 10.000 termini.

L'esempio illustra l'ID elenco corrispondente:

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 231.
        "Term": "<offensive word>"
    }

Content Moderator fornisce un'API per elenchi di termini con operazioni per gestire elenchi di termini personalizzati. Estrarre l'Avvio rapido per gli elenchi di termini in .NET se si ha familiarità con Visual Studio e C#.

Passaggi successivi

Testare le API con la guida introduttiva.

Condividi tramite