Lär dig begrepp om textmoderering

Använd Content Moderators textmodereringsmodeller för att analysera textinnehåll, till exempel chattrum, diskussionstavlor, chattrobotar, e-handelskataloger och dokument.

Tjänstsvaret innehåller följande information:

• Svordomar: termbaserad matchning med inbyggd lista över olämpliga termer på olika språk
• Klassificering: maskinassisterad klassificering i tre kategorier
• Personuppgifter
• Automatiskt korrigerad text
• Ursprunglig text
• Språk

Olämpligt språk

Om API:et identifierar några olämpliga termer på något av de språk som stöds inkluderas dessa termer i svaret. Svaret innehåller också deras plats (Index) i den ursprungliga texten. ListId I följande JSON-exempel refererar till termer som finns i anpassade termlistor om de är tillgängliga.

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 0,
        "Term": "<offensive word>"
    }

Anteckning

För språkparametern tilldelar eng eller lämnar du den tom för att se det maskinassisterade klassificeringssvaret (förhandsversionsfunktionen). Den här funktionen stöder endast engelska.

För identifiering av svordomar använder du ISO 639-3-koden för de språk som stöds i den här artikeln eller lämnar den tom.

Klassificering

Content Moderators maskinassisterade textklassificeringsfunktion stöder endast engelska och hjälper till att identifiera potentiellt oönskat innehåll. Det flaggade innehållet kan bedömas som olämpligt beroende på kontext. Det förmedlar sannolikheten för varje kategori. Funktionen använder en tränad modell för att identifiera eventuellt missbruk, nedsättande eller diskriminerande språk. Detta inkluderar slang, förkortade ord, stötande och avsiktligt felstavade ord.

Följande extrahering i JSON-extraktet visar ett exempel på utdata:

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 1.5113095059859916E-06
    },
    "Category2": {
        "Score": 0.12747249007225037
    },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Förklaring

• Category1 avser potentiell förekomst av språk som kan betraktas som sexuellt explicit eller vuxen i vissa situationer.
• Category2 avser potentiell förekomst av språk som kan betraktas som sexuellt suggestivt eller moget i vissa situationer.
• Category3 avser potentiell förekomst av språk som kan betraktas som stötande i vissa situationer.
• Score är mellan 0 och 1. Ju högre poäng, desto högre är modellen som förutsäger att kategorin kan vara tillämplig. Den här funktionen förlitar sig på en statistisk modell i stället för manuellt kodade resultat. Vi rekommenderar att du testar med ditt eget innehåll för att avgöra hur varje kategori överensstämmer med dina krav.
• ReviewRecommended är antingen sant eller falskt beroende på tröskelvärdena för interna poäng. Kunder bör utvärdera om de vill använda det här värdet eller besluta om anpassade tröskelvärden baserat på deras innehållsprinciper.

Personuppgifter

Funktionen för personliga data identifierar den potentiella förekomsten av den här informationen:

• E-postadress
• E-postadress till USA
• IP-adress
• Telefonnummer i USA

I följande exempel visas ett exempelsvar:

"pii":{
  "email":[
      {
        "detected":"abcdef@abcd.com",
        "sub_type":"Regular",
        "text":"abcdef@abcd.com",
        "index":32
      }
  ],
  "ssn":[

  ],
  "ipa":[
      {
        "sub_type":"IPV4",
        "text":"255.255.255.255",
        "index":72
      }
  ],
  "phone":[
      {
        "country_code":"US",
        "text":"6657789887",
        "index":56
      }
  ],
  "address":[
      {
        "text":"1 Microsoft Way, Redmond, WA 98052",
        "index":89
      }
  ]
}

Automatisk korrigering

Textmodereringssvaret kan också returnera texten med grundläggande automatisk korrigering tillämpad.

Följande indatatext har till exempel en felstavning.

Den snabba bruna räven hoppar över den lazzy hunden.

Om du anger automatisk korrigering innehåller svaret den korrigerade versionen av texten:

Den snabba bruna räven hoppar över den lata hunden.

Skapa och hantera dina anpassade listor med termer

Även om standardlistan med globala termer fungerar bra för de flesta fall, kanske du vill skärma mot termer som är specifika för dina affärsbehov. Du kanske till exempel vill filtrera bort eventuella konkurrenskraftiga varumärken från inlägg från användare.

Anteckning

Det finns en maxgräns på 5 termlistor där varje lista kan innehålla högst 10 000 termer.

I följande exempel visas matchande list-ID:

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 231.
        "Term": "<offensive word>"
    }

Content Moderator tillhandahåller ett API för termlista med åtgärder för att hantera anpassade termlistor. Börja med API-konsolen termlistor och använd REST API-kodexemplen. Läs även snabbstarten Termlistor .NET om du är bekant med Visual Studio och C#.

Nästa steg

Testa API:erna med API-konsolen textmoderering.