Familiarisez-vous avec les concepts de modération de texte

Article
09/03/2024

Utilisez les modèles de modération de texte Content Moderator qui permettent d’analyser le contenu textuel, comme ceux des salles de conversation, des forums de discussion, des chatbots, des catalogues de e-commerce et des documents.

La réponse du service inclut les informations suivantes :

Vulgarité : correspondance basée sur des termes avec une liste prédéfinie de termes injurieux dans différentes langues
Classification : classification en trois catégories assistée par ordinateur
Données à caractère personnel
Texte corrigé automatiquement
Texte d’origine
Langage

Termes vulgaires

Si l’API détecte des termes injurieux dans l’une des langues prises en charge, ces termes sont inclus dans la réponse. La réponse contient également leur emplacement (Index) dans le texte d’origine. La valeur ListId dans l’exemple JSON suivant fait référence à des termes se trouvant dans les listes de termes personnalisées, le cas échéant.

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 0,
        "Term": "<offensive word>"
    }

Notes

Pour le paramètre langue, attribuez eng ou laissez-le vide pour voir la réponse de la classification assistée par ordinateur (fonctionnalité en préversion). Cette fonctionnalité prend en charge uniquement l’anglais.

Pour la détection des termes injurieux, utilisez le code ISO 639-3 des langues prises en charge répertoriées dans cet article, ou laissez le paramètre vide.

classification ;

La fonctionnalité de classification de texte assistée par ordinateur de Content Moderator, qui prend en charge uniquement l’anglais, permet de détecter le contenu potentiellement indésirable. Le contenu marqué d’un indicateur peut être considéré comme inapproprié en fonction du contexte. Cela indique la probabilité de chaque catégorie. Cette fonctionnalité utilise un modèle entraîné pour identifier un langage potentiellement abusif, dépréciatif ou discriminatoire. Cela inclut l’argot, les mots abrégés, les mots offensants et les mots intentionnellement mal orthographiés.

L’extrait suivant de l’extrait de code JSON présente un exemple de sortie :

"Classification": {
    "ReviewRecommended": true,
    "Category1": {
        "Score": 1.5113095059859916E-06
    },
    "Category2": {
        "Score": 0.12747249007225037
    },
    "Category3": {
        "Score": 0.98799997568130493
    }
}

Explication

Category1 se réfère à la présence potentielle de langage pouvant être considéré comme sexuellement explicite ou réservé aux adultes dans certaines situations.
Category2 se réfère à la présence potentielle de langage pouvant être considéré comme sexuellement suggestif ou réservé aux adultes dans certaines situations.
Category3 se réfère à la présence potentielle de langage pouvant être considéré comme choquant dans certaines situations.
Score est compris entre 0 et 1. Plus le score est élevé, plus le modèle prédit que la catégorie peut être applicable. Cette fonctionnalité s’appuie sur un modèle statistique plutôt que sur des résultats codés manuellement. Nous vous recommandons d’effectuer le test avec votre propre contenu afin de déterminer comment chaque catégorie correspond à vos besoins.
La valeur de ReviewRecommended est true ou false, selon les seuils de score internes. Les clients doivent évaluer l’opportunité d’utiliser cette valeur ou choisir des seuils personnalisés en fonction de leurs stratégies de contenu.

Données à caractère personnel

La fonctionnalité de données à caractère personnel détecte la présence potentielle des informations suivantes :

Adresse de messagerie
Adresse postale aux États-Unis
Adresse IP
Numéro de téléphone aux États-Unis

L’exemple suivant illustre une réponse :

"pii":{
  "email":[
      {
        "detected":"abcdef@abcd.com",
        "sub_type":"Regular",
        "text":"abcdef@abcd.com",
        "index":32
      }
  ],
  "ssn":[

  ],
  "ipa":[
      {
        "sub_type":"IPV4",
        "text":"255.255.255.255",
        "index":72
      }
  ],
  "phone":[
      {
        "country_code":"US",
        "text":"6657789887",
        "index":56
      }
  ],
  "address":[
      {
        "text":"1 Microsoft Way, Redmond, WA 98052",
        "index":89
      }
  ]
}

Correction automatique

La réponse de modération de texte peut éventuellement retourner le texte avec la correction automatique de base appliquée.

Par exemple, le texte d’entrée suivant a une faute d’orthographe.

The quick brown fox jumps over the lazzy dog.

Si vous spécifiez la correction automatique, la réponse contient la version corrigée du texte :

The quick brown fox jumps over the lazy dog.

Création et gestion de vos listes personnalisées de termes

Bien que la liste globale par défaut de termes fonctionne parfaitement pour la plupart des cas, vous pouvez passer au crible un texte pour détecter des termes qui sont spécifiques à vos besoins professionnels. Vous pouvez, par exemple, filtrer tous les noms de marques de concurrents dans des posts d’utilisateurs.

Notes

Il existe une limite maximale de 5 listes de termes, chaque liste ne devant pas dépasser 10 000 termes.

L’exemple suivant présente l’ID de liste correspondant :

"Terms": [
    {
        "Index": 118,
        "OriginalIndex": 118,
        "ListId": 231.
        "Term": "<offensive word>"
    }

Content Moderator fournit une API de liste de termes avec des opérations pour la gestion des listes de termes personnalisées. Consultez le démarrage rapide .NET des listes de termes si vous connaissez déjà Visual Studio et C#.

Étapes suivantes

Testez les API avec le guide de démarrage rapide.

Partager via