Partage via


Catégories de préjudices dans Azure AI Content Safety

Ce guide décrit toutes les catégories de préjudices et toutes les évaluations que Azure AI Content Safety utilise pour marquer le contenu. Le contenu texte et le contenu d’image utilisent le même ensemble d’indicateurs.

Catégories préjudiciables

Content Safety reconnaît quatre catégories distinctes de contenu répréhensible.

Category Description Terme d’API
Haine et équité Les préjudices liés à la haine et à l’impartialité font référence à tout contenu qui attaque ou tient des propos discriminatoires à l’égard d’une personne ou à d’un groupe d’identités sur la base de certains attributs de différenciation de ces groupes.

Ce sont notamment les suivantes :
  • Race, origine ethnique et nationalité
  • Expression et groupes d’identité de genre
  • Orientation sexuelle
  • Religion
  • Apparence personnelle et corpulence
  • Statut de handicap
  • Harcèlement et intimidation
Hate
Sexuel Le terme « sexuel » désigne les propos relatifs aux organes anatomiques et les parties génitales, aux relations amoureuses, aux actes sexuels, aux actes décrits en termes érotiques ou affectueux, y compris les actes présentés comme une agression ou un acte sexuel violent forcé contre la volonté d’une personne. 

 Il s’agit entre autres des documents suivants :
  • Contenu vulgaire
  • Prostitution
  • Nudité et pornographie
  • Abus
  • Exploitation des enfants, abus d’enfants, pédopiégeage
Sexual
Violence Le terme « violence » désigne les propos relatifs aux actes physiques visant à endommager quelque chose, à blesser quelqu’un ou à le tuer ; utilisé pour décrire des armes (à feu) et des objets associés.

Cela comprend, entre autres :
  • Armes
  • Du harcèlement et de l’intimidation
  • Terrorisme et extrémisme violent
  • Le harcèlement
Violence
Automutilation L’automutilation décrit le langage lié aux actions physiques destinées à blesser ou nuire le corps d’une personne ou à se tuer.

Cela comprend, entre autres :
  • Trouble alimentaire
  • Du harcèlement et de l’intimidation
SelfHarm

La classification peut avoir plusieurs intitulés. Par exemple, lorsqu’un exemple de texte est exécuté via le modèle de modération de texte, il peut être classé à la fois comme du contenu à caractère sexuel et de la violence.

Niveaux de gravité

Chaque catégorie de préjudice appliquée par le service est également accompagnée d’une évaluation de niveau de gravité. Le niveau de gravité est destiné à indiquer la gravité des conséquences de l’affichage du contenu marqué d’un indicateur.

Texte: la version actuelle du modèle de texte prend en charge l’échelle de gravité complète de 0 à 7. Le classifieur détecte parmi toutes les gravités le long de cette échelle. Sur demande de l’utilisateur, il peut renvoyer des gravités sur une échelle réduite de 0, 2, 4 et 6; chacun des deux niveaux adjacents est mappé à un seul niveau.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

Image: la version actuelle du modèle d’image prend en charge la version réduite de l’échelle de gravité complète de 0 à 7. Le classifieur retourne uniquement les gravités 0, 2, 4 et 6.

  • 0
  • 2
  • 4
  • 6

Image avec texte : la version actuelle du modèle multimodal prend en charge l’échelle de gravité complète de 0 à 7. Le classifieur détecte parmi toutes les gravités le long de cette échelle. Sur demande de l’utilisateur, il peut renvoyer des gravités sur une échelle réduite de 0, 2, 4 et 6; chacun des deux niveaux adjacents est mappé à un seul niveau.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

Contenu textuel

Avertissement

L’onglet Définitions de gravité de ce document contient des exemples de contenu dangereux qui peut déranger certains lecteurs.

Contenu du fichier image

Avertissement

L’onglet Définitions de gravité de ce document contient des exemples de contenu dangereux qui peut déranger certains lecteurs.

Contenu multimodal (image avec texte)

Avertissement

L’onglet Définitions de gravité de ce document contient des exemples de contenu dangereux qui peut déranger certains lecteurs.

Étapes suivantes

Suivez un guide de démarrage rapide pour commencer à utiliser Azure AI Sécurité du Contenu dans votre application.