Notes
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Important
Azure Content Moderator est déconseillé depuis février 2024 et sera mis hors service le 15 mars 2027. Il est remplacé par Azure AI Sécurité du Contenu, qui offre des fonctionnalités d’IA avancées et des performances améliorées.
Azure AI Content Safety est une solution complète conçue pour détecter le contenu nuisible généré par l’utilisateur et généré par l’IA dans les applications et les services. Azure AI Content Safety convient à de nombreux scénarios tels que les places de marché en ligne, les sociétés de jeux, les plateformes de messagerie sociale, les entreprises de médias d’entreprise et les fournisseurs de solutions d’enseignement primaire et secondaire. Voici une vue d’ensemble de ses fonctionnalités :
- API détection de texte et d’images : analysez le texte et les images pour détecter le contenu à caractère sexuel, la violence, la haine et l’automutilation selon plusieurs niveaux de gravité.
- Content Safety Studio : outil en ligne conçu pour gérer le contenu potentiellement choquant, à risque ou indésirable en utilisant nos derniers modèles ML de modération de contenu. Il fournit des modèles et des workflows personnalisés qui permettent aux utilisateurs de créer leur propre système de modération de contenu.
- Prise en charge linguistique : Azure AI Content Safety prend en charge plus de 100 langues et est spécifiquement formé sur l’anglais, l’allemand, le japonais, l’espagnol, le français, l’italien, le portugais et le chinois.
Azure AI Content Safety fournit une solution robuste et flexible qui répond à vos besoins de modération de contenu. En passant de Content Moderator à Azure AI Content Safety, vous pouvez tirer parti des derniers outils et technologies pour vous assurer que votre contenu est toujours modéré selon vos spécifications exactes.
Apprenez-en davantage sur Azure AI Content Safety et découvrez comment il peut améliorer votre stratégie de modération de contenu.
Vous pouvez utiliser les modèles de modération de texte Azure Content Moderator qui permettent d’analyser le contenu textuel, comme ceux des salles de conversation, des forums de discussion, des chatbots, des catalogues de e-commerce et des documents.
La réponse du service inclut les informations suivantes :
- Vulgarité : correspondance basée sur des termes avec une liste prédéfinie de termes injurieux dans différentes langues
- Classification : classification en trois catégories assistée par ordinateur
- Données à caractère personnel
- Texte corrigé automatiquement
- Texte d’origine
- Langage
Termes vulgaires
Si l’API détecte des termes injurieux dans l’une des langues prises en charge, ces termes sont inclus dans la réponse. La réponse contient également leur emplacement (Index
) dans le texte d’origine. La valeur ListId
dans l’exemple JSON suivant fait référence à des termes se trouvant dans les listes de termes personnalisées, le cas échéant.
"Terms": [
{
"Index": 118,
"OriginalIndex": 118,
"ListId": 0,
"Term": "<offensive word>"
}
Remarque
Pour le paramètre language
, attribuez eng
ou laissez-le vide pour voir la réponse de la classification assistée par ordinateur (fonctionnalité en préversion). Cette fonctionnalité prend en charge uniquement l’anglais.
Pour la détection des termes injurieux, utilisez le code ISO 639-3 des langues prises en charge répertoriées dans cet article, ou laissez le paramètre vide.
classification ;
La fonctionnalité de classification de texte assistée par ordinateur de Content Moderator, qui prend en charge uniquement l’anglais, permet de détecter le contenu potentiellement indésirable. Le contenu marqué d’un indicateur peut être considéré comme inapproprié en fonction du contexte. Il transmet la probabilité de chaque catégorie. La fonctionnalité utilise un modèle formé pour identifier un éventuel langage abusif, désobligeant ou discriminatoire. Cela inclut l’argot, les mots abrégés, les mots offensants et intentionnellement mal orthographiés.
L’extrait suivant de l’extrait de code JSON présente un exemple de sortie :
"Classification": {
"ReviewRecommended": true,
"Category1": {
"Score": 1.5113095059859916E-06
},
"Category2": {
"Score": 0.12747249007225037
},
"Category3": {
"Score": 0.98799997568130493
}
}
Explication
Category1
se réfère à la présence potentielle de langage pouvant être considéré comme sexuellement explicite ou réservé aux adultes dans certaines situations.Category2
se réfère à la présence potentielle de langage pouvant être considéré comme sexuellement suggestif ou réservé aux adultes dans certaines situations.Category3
se réfère à la présence potentielle de langage pouvant être considéré comme choquant dans certaines situations.Score
est compris entre 0 et 1. Plus le score est élevé, plus la probabilité est élevée que la catégorie soit applicable. Cette fonctionnalité s’appuie sur un modèle statistique plutôt que sur des résultats codés manuellement. Nous vous recommandons d’effectuer le test avec votre propre contenu afin de déterminer comment chaque catégorie correspond à vos besoins.- La valeur de
ReviewRecommended
est true ou false, selon les seuils de score internes. Les clients doivent évaluer l’opportunité d’utiliser cette valeur ou choisir des seuils personnalisés en fonction de leurs stratégies de contenu.
Données à caractère personnel
La fonctionnalité de données à caractère personnel détecte la présence potentielle des informations suivantes :
- Adresse de messagerie
- Adresse postale aux États-Unis
- Adresse IP
- Numéro de téléphone aux États-Unis
L’exemple suivant illustre une réponse :
"pii":{
"email":[
{
"detected":"abcdef@abcd.com",
"sub_type":"Regular",
"text":"abcdef@abcd.com",
"index":32
}
],
"ssn":[
],
"ipa":[
{
"sub_type":"IPV4",
"text":"255.255.255.255",
"index":72
}
],
"phone":[
{
"country_code":"US",
"text":"6657789887",
"index":56
}
],
"address":[
{
"text":"1 Microsoft Way, Redmond, WA 98052",
"index":89
}
]
}
Correction automatique
La réponse de modération de texte peut éventuellement retourner le texte avec la correction automatique de base appliquée.
Par exemple, le texte d’entrée suivant a une faute d’orthographe.
Le rapide renard brun saute par-dessus le chien paresseux.
Si vous spécifiez la correction automatique, la réponse contient la version corrigée du texte :
Le renard brun rapide saute sur le chien paresseux.
Créer et gérer vos listes personnalisées de termes
Bien que la liste globale par défaut de termes fonctionne parfaitement pour la plupart des cas, vous pouvez passer au crible un texte pour détecter des termes qui sont spécifiques à vos besoins professionnels. Vous pouvez, par exemple, filtrer tous les noms de marques de concurrents dans des publications d’utilisateurs.
Remarque
Il existe une limite maximale de cinq listes de termes, chaque liste ne devant pas dépasser 10 000 termes.
L’exemple suivant présente l’ID de liste correspondant :
"Terms": [
{
"Index": 118,
"OriginalIndex": 118,
"ListId": 231.
"Term": "<offensive word>"
}
Content Moderator fournit une API de liste de termes avec des opérations pour la gestion des listes de termes personnalisées. Consultez le démarrage rapide .NET des listes de termes si vous connaissez déjà Visual Studio et C#.