Outil Content Safety (Text)

Azure AI Content Safety est un service de con mode tente ration développé par Microsoft qui vous aide à détecter le contenu dangereux provenant de différentes modalités et langues. L’outil Content Safety (Text) est un wrapper pour l’API Texte de sécurité du contenu Azure AI, qui vous permet de détecter le contenu texte et d’obtenir des résultats de modération. Pour obtenir plus d’informations, consultez Azure AI Sécurité du Contenu.

Prérequis

• Créez une ressource Azure AI Content Safety .
• Ajoutez une Azure Content Safety connexion dans le flux d’invite. Remplissez le API key champ à Primary key partir de la Keys and Endpoint section de la ressource créée.

Entrées

Vous pouvez utiliser les paramètres suivants comme entrées pour cet outil :

Nom	Type	Description	Obligatoire
text	string	Texte à modérer.	Oui
hate_category	string	Sensibilité de modération pour la Hate catégorie. Choisissez parmi quatre options : disable, , medium_sensitivitylow_sensitivityou high_sensitivity. L’option disable signifie qu’aucune modération n’est prévue pour la Hate catégorie. Les trois autres options signifient différents degrés de rigueur dans le filtrage du contenu haineux. Par défaut, il s’agit de medium_sensitivity.	Oui
sexual_category	string	Sensibilité de modération pour la Sexual catégorie. Choisissez parmi quatre options : disable, , medium_sensitivitylow_sensitivityou high_sensitivity. L’option disable signifie qu’aucune modération n’est prévue pour la Sexual catégorie. Les trois autres options signifient différents degrés de rigueur dans le filtrage du contenu sexuel. Par défaut, il s’agit de medium_sensitivity.	Oui
self_harm_category	string	Sensibilité de modération pour la Self-harm catégorie. Choisissez parmi quatre options : disable, , medium_sensitivitylow_sensitivityou high_sensitivity. L’option disable signifie qu’aucune modération n’est prévue pour la Self-harm catégorie. Les trois autres options signifient différents degrés de rigueur dans le filtrage du contenu auto-nuisible. Par défaut, il s’agit de medium_sensitivity.	Oui
violence_category	string	Sensibilité de modération pour la Violence catégorie. Choisissez parmi quatre options : disable, , medium_sensitivitylow_sensitivityou high_sensitivity. L’option disable signifie qu’aucune modération n’est prévue pour la Violence catégorie. Les trois autres options signifient différents degrés de rigueur dans le filtrage du contenu violence. Par défaut, il s’agit de medium_sensitivity.	Oui

Pour obtenir plus d’informations, consultez Azure AI Sécurité du Contenu.

Outputs

L’exemple suivant est un exemple de réponse au format JSON retournée par l’outil :

{
    "action_by_category": {
      "Hate": "Accept",
      "SelfHarm": "Accept",
      "Sexual": "Accept",
      "Violence": "Accept"
    },
    "suggested_action": "Accept"
  }

Le action_by_category champ vous donne une valeur binaire pour chaque catégorie : Accept ou Reject. Cette valeur indique si le texte répond au niveau de sensibilité que vous avez défini dans les paramètres de demande pour cette catégorie.

Le suggested_action champ vous donne une recommandation globale basée sur les quatre catégories. Si une catégorie a une valeur Reject , suggested_action est également Reject.