Strumento Content Safety (Text)
Azure AI Content Safety è un servizio di con modalità tenda ration sviluppato da Microsoft che consente di rilevare contenuti dannosi da diverse modalità e linguaggi. Lo strumento Content Safety (Text) è un wrapper per l'API Text di Sicurezza dei contenuti di Azure per intelligenza artificiale, che consente di rilevare il contenuto di testo e ottenere risultati di moderazione. Per altre informazioni, vedere Sicurezza dei contenuti di Azure AI.
Prerequisiti
- Creare una risorsa di Sicurezza del contenuto di Intelligenza artificiale di Azure.
- Aggiungere una
Azure Content Safety
connessione nel flusso di richiesta. Compilare ilAPI key
campo conPrimary key
dallaKeys and Endpoint
sezione della risorsa creata.
Input
È possibile usare i parametri seguenti come input per questo strumento:
Nome | Tipo | Descrizione | Richiesto |
---|---|---|---|
Testo | string | Testo da moderare. | Sì |
hate_category | string | Riservatezza della moderazione per la Hate categoria. Scegliere tra quattro opzioni: disable , low_sensitivity , medium_sensitivity o high_sensitivity . L'opzione disable non indica alcuna moderazione per la Hate categoria. Le altre tre opzioni indicano diversi gradi di rigore nell'escludere il contenuto relativo a odio. Il valore predefinito è medium_sensitivity . |
Sì |
sexual_category | string | Riservatezza della moderazione per la Sexual categoria. Scegliere tra quattro opzioni: disable , low_sensitivity , medium_sensitivity o high_sensitivity . L'opzione disable non indica alcuna moderazione per la Sexual categoria. Le altre tre opzioni indicano diversi gradi di rigore nell'escludere il contenuto relativo a contenuti sessuali. Il valore predefinito è medium_sensitivity . |
Sì |
self_harm_category | string | Riservatezza della moderazione per la Self-harm categoria. Scegliere tra quattro opzioni: disable , low_sensitivity , medium_sensitivity o high_sensitivity . L'opzione disable non indica alcuna moderazione per la Self-harm categoria. Le altre tre opzioni indicano diversi gradi di rigore nell'escludere il contenuto relativo all'autolesionismo. Il valore predefinito è medium_sensitivity . |
Sì |
violence_category | string | Riservatezza della moderazione per la Violence categoria. Scegliere tra quattro opzioni: disable , low_sensitivity , medium_sensitivity o high_sensitivity . L'opzione disable non indica alcuna moderazione per la Violence categoria. Le altre tre opzioni indicano diversi gradi di rigore nell'escludere il contenuto relativo alla violenza. Il valore predefinito è medium_sensitivity . |
Sì |
Per altre informazioni, vedere Sicurezza dei contenuti di Azure AI.
Output
L'esempio seguente è una risposta in formato JSON di esempio restituita dallo strumento:
{
"action_by_category": {
"Hate": "Accept",
"SelfHarm": "Accept",
"Sexual": "Accept",
"Violence": "Accept"
},
"suggested_action": "Accept"
}
Il action_by_category
campo fornisce un valore binario per ogni categoria: Accept
o Reject
. Questo valore indica se il testo soddisfa il livello di riservatezza impostato nei parametri della richiesta per tale categoria.
Il suggested_action
campo offre una raccomandazione complessiva in base alle quattro categorie. Se una categoria ha un valore di Reject
, anche suggested_action
è Reject
.