Categorie di danni in Sicurezza dei contenuti di Azure AI
- Articolo
Questa guida descrive tutte le categorie di danni e le classificazioni usate da Sicurezza dei contenuti di Azure AI per contrassegnare i contenuti. Sia i contenuti di testi che quelli delle immagini usano lo stesso set di flag.
Categorie di danni
Sicurezza dei contenuti riconosce quattro categorie distinte di contenuti inappropriati.
Categoria | Descrizione | Termine API |
---|---|---|
Odio ed equità | I danni all'odio e all'equità si riferiscono a qualsiasi contenuto che attacca o usa un linguaggio discriminatorio con riferimento a una persona o a un gruppo di identità basato su determinati attributi diversi di questi gruppi. A titolo di esempio tali attributi includono:
|
Hate |
Sessuale | La categoria sesso descrive il linguaggio correlato a organi anatomici e genitali, relazioni romantiche e sessuali, atti rappresentati in termini erotici o affettuosi, compresi quelli rappresentati come violenza sessuale o stupro. Tale categoria include senza limitazione alcuna:
|
Sexual |
Violenza | La violenza descrive il linguaggio relativo alle azioni fisiche destinate a ferire, ferire, danneggiare o uccidere qualcuno o qualcosa del genere; descrive armi, armi e entità correlate. Questi miglioramenti includono, tra l'altro:
|
Violence |
Autolesionismo | La categoria autolesionismo descrive il linguaggio correlato ad azioni fisiche finalizzate a ferire, provocare lesioni o danneggiare il proprio corpo oppure a togliersi la vita. Questi miglioramenti includono, tra l'altro:
|
SelfHarm |
La classificazione può essere con etichetta multipla. Ad esempio, quando un campione di testo viene eseguito tramite il modello di moderazione del testo, può essere classificato sia come contenuto sessuale che violento.
Livelli di gravità
Ogni categoria di danni applicata dal servizio include anche una classificazione del livello di gravità. Il livello di gravità è destinato a indicare la gravità delle conseguenze della visualizzazione dei contenuti contrassegnati.
Testo: la versione corrente del modello di testo supporta la scala di gravità completa di 0-7. Il classificatore rileva tutti i livelli di gravità lungo questa scala. Se l'utente specifica, può restituire gravità nella scala tagliata di 0, 2, 4 e 6; ogni due livelli adiacenti viene mappato a un singolo livello.
[0,1]
->0
[2,3]
->2
[4,5]
->4
[6,7]
->6
Immagine: la versione corrente del modello di immagine supporta la versione ridotta della scala di gravità completa di 0-7. Il classificatore restituisce solo i livelli di gravità 0, 2, 4 e 6.
0
2
4
6
Immagine con testo: la versione corrente del modello multimodale supporta la scala dei livelli di gravità completa di 0-7. Il classificatore rileva tutti i livelli di gravità lungo questa scala. Se l'utente specifica, può restituire gravità nella scala tagliata di 0, 2, 4 e 6; ogni due livelli adiacenti viene mappato a un singolo livello.
[0,1]
->0
[2,3]
->2
[4,5]
->4
[6,7]
->6
Contenuto di testo
Avviso
La scheda Definizioni di gravità in questo documento include esempi di contenuti dannosi che potrebbero disturbare alcuni lettori.
Livelli di gravità per odio ed equità
Livello di gravità | Descrizione | Esempio di testo |
---|---|---|
Livello 0 | Contenuto con termini correlati all'odio e all'equità usati nel senso generale ed è appropriato per tutti i destinatari, inclusi i bambini. Valuta gli ambiti seguenti:
|
I hate cats. |
Livello 1 | Contenuto con termini correlati all'odio e all'equità usati nel senso generale, ma possono acquisire un significato diverso in base al contesto e non distingue tra gruppi di identità e altri in modo pregiudizio o negativo. Valuta gli ambiti seguenti:
|
Black people should not be killed by police or mistreated just because of their skin color. |
Livello 2 | Contenuto con caratterizzazione positiva o la protezione dei gruppi di identità che attivano una risposta emotiva favorevole. Valuta gli ambiti seguenti:
|
I hate you. |
Livello 3 | Contenuto con pregiudizi, giudizio, caratterizzazione stereotipica o sentimento negativo. Valuta gli ambiti seguenti:
|
I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all. |
Livello 4 | Contenuto con insulti verbali diretti motivati dal sentiment, commenti negativi e insulti razziali usati come descrizioni destinate ai gruppi di identità con l'intento di ferire gli individui in base ai loro attributi. Valuta gli ambiti seguenti:
|
All [identity group] are ugly. |
Livello 5 | Contenuti che contengono disumanizzazione o disprezzo di individui o gruppi che alimentano sentimenti negativi attraverso disumanizzazione, violenza, negazione di eventi, bullismo o comportamenti intimidatori. Valuta gli ambiti seguenti:
|
The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof. |
Livello 6 | Contenuto basato sul sentimento negativo e su dichiarazioni di odio verso i gruppi di identità. Facendo riferimento alle caratteristiche del gruppo che differenziano il gruppo identitario dagli altri e facendo appello ad azioni contro i gruppi identitari in base ai loro attributi. Le attività necessarie a questo scopo includono le seguenti:
|
Send [identity group] back to the gas chambers. |
Livello 7 | Contenuto basato sul sentimento negativo, che mostra l’intento del crimine d'odio e lo stalking, attivando una risposta emotiva ostile e differenziando gruppi di identità e altri portando alla criminalità. Valuta gli ambiti seguenti:
|
Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because… |
Livelli di gravità sessuale
Livello di gravità | Descrizione | Esempio di testo |
---|---|---|
Livello 0 | Contenuto con termini a sfondo sessuale utilizzati in senso generale e innocui per tutti i destinatari, compresi i bambini.
|
The sports bra and yoga pants were too tight for comfort. |
Livello 1 | Contenuto con termini legati al sesso usati in senso generale ma che possono acquisire un significato diverso in base al contesto. ad esempio:
|
Fewer young adults are having sex than in previous generations. |
Livello 2 | Contenuto con termini sessualmente correlati in esperienze fittizie o reali che non sono estremamente grafiche. ad esempio:
|
My husband and I introduced a vibrator to our sex life and it has really made a difference. |
Livello 3 | Contenuto con termini sessualmente correlati nei casi che contengono alcuni contenuti grafici, opinioni che esprimono pregiudizi, pregiudizi, opinioni giudicanti o opinioni su questioni correlate al sesso. ad esempio:
|
We made out for a while, and he started to feel me up. I felt a bulge in his pants. |
Livello 4 | Contenuto che descrive le fantasie sessuali, l'industria del sesso professionale e le pubblicità e la riproduzione animale sessualizzata. ad esempio:
|
I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage… |
Livello 5 | Contenuti che descrivono spettacoli erotici o esperienze come esperienza personale, BDSM con consenso chiaro, storie erotiche e siti Web. ad esempio:
|
We both climaxed at the same time. |
Livello 6 | Contenuti che descrivono pubblicità di servizi sessuali a pagamento, contenenti descrizioni dettagliate di attività sessuali, abusi sessuali violenti, stupri, rapporti sadomasochistici non consensuali, abusi e voyeurismo. ad esempio:
|
I love forced sex, it's so much hotter. |
Livello 7 | Contenuti utilizzati per promuovere, approvare, esaltare forme estreme di schiavitù sessuale. Contenuto estremo o illegale. ad esempio:
|
I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son. |
Livelli di gravità della violenza
Livello di gravità | Descrizione | Esempio di testo |
---|---|---|
Livello 0 | Contenuto che contiene azioni non violente o termini correlati alla violenza usati in un senso generale che è innocuo per tutti i destinatari, inclusi i bambini. Valuta gli ambiti seguenti:
|
According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles. |
Livello 1 | Contenuto con termini o atti correlati alla violenza utilizzati in senso generale, ma può acquisire un significato diverso in base al contesto. Valuta gli ambiti seguenti:
|
Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights. |
Livello 2 | Contenuti con termini o atti legati alla violenza in esperienze fittizie o del mondo reale che non siano estremamente grafici e senza glorificazione o approvazione di malintenzionati. Valuta gli ambiti seguenti:
|
Physical punishment is a way to correct bad behavior and doesn’t cause harm to children. |
Livello 3 | Contenuto con termini o atti correlati alla violenza nei casi che contengono alcuni contenuti grafici, opinioni che esprimono pregiudizi, pregiudizi, opinioni giudicanti o opinioni su questioni correlate alla violenza. Valuta gli ambiti seguenti:
|
Some people just need to be slapped. |
Livello 4 | Contenuti che descrivono motivazioni non fondate sulla ragione per cui le vittime subiscono abusi fisici, attribuzione infondata di qualità positive agli abusanti, minacce di atti violenti e fantasie su come fare del male a un'altra persona, e spargimento di sangue medio. Valuta gli ambiti seguenti:
|
Victims of abuse deserve to be hit. They push and push until they get what they deserve. |
Livello 5 | Contenuti che puntano a un'ulteriore violenza, fornendo istruzioni dirette su come danneggiare individui o gruppi specifici. Valuta gli ambiti seguenti:
|
Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught. |
Livello 6 | Contenuti che descrivono gruppi estremisti e organizzazioni terroristiche, uccisioni di massa e danni fisici espliciti con elevato spargimento di sangue, promozione del terrorismo e della sua propaganda. Valuta gli ambiti seguenti:
|
We must kill them all. God wills it, and society will be better for it. |
Livello 7 | Contenuti utilizzati per descrivere, elogiare, sostenere, promuovere, approvare, esaltare forme estreme di violenza. Contenuto che supporta organizzazioni terroristiche e radicalizza, indica o esegue il training. Valuta gli ambiti seguenti:
|
Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight. |
Livelli di gravità dell'autolesionismo
Livello di gravità | Descrizione | Esempio di testo |
---|---|---|
Livello 0 - Sicuro | Contenuto con termini correlati all'autolesionismo utilizzati in senso generale e innocui per tutti i destinatari, compresi i bambini. Valuta gli ambiti seguenti:
|
I appreciate your hard work, but you don't need to keep killing yourself over this project. |
Livello 1 | Contenuto con termini correlati all'autolesionismo usati in senso generale ma che possono acquisire un significato diverso in base al contesto. Valuta gli ambiti seguenti:
|
Binging and purging may be a warning sign for people with a history of extreme weight loss. |
Livello 2 | Contenuto con termini o atti correlati all'autolesionismo in esperienze fittizie o reali che non sono estremamente grafiche. Valuta gli ambiti seguenti:
|
Oedipus stabbed his eyes in despair. |
Livello 3 | Contenuto con termini o atti correlati all’autolesionismo nei casi che contengono alcuni contenuti grafici, opinioni che esprimono pregiudizi, pregiudizi, opinioni giudicanti o opinioni su questioni correlate all’autolesionismo. Valuta gli ambiti seguenti:
|
I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice? |
Livello 4 | Contenuti che deridono le vittime o i sopravvissuti al suicidio o all'autolesionismo, attribuzione infondata di qualità positive all'autolesionismo, fantasie o desideri di autolesionismo e contenuti esplicitamente grafici che coinvolgono la morte, l'autopsia, il crimine o la scena del decesso. Valuta gli ambiti seguenti:
|
It's hilarious when [identity group] kill themselves. |
Livello 5 | Contenuti che puntano a promuovere ulteriormente l'autolesionismo, fornendo istruzioni dirette su come eseguire autolesionismo o bullismo su una vittima. Valuta gli ambiti seguenti:
|
Go kill yourself, you are worthless. |
Livello 6 | Contenuto che descrive istruzioni dettagliate ed esplicite su come commettere suicidio. Valuta gli ambiti seguenti:
|
Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag. |
Livello 7 | Contenuto usato per approvare ed esaltare il suicidio o altri gravi atti di autolesionismo. Valuta gli ambiti seguenti:
|
Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble. |
Contenuto immagine
Avviso
La scheda Definizioni di gravità in questo documento include esempi di contenuti dannosi che potrebbero disturbare alcuni lettori.
Livelli di gravità per odio ed equità
Livello di gravità | Descrizione | Esempio di immagine |
---|---|---|
Safe | Il contenuto è sicuro, ma può contenere immagini correlate all'odio e all'equità senza stati d'animo o con stati d'animo neutrali in modi non discriminatori e non offensivi nei contesti seguenti o simili:
|
Bandiere non confederate, ad esempio bandiere di paesi o stati che raffigurano croci
|
Basso | Contenuti che includono stati d'animo positivi, falsi stati d'animo positivi o stati d'animo negativi frutto di preconcetti che differenziano gruppi di identità da altri. Questi contenuti sono concepiti per attivare una risposta emotiva. Valuta gli ambiti seguenti:
|
Rappresentazioni del movimento "No Hate Speech" Rappresentazioni di candidati di lavoro depriorizzati, ad esempio candidati con disabilità in ambienti di colloquio |
Medio | Contenuti che includono atti frutto di stati d'animo negativi verso gruppi di identità e altri che conducono alla promozione di atti contro gruppi di identità e stati d'animo di superiorità. Valuta gli ambiti seguenti:
|
Immagini che promuovono l'isolamento sociale di [gruppi di identità] Immagini che illustrano la teoria del miglioramento razziale e l'eugenetica |
Alto | Contenuti che includono stati d'animo negativi e dichiarazioni di odio verso gruppi di identità che conducono alla generazione di dichiarazioni di odio o crimini di odio. Valuta gli ambiti seguenti:
|
Immagini antisemite Immagini che raffigurano la "Southern Cross", con una croce di Sant'Andrea blu (croce diagonale) con ovvia affiliazione di violenza (ad esempio armi esibite o usate) |
Livelli di gravità sessuale
Livello di gravità | Descrizione | Esempio di immagine |
---|---|---|
Safe | Il contenuto è sicuro, ma contiene immagini correlate al sesso usate in senso generico. Valuta gli ambiti seguenti:
|
Rappresentazioni di abbracci o contatto fisico non sessuale Rappresentazioni che raffigurano l'esibizione fisica di affetto, ad esempio baci senza lingua e senza nudità |
Basso | Contenuti che includono atti o comportamenti che alludono al sesso. Valuta gli ambiti seguenti:
|
Rappresentazioni di persone |
Medio | Contenuti che includono elementi erotici amatoriali e commerciali e/o pornografici commerciali che non raffigurano penetrazione e partecipanti nudi o seminudi coinvolti in scene sessuali finalizzate a produrre eccitazione sessuale. Valuta gli ambiti seguenti:
|
Rappresentazioni di rapporti sessuali che possono essere parzialmente offuscati ma comunque chiaramente presenti nell'immagine |
Alto | Contenuti che includono rappresentazioni esplicite dettagliate di organi sessuali e atti sessuali, inclusi atti illegali. Valuta gli ambiti seguenti:
|
Rappresentazioni di coinvolgimento in attività sessuali con animali o cadaveri |
Livelli di gravità della violenza
Livello di gravità | Descrizione | Esempio di immagine |
---|---|---|
Safe | Il contenuto è sicuro, ma contiene immagini correlate alla violenza usate in senso generico. Valuta gli ambiti seguenti:
|
Rappresentazioni di armi non realistiche e utensili taglienti |
Basso | Contenuti che includono immagini correlate alla violenza e atti in contesti reali o fittizi poco sanguinosi. Valuta gli ambiti seguenti:
|
Rappresentazioni delle bandiere dell'ISIS o di al-Qaeda |
Medio | Contenuti che includono violenza di crudezza moderata e atti violenti mirati a un bersaglio identificato. Valuta gli ambiti seguenti:
|
Rappresentazioni dell'uso della forza e della coercizione per dominare o intimidire aggressivamente una persona |
Alto | Contenuti che includono rappresentazioni esplicite dettagliate di violenza e atti violenti molto sanguinosi. Valuta gli ambiti seguenti:
|
Rappresentazioni della morte con gruppi terroristici identificabili da bandiere e simboli dell'ISIS |
Livelli di gravità dell'autolesionismo
Livello di gravità | Descrizione | Esempio di immagine |
---|---|---|
Safe | Il contenuto è sicuro, ma contiene immagini correlate all'autolesionismo usate in senso generico. Valuta gli ambiti seguenti:
|
Rappresentazioni di salti da un aereo col paracadute |
Basso | Contenuti che includono immagini correlate all'autolesionismo e atti in contesti reali o fittizi poco sanguinosi. Valuta gli ambiti seguenti:
|
Rappresentazioni di atti, strumenti, lesioni e stati emotivi correlati all'autolesionismo |
Medio | Contenuti che includono immagini di crudezza moderata correlate all'autolesionismo e al suicidio. Valuta gli ambiti seguenti:
|
Rappresentazioni dell'uso della forza e della coercizione per dominare o intimidire aggressivamente una persona in atti di autolesionismo |
Alto | Contenuti che includono rappresentazioni esplicite dettagliate di atti autolesionistici e suicidi molto sanguinosi. Valuta gli ambiti seguenti:
|
Rappresentazioni di suicidi intenzionali in cui una persona si suicida gettandosi da un edificio alto |
Contenuto multimodale (immagine con testo)
Avviso
La scheda Definizioni di gravità in questo documento include esempi di contenuti dannosi che potrebbero disturbare alcuni lettori.
Livelli di gravità per odio ed equità
Livello di gravità | Descrizione | Esempio di immagine |
---|---|---|
Safe | Il contenuto è sicuro, ma può contenere termini e immagini correlati a odio e diseguaglianze usati in contesti generici e sicuri, ad esempio:
|
Scenario: immagine con sovrapposizione di testo Immagine: foto non dannosa di una persona Testo: Attends rally wearing sneakers |
Basso | Contenuti che includono difesa o caratterizzazione positiva di gruppi di identità, mostrano discriminazione, stereotipi e opinioni frutto di pregiudizi, moralismo e supponenza oppure atteggiamenti correlati a dichiarazioni di odio nei confronti di gruppi di identità specifici. ad esempio:
|
Scenario: immagine con sovrapposizione di testo Immagine: foto non dannosa di una persona Testo: Everyone assumes that I got high grades in math because I’m Asian. I did. Motivazione: implica stereotipi razziali. |
Medio | Contenuti che includono insulti, bullismo, intimidazione, deumanizzazione o discredito di individui o gruppi. ad esempio:
|
Scenario: immagine con sovrapposizione di testo Immagine: foto non dannosa di una persona con il Parkinson Testo: This guy just Friended and Unfriended me 45 times in 15 seconds. Does anyone know him? Motivazione: implica una presa in giro a causa di disabilità |
Alto | Contenuti che includono dichiarazioni di odio come propaganda minacciosa o richiamo alla violenza contro gruppi di identità, che radicalizzano, reclutano o incitano persone a unirsi a iniziative estremistiche o a diffondere dichiarazioni di odio. ad esempio:
|
Scenario: immagine e testo inframmezzati Never forget that everything [image of Adolf Hitler] did in Germany was legal. |
Livelli di gravità sessuale
Livello di gravità | Descrizione | Esempio di immagine |
---|---|---|
Safe | Il contenuto è sicuro, ma può includere termini o immagini correlati al sesso usati in contesti generici e sicuri, ad esempio:
|
Scenario: immagine con sovrapposizione di testo Immagine: un farabutto Testo: Looks aren’t everything, be careful who you marry, and check your mirrors too. |
Basso | Contenuti che esprimono opinioni frutto di pregiudizi, saccenteria o supponenza su termini correlati a citazioni o argomenti correlati al sesso in esperienze fittizie o reali che non sono estremamente grafiche. ad esempio:
|
Scenario: immagine e testo inframmezzati I hope they debate social issues I want [image of a person cupping their ear, representing "to hear"] about how a representative wants to regulate female sexual organs. |
Medio | Contenuti che descrivono eccitazione e attività sessuali con termini o immagini esplicite e crude, incluse fantasie e abusi sessuali. ad esempio:
|
Scenario: immagine e testo inframmezzati There is so much [image containing the phrase "Sex and Violence"] in that book it could use a warning label in the cover. |
Alto | Contenuti che descrivono pubblicità di servizi sessuali a pagamento, contenenti descrizioni dettagliate di attività sessuali, abusi sessuali violenti, stupri, rapporti sadomasochistici non consensuali, abusi e voyeurismo. Sono inclusi anche contenuti utilizzati per promuovere, approvare o glorificare atti sessuali estremi o illegali. ad esempio:
|
Scenario: immagine e testo inframmezzati Can too much [image of graphic pornography] actually kill you? Evidently not, because you are still with us. |
Livelli di gravità della violenza
Livello di gravità | Descrizione | Esempio di immagine |
---|---|---|
Safe | Il contenuto è sicuro, ma può includere termini o immagini correlate alla violenza usate in contesti generici e sicuri, ad esempio:
|
Scenario: immagine e testo inframmezzati [Image of lawnmower] can easily throw a [image of rock] to a distance well over 50 feet. |
Basso | Contenuti in contesti fittizi (ad esempio giochi, letteratura, arti) che raffigurano scene violente o crude senza celebrazione, approvazione o intenti malevoli. ad esempio:
|
Scenario: immagine con sovrapposizione di testo Immagine: foto non dannosa di una persona "nerd" Testo: Runs suicides at basketball practice. Dies. Motivazione: implica sfinimento a causa della mancanza di capacità fisiche della persona. |
Medio | Contenuti che includono rappresentazioni crude di violenza e morte a media intensità, nonché fantasie su atti violenti o minacce. ad esempio:
|
Scenario: immagine e testo inframmezzati She needs [image of a graphic that reads "to die"] already . |
Alto | Contenuti che includono propaganda estremista violenta o terroristica e ideologia violenta su Internet che descrive, elogia, supporta, approva o glorifica uccisioni nell'ambito di attività terroristiche, offerte di sostegno di organizzazioni o cause terroristiche. ad esempio:
|
Scenario: immagine e testo inframmezzati I can’t wait for this [image of ISIS kafir beheading]. |
Livelli di gravità dell'autolesionismo
Livello di gravità | Descrizione | Esempio di immagine |
---|---|---|
Safe | Il contenuto è sicuro, ma può includere termini o immagini correlati all'autolesionismo usati in contesti generici e sicuri, ad esempio:
|
Scenario: immagine e testo inframmezzati How do I tie a [image of a rope]? |
Basso | Contenuti che includono riferimenti a personaggi che pianificano o commettono suicidio in un contesto fittizio (ad esempio letteratura, film) o includono rappresentazioni di atti autolesionistici o suicidi a bassa intensità. ad esempio:
|
Scenario: immagine con sovrapposizione di testo Immagine: Kermit la rana Testo: Life ain’t no good for a frog. Even tried to Kermit suicide. |
Medio | Contenuti che deridono vittime o sopravvissuti dopo atti di autolesionismo, ad esempio disordini alimentari o suicidio, nonché bullismo e intimidazione che incita e promuove atti autolesionisti. ad esempio:
|
Scenario: immagine e testo inframmezzati I will [image of a knife] myself soon. But until then, how do I tame my pain? |
Alto | Contenuti che includono la ricerca di consigli o forniscono istruzioni e metodi su come compiere atti autolesionistici che conducono alla morte o come suicidarsi, nonché glorificazione e approvazione del suicidio, o altri tipi gravi di autolesionismo. ad esempio:
|
Scenario: immagine e testo inframmezzati Black Friday [image of self-harm with text "My self-harm cuts have nearly faded completely so they won’t scar"] and [image of a kitchen mixer] deals. |
Passaggi successivi
Seguire le istruzioni di avvio rapido per iniziare a usare Sicurezza dei contenuti di Azure AI nell'applicazione.
Commenti e suggerimenti
Questa pagina è stata utile?