Skadekategorier i Azure AI Content Valv ty

Artikel
01/20/2024

Den här guiden beskriver alla skadekategorier och klassificeringar som Azure AI Content Valv ty använder för att flagga innehåll. Både text- och bildinnehåll använder samma uppsättning flaggor.

Skadekategorier

Innehåll Valv ty identifierar fyra olika kategorier av stötande innehåll.

Kategori	beskrivning
Hat och rättvisa	Hat- och rättviserelaterade skador avser allt innehåll som attackerar eller använder nedsättande eller diskriminerande språk med hänvisning till en person eller identitetsgrupp baserat på vissa differentieringsattribut för dessa grupper, inklusive men inte begränsat till ras, etnicitet, nationalitet, könsidentitet och uttryck, sexuell läggning, religion, invandringsstatus, förmågasstatus, personligt utseende och kroppsstorlek. Rättvisa handlar om att se till att AI-system behandlar alla grupper av människor rättvist utan att bidra till befintliga samhälleliga orättvisor. Precis som hatpropaganda beror rättviserelaterade skador på olika behandling av identitetsgrupper.
Sexuella	Sexuell beskriver språk som rör anatomiska organ och könsorgan, romantiska relationer, handlingar som porträtteras i erotiska eller tillgivna termer, graviditet, fysiska sexuella handlingar, inklusive de som framställs som ett övergrepp eller en tvingad sexuell våldsam handling mot ens vilja, prostitution, pornografi och övergrepp.
Våld	Våld beskriver språk som rör fysiska handlingar som är avsedda att skada, skada, skada eller döda någon eller något; beskriver vapen, vapen och relaterade enheter, till exempel tillverkning, associationer, lagstiftning och så vidare.
Självskadebeteende	Självskadebeteende beskriver språk relaterade till fysiska handlingar som är avsedda att avsiktligt skada, skada, skada ens kropp eller döda sig själv.

Klassificering kan vara flera etiketter. När ett textexempel till exempel går igenom textmodereringsmodellen kan det klassificeras som både sexuellt innehåll och våld.

Allvarlighetsgrad

Varje skadekategori som tjänsten gäller har också en allvarlighetsgrad. Allvarlighetsgraden är avsedd att indikera allvarlighetsgraden för konsekvenserna av att visa det flaggade innehållet.

Text: Den aktuella versionen av textmodellen stöder den fullständiga allvarlighetsgraden 0–7. Klassificeraren identifierar bland alla allvarlighetsgraderna längs den här skalan. Om användaren anger kan den returnera allvarlighetsgraderna i den trimmade skalan 0, 2, 4 och 6. varje två intilliggande nivåer mappas till en enda nivå.

[0,1] -> 0
[2,3] -> 2
[4,5] -> 4
[6,7] -> 6

Bild: Den aktuella versionen av bildmodellen stöder den trimmade versionen av den fullständiga allvarlighetsgraden 0–7. Klassificeraren returnerar endast allvarlighetsgrad 0, 2, 4 och 6. varje två intilliggande nivåer mappas till en enda nivå.

[0,1] -> 0
[2,3] -> 2
[4,5] -> 4
[6,7] -> 6

Varning

Fliken Allvarlighetsgradsdefinitioner i det här dokumentet innehåller exempel på skadligt innehåll som kan vara störande för vissa läsare.

Allvarlighetsgrad för hat och rättvisa

Allvarlighetsgrad	Beskrivning	Exempeltext
Nivå 0	Innehåll som innehåller hat- och rättviserelaterade termer som används i allmän mening och är lämpligt för alla målgrupper, inklusive barn. Detta omfattar: Allmänt, nedsättande språk som uttrycker motvilja mot identitetsgrupper Allmänna omnämnanden av identitetsgruppsattribut, till exempel ras, etnicitet, religion osv. i historiska, geografiska, medicinska och andra liknande sammanhang utan attityd Allmänna termer som inte har några rasistiska undertoner av stötande avsikt utanför kontexten	`"I hate cats."`
Nivå 1	Innehåll som innehåller hat- och rättviserelaterade termer som används i allmän mening, men som kan få en annan betydelse baserat på kontext och som inte skiljer mellan identitetsgrupper och andra på ett partiskt eller negativt sätt. Detta omfattar: Officiell statistik, lagstiftning eller dokumentation Nyhets-/mediebevakning Utbildningsresurser avsedda att öka medvetenheten om mångfald/ta itu med hatpropaganda Hudblekningsprodukter och behandlingsannonser Omnämnanden av indo-eurasiska hakkors, sydstatsflaggan, icke-KKK-grupper som har visuell likhet med KKK	`"Black people should not be killed by police or mistreated just because of their skin color."`
Nivå 2	Innehåll som innehåller positiv karorisering eller skydd av de identitetsgrupper som utlöser ett gynnsamt känslomässigt svar. Detta omfattar: Smädelser som är helt utstavade i forskningsrapporter, ordlistor eller media med direkta citattecken Instruktioner från en talare som tillhör en identitetsgrupp utan avsikt att rikta in sig på samma identitetsgrupp Förbannelseord, svordomar och verbala förolämpningar som inte riktar sig mot en identitetsgrupp Allmän hatpropaganda som riktar sig mot oidentifierade individer/grupper utan att rikta in sig på en identitetsgrupp Användarens avsikt att skapa en blockeringslista över stötande termer Representationer av Nazityskland, Hitler, sydstatsflaggan och Ku Klux Klan-symboliken i filmer, tv-spel, kostymer, leksaker, rekonstruktioner eller onlineslang	`"I hate you."`
Nivå 3	Innehåll som innehåller fördomsfull, dömande, stereotyp karaktärisering eller negativ attityd. Detta omfattar: Åsikter baserade på stereotyper eller negativa sentiment Uttrycker fördomsfulla, dömande eller åsiktsfulla åsikter Negativa eller positiva jämförelser som skiljer mellan identitetsgrupper och andra. Omnämnanden i fiktiva världar Anställningsdiskriminering vid utstationering Historiska fakta och artefakter relaterade till Nazityskland, sydstatsflaggan under amerikanska inbördeskriget eller Ku Klux Klan	`"I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all."`
Nivå 4	Innehåll som innehåller direkta verbala attitydmotiverade förolämpningar, negativa kommentarer och rasistiska smädelser som används som beskrivningar som riktar sig mot identitetsgrupper med avsikt att skada individer baserat på deras attribut. Detta omfattar: Referenser som används för att rikta in sig på ens ras, hudfärg Främjande av social undvikande och isolering Håna och imitera attribut för identitetsgrupper	`"All [identity group] are ugly."`
Nivå 5	Innehåll som innehåller avhumanisering eller undantag för individer eller grupper som främjar negativa känslor genom avhumanisering, våld, förnekande av händelser, mobbning eller hotbeteenden. Detta omfattar: Texter som förnekar historiska, väldokumenterade och våldsamma händelser som Förintelsen Texter som beskriver individer eller grupper som fysiskt eller psykiskt underlägsna baserat på medlemskap i en identitetsgrupp Texter som ifrågasätter, nekar eller förnedrar identitetsgruppens existens Tillämpning av önskade/förväntade attribut Rashygien och "rasförbättringsteorier" som riktar sig mot identitetsgrupper Moderna varor som innehåller nazister, sydstatsflaggan eller KKK-symboler	`"The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof."`
Nivå 6	Innehåll baserat på negativa känslor och hatpropaganda mot identitetsgrupper. Genom att referera till gruppegenskaper som särskiljer identitetsgruppen och andra och vädjar om att vidta åtgärder mot identitetsgrupper baserat på deras attribut. Detta kan omfatta: Hatpropaganda som kan uppfattas som ett direkt hot mot eller en uppmaning till våld mot en identitetsgrupp Uppviglande, stötande och vulgär hatpropaganda Texter som påstås göra anspråk på en grupps överlägsenhet gentemot dem med identitetsgruppernas attribut för att motivera diskriminering, segregation eller uteslutning Texter som beskriver glädje över en våldsam händelse som riktade sig mot en identitetsgrupp	`"Send [identity group] back to the gas chambers."`
Nivå 7	Innehåll baserat på negativa känslor, visning av avsikt att hatbrott och stalking, utlösa ett fientligt känslomässigt svar och skilja identitetsgrupper och andra som leder till brott. Detta omfattar: Förberedelse av hatbrott, beröm och förhärligande av våld mot en identitetsgrupp Texter som innehåller supremacistgruppers rekryteringsmaterial Texter avsedda att radikalisera och uppmuntra hatpropaganda mot en identitetsgrupp	`"Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because…"`

Nivåer för sexuell allvarlighetsgrad

Allvarlighetsgrad	Beskrivning	Exempeltext
Nivå 0	Innehåll som innehåller sexuellt relaterade termer som används i allmän mening och som är ofarligt för alla målgrupper, inklusive barn. Omnämnanden av familjerelationer Innehåll som är ofarligt för alla målgrupper, inklusive barn	`"The sports bra and yoga pants were too tight for comfort."`
Nivå 1	Innehåll som innehåller sexuellt relaterade termer som används i allmän mening men som kan få en annan betydelse baserat på kontext. Detta inkluderar: Officiell statistik och dokumentation om sexrelaterade ämnen Nyhets-/mediebevakning Anatomiska termer, sexuell anatomi och medicinsk behandling Utbildningsresurser om sex, sexuellt välbefinnande, medvetenhet osv. Omnämnanden av biologiskt kön eller beskrivningar av sexuell reproduktion Texter som beskriver romantiska relationer i icke-grafiska termer	`"Fewer young adults are having sex than in previous generations."`
Nivå 2	Innehåll som innehåller sexuellt relaterade termer i fiktiva eller verkliga upplevelser som inte är extremt grafiska. Detta inkluderar: Omnämnanden av litterära/konstnärliga texter, filmer, skulpturer osv. som innehåller begränsat smutsigt prat eller korta icke-explicita nakenhetsscener Personliga erfarenheter som rör sex i allmänhet, sexuella problem och trauman, delning av hanteringsmekanismer och resurser för att ta itu med sådana frågor Användarens avsikt att skapa en blockeringslista för sexuellt innehåll Omnämnanden av sexuella handlingar och nakenhet med ljus kärna	`"The first time I had sex, I found it painful."`
Nivå 3	Innehåll med sexuellt relaterade termer i fall som innehåller visst grafiskt innehåll, åsikter som uttrycker partiska, fördomsfulla, dömande eller åsiktsfulla åsikter om sexrelaterade frågor. Detta inkluderar: Personliga tidigare eller nuvarande sexuella upplevelser med visst grafiskt innehåll	`"We made out for a while, and he started to feel me up. I felt a bulge in his pants."`
Nivå 4	Innehåll som beskriver sexuella fantasier, professionell sexindustri och reklam och sexualiserad djurreproduktion. Detta inkluderar: Fantasier om sex av olika typer, inklusive att föreställa sig verklig eller fiktiv nakenhet Professionell sexindustri utan beskrivningar av sexscener Reklam för kondomer, smörjmedel, sexleksaker, kläder osv. Beskrivningar av sexuell reproduktion mellan djur eller djurliknande tecken med visst grafiskt innehåll Omnämnanden av sexuella handlingar och nakenhet med mjuk kärna	`"I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage…"`
Nivå 5	Innehåll som beskriver erotiska shower eller upplevelser som personlig upplevelse, BDSM med tydligt medgivande och erotiska berättelser och webbplatser. Detta inkluderar: Omnämnanden av sexuell, erotisk eller tantrisk massage, strippklubbar, erotiska shower som personlig erfarenhet (inte som en professionell tjänst) Personliga upplevelser och beskrivningar relaterade till BDSM-attribut och -metoder i allmänhet eller situationer med tydligt innehåll till BDSM-praxis Omnämnanden av icke-kommersiellt erotiskt innehåll som rör sexuell lust eller nöje	`"We both climaxed at the same time."`
Nivå 6	Innehåll som beskriver värvning av sexuella kommersiella tjänster, som innehåller detaljerade beskrivningar av sexuell aktivitet, våldsamma sexuella övergrepp och våldtäkt, och maktutbyten, övergrepp och voyeurism i samförstånd. Detta inkluderar: Omnämnanden av stimulering av könsorgan med händer eller andra föremål, onani, etc. Fetisch- eller råinnehåll som involverar kroppsvätskor, situationer med sexkontroll eller BDSM-aktiviteter utan tydligt medgivande Texter som beskriver sexuellt våld, sexuella övergrepp, våldtäkt eller övergrepp i grafisk information Texter som tillskriver positiva egenskaper till sexuella övergrepp Texter som söker eller ger instruktioner för att utföra sexuella övergrepp Utpressningshandlingar och hot för att avslöja oöverträffat sexuella bilder eller videor som tidigare spelats in	`"I love forced sex, it's so much hotter."`
Nivå 7	Innehåll som används för att främja, stödja, förhärliga extrema former av sexuell förslavning. Innehåll som är extremt eller olagligt. Detta inkluderar: Sex med djur, lik osv. Pedofili Söka eller ge instruktioner om barnskötsel Explicita eller potentiella referenser till incest Rekrytering av människohandel	`"I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son."`

Allvarlighetsgrad för våld

Allvarlighetsgrad	Beskrivning	Exempeltext
Nivå 0	Innehåll som innehåller icke-våldsamma handlingar eller våldsrelaterade termer som används i allmän mening och som är ofarligt för alla målgrupper, inklusive barn. Detta omfattar: Vanliga objekt när de inte används som vapen Leksakspistoler, icke-realistiska eller låtsasvapen Omnämnanden av rep när de inte används som en snara	`"According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles."`
Nivå 1	Innehåll som innehåller våldsrelaterade termer eller handlingar som används i allmän mening men som kan få en annan betydelse baserat på kontext. Detta omfattar: Delmängder av texter som innehåller beskrivningar av våldshandlingar, där kontextualiseringen av den fullständiga texten inte har någon våldsam avsikt Officiell statistik och dokumentation om vapen, vapen, våld i hemmet, krigföring, militär osv. Utbildningsresurser relaterade till våld Nyhets-/mediebevakning Medicinska termer och innehåll Tekniska specifikationer för jakt eller skytte sport och vapen Stridsträning Antiterrorist- och terroristsymboler som inte är relaterade till IS/al-Qaida	`"Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights."`
Nivå 2	Innehåll som innehåller våldsrelaterade termer eller handlingar i fiktiva eller verkliga upplevelser som inte är extremt grafiska och utan förhärligande eller godkännande av malintent. Detta omfattar: För det första, andra och tredje person berättande i tv-spel, litterära/konstnärliga texter som skildrar våldsamma eller grafiska scener Speltips och rekommendationer Personliga erfarenheter där en individ beskriver hur de utsattes för någon typ av våld Omnämnanden av rep när de används som en snara utan mänskliga ämnen som finns eller inte är relaterade till snaran Avsikten med användaren är att skapa en blockeringslista med våldsamt innehåll	`"She wishes she could have killed her whole family."`
Nivå 3	Innehåll med våldsrelaterade termer eller handlingar i fall som innehåller visst grafiskt innehåll, åsikter som uttrycker partiska, fördomsfulla, dömande eller åsiktsfulla åsikter om våld. Detta omfattar: Tillåta grymhet för vissa djur Texter som hävdar positiv inverkan av vissa typer av våld	`"Some people just need to be slapped."`
Nivå 4	Innehåll som beskriver ogrundad motivering till varför offer utsätts för fysiskt övergrepp, ogrundad tillskrivning av positiva egenskaper hos förövare, hot om våldsamma handlingar och fantasier som rör hur man skadar en annan person och medium gore. Detta omfattar: Texter som sätter offret i fel eller skildrar förövare i ett positivt ljus Grafiska beskrivningar av våld och död med medium gore En obduktionsrapport, en kriminalteknisk undersökning, brott eller dödsplats Kött- och fjäderfäanläggningar och religiösa djuroffer Hänvisningar till historiska eller nyligen genomförda folkmord och kända skjutningar med massoffer utan stöd eller förhärligande Hänvisningar till terrorist- och våldsbejakande extremisthändelser utan stöd eller förhärligande	`"Victims of abuse deserve to be hit. They push and push until they get what they deserve."`
Nivå 5	Innehåll som syftar till ytterligare våld, med direkta instruktioner om hur specifika individer eller grupper skadas. Detta omfattar: Texter som uppmanar till fysiskt våld mot riktade individer/grupper Instruktioner om hur man orsakar fysiskt våld för individer eller övergrepp mot djur Texter som söker råd om hur man utför våldshandlingar på djur, individer eller grupper Mobbning och hot	`"Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught."`
Nivå 6	Innehåll som beskriver extremistgrupper och terroristorganisationer, massmord och explicit fysisk skada i hög gore och främjande av terrorism och dess propaganda. Detta omfattar: Officiellt terrorist- eller extremistiskt propagandamaterial och våldsam ideologi på Internet Anstiftan att vidta en våldsam åtgärd	`"We must kill them all. God wills it, and society will be better for it."`
Nivå 7	Innehåll som används för att beskriva, berömma, stödja, främja, stödja, förhärliga extrema former av våld. Innehåll som stöder terroristorganisationer och radikaliserar, instruerar eller tränar. Detta omfattar: Tvångsarbete inklusive barn, hushållsservitud eller medicinsk behandling Online terrorist och våldsamt extremistiskt propagandamaterial som förhärligar mord som en del av terroristaktivitet och hjälperbjudanden till terroristorganisationer eller orsaker Texter som söker instruktioner om anknytning till terroristgrupper och våldsbejakande extremistgrupper om hur man rekryterar, påverkar och utbildar människor mot saken Olagliga trakasserande beteenden som stalking eller oönskad övervakning Texter som planerar och samordnar attacker mot individer eller grupper av människor Texter som stöder, förhärligar eller ger instruktioner om kannibalism	`"Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight."`

Allvarlighetsgrad för självskadebeteende

Allvarlighetsgrad	Beskrivning	Exempeltext
Nivå 0 – Valv	Innehåll som innehåller självskaderelaterade termer som används i allmän mening och som är ofarligt för alla målgrupper, inklusive barn. Detta omfattar: Omnämnanden av indikatorer för kroppsfett, fettmassindex efter ålder och kön i hälsorelaterade sammanhang	`"I appreciate your hard work, but you don't need to keep killing yourself over this project."`
Nivå 1	Innehåll som innehåller självskaderelaterade termer som används i allmän mening men som kan få en annan betydelse baserat på kontext. Detta omfattar: Officiell statistik och dokumentation om icke-självmordsbenägen självskada (NSSI), självmord osv. Utbildningsresurser relaterade till självskadebeteende Nyhets-/mediebevakning Medicinska termer och innehåll Åtgärder som beskriver oavsiktlig självskada, tips för första hjälpen osv.	`"Binging and purging may be a warning sign for people with a history of extreme weight loss."`
Nivå 2	Innehåll som innehåller självskadebeteende relaterade termer eller agerar i fiktiva eller verkliga upplevelser som inte är extremt grafiska. Detta omfattar: Litterära/konstnärliga texter, filmer osv. som skildrar karaktärer som ritar eller begår självmord, ägnar sig åt självskada eller oordnad mat utan förhärligande eller godkännande Texter där självskadebeteenden eller självmord avbildas med låg gore Avsikten med användaren är att skapa blockeringar av självskadevillkor	`"Oedipus stabbed his eyes in despair."`
Nivå 3	Innehåll med självskaderelaterade termer eller handlingar i fall som innehåller visst grafiskt innehåll, åsikter som uttrycker partiska, fördomsfulla, dömande eller åsiktsfulla åsikter om självskadebeteende. Detta omfattar: Personliga erfarenheter relaterade till självskada, till exempel att be om hjälp innan de skadar sig själva eller begår självmord	`"I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice?"`
Nivå 4	Innehåll som hånar offer eller överlevande från självmord eller självskadebeteende, ogrundad tillskrivning av positiva egenskaper till självskadebeteende, fantasier eller önskemål om självskadebeteende och innehåller uttryckligen grafiskt innehåll som involverar död, obduktion, brott eller dödsscen. Detta omfattar: Självskada presenteras som en lösning på ett problem, känslomässigt lidande, fly från smärta / våndor Texter där självskada eller självmord innehåller medium gore och beskrivningar av verktyg som en kniv, en pistol osv.	`"It's hilarious when [identity group] kill themselves."`
Nivå 5	Innehåll som syftar till att ytterligare främja självskadebeteende, ge direkta instruktioner om hur man utför självskadebeteende eller mobbar ett offer. Detta omfattar: Texter som söker råd eller rekommendationer om hur man utför självskadebeteenden förutom självmord Texter som beskriver personliga tidigare och nuvarande erfarenheter av självskadebeteende som innehåller explicit information Mobbning, hot och pressande som uppmuntrar och främjar självskadebeteenden	`"Go kill yourself, you are worthless."`
Nivå 6	Innehåll som beskriver detaljerade och explicita instruktioner om hur du begår självmord. Detta omfattar: Texter som instruerar hur du skriver ett avskedsmeddelande till din familj	`"Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag."`
Nivå 7	Innehåll som används för att stödja och förhärliga självmord eller andra allvarliga självskadebeteenden. Detta omfattar: Självkapsling Brinner levande	`"Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble."`

Avbildningsinnehåll

Varning!
Allvarlighetsgradsdefinitioner