Skadekategorier i Azure AI Content Safety
- Artikel
Den här guiden beskriver alla skadekategorier och klassificeringar som Azure AI Content Safety använder för att flagga innehåll. Både text- och bildinnehåll använder samma uppsättning flaggor.
Skadekategorier
Content Safety identifierar fyra olika kategorier av stötande innehåll.
Kategori | beskrivning | API-term |
---|---|---|
Hat och rättvisa | Hat- och rättviseskador avser allt innehåll som attackerar eller använder diskriminerande språk med hänvisning till en person eller identitetsgrupp baserat på vissa differentieringsattribut för dessa grupper. Detta omfattar, men är inte begränsat till:
|
Hate |
Sexuell | Sexual beskriver språk relaterade till anatomiska organ och könsorgan, romantiska relationer och sexuella handlingar, handlingar som framställs i erotiska eller tillgivna termer, inklusive de som framställs som ett övergrepp eller en tvingad sexuell våldsam handling mot ens vilja. Detta inkluderar men är inte begränsat till:
|
Sexual |
Våld | Våld beskriver språk som rör fysiska handlingar som är avsedda att skada, skada, skada eller döda någon eller något; beskriver vapen, vapen och relaterade entiteter. Detta inkluderar, men är inte begränsat till:
|
Violence |
Självskadebeteende | Självskadebeteende beskriver språk relaterade till fysiska handlingar som är avsedda att avsiktligt skada, skada, skada ens kropp eller döda sig själv. Detta inkluderar, men är inte begränsat till:
|
SelfHarm |
Klassificering kan vara flera etiketter. När ett textexempel till exempel går igenom textmodereringsmodellen kan det klassificeras som både sexuellt innehåll och våld.
Allvarlighetsgrad
Varje skadekategori som tjänsten gäller har också en allvarlighetsgrad. Allvarlighetsgraden är avsedd att indikera allvarlighetsgraden för konsekvenserna av att visa det flaggade innehållet.
Text: Den aktuella versionen av textmodellen stöder den fullständiga allvarlighetsgraden 0–7. Klassificeraren identifierar bland alla allvarlighetsgraderna längs den här skalan. Om användaren anger kan den returnera allvarlighetsgraderna i den trimmade skalan 0, 2, 4 och 6. varje två intilliggande nivåer mappas till en enda nivå.
[0,1]
->0
[2,3]
->2
[4,5]
->4
[6,7]
->6
Bild: Den aktuella versionen av bildmodellen stöder den trimmade versionen av den fullständiga allvarlighetsgraden 0–7. Klassificeraren returnerar endast allvarlighetsgrad 0, 2, 4 och 6.
0
2
4
6
Bild med text: Den aktuella versionen av den multimodala modellen stöder den fullständiga allvarlighetsgradsskalan 0–7. Klassificeraren identifierar bland alla allvarlighetsgraderna längs den här skalan. Om användaren anger kan den returnera allvarlighetsgraderna i den trimmade skalan 0, 2, 4 och 6. varje två intilliggande nivåer mappas till en enda nivå.
[0,1]
->0
[2,3]
->2
[4,5]
->4
[6,7]
->6
Textinnehåll
Varning
Fliken Allvarlighetsgradsdefinitioner i det här dokumentet innehåller exempel på skadligt innehåll som kan vara störande för vissa läsare.
Allvarlighetsgrad för hat och rättvisa
Allvarlighetsgrad | Beskrivning | Exempeltext |
---|---|---|
Nivå 0 | Innehåll som innehåller hat- och rättviserelaterade termer som används i allmän mening och är lämpligt för alla målgrupper, inklusive barn. Detta omfattar:
|
I hate cats. |
Nivå 1 | Innehåll som innehåller hat- och rättviserelaterade termer som används i allmän mening, men som kan få en annan betydelse baserat på kontext och som inte skiljer mellan identitetsgrupper och andra på ett partiskt eller negativt sätt. Detta omfattar:
|
Black people should not be killed by police or mistreated just because of their skin color. |
Nivå 2 | Innehåll som innehåller positiv karorisering eller skydd av de identitetsgrupper som utlöser ett gynnsamt känslomässigt svar. Detta omfattar:
|
I hate you. |
Nivå 3 | Innehåll som innehåller fördomsfull, dömande, stereotyp karaktärisering eller negativ attityd. Detta omfattar:
|
I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all. |
Nivå 4 | Innehåll som innehåller direkta verbala attitydmotiverade förolämpningar, negativa kommentarer och rasistiska smädelser som används som beskrivningar som riktar sig mot identitetsgrupper med avsikt att skada individer baserat på deras attribut. Detta omfattar:
|
All [identity group] are ugly. |
Nivå 5 | Innehåll som innehåller avhumanisering eller undantag för individer eller grupper som främjar negativa känslor genom avhumanisering, våld, förnekande av händelser, mobbning eller hotbeteenden. Detta omfattar:
|
The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof. |
Nivå 6 | Innehåll baserat på negativa känslor och hatpropaganda mot identitetsgrupper. Genom att referera till gruppegenskaper som särskiljer identitetsgruppen och andra och vädjar om att vidta åtgärder mot identitetsgrupper baserat på deras attribut. Detta kan omfatta:
|
Send [identity group] back to the gas chambers. |
Nivå 7 | Innehåll baserat på negativa känslor, visning av avsikt att hatbrott och stalking, utlösa ett fientligt känslomässigt svar och skilja identitetsgrupper och andra som leder till brott. Detta omfattar:
|
Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because… |
Nivåer för sexuell allvarlighetsgrad
Allvarlighetsgrad | Beskrivning | Exempeltext |
---|---|---|
Nivå 0 | Innehåll som innehåller sexuellt relaterade termer som används i allmän mening och som är ofarligt för alla målgrupper, inklusive barn.
|
The sports bra and yoga pants were too tight for comfort. |
Nivå 1 | Innehåll som innehåller sexuellt relaterade termer som används i allmän mening men som kan få en annan betydelse baserat på kontext. Detta inkluderar:
|
Fewer young adults are having sex than in previous generations. |
Nivå 2 | Innehåll som innehåller sexuellt relaterade termer i fiktiva eller verkliga upplevelser som inte är extremt grafiska. Detta inkluderar:
|
My husband and I introduced a vibrator to our sex life and it has really made a difference. |
Nivå 3 | Innehåll med sexuellt relaterade termer i fall som innehåller visst grafiskt innehåll, åsikter som uttrycker partiska, fördomsfulla, dömande eller åsiktsfulla åsikter om sexrelaterade frågor. Detta inkluderar:
|
We made out for a while, and he started to feel me up. I felt a bulge in his pants. |
Nivå 4 | Innehåll som beskriver sexuella fantasier, professionell sexindustri och reklam och sexualiserad djurreproduktion. Detta inkluderar:
|
I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage… |
Nivå 5 | Innehåll som beskriver erotiska shower eller upplevelser som personlig upplevelse, BDSM med tydligt medgivande och erotiska berättelser och webbplatser. Detta inkluderar:
|
We both climaxed at the same time. |
Nivå 6 | Innehåll som beskriver värvning av sexuella kommersiella tjänster, som innehåller detaljerade beskrivningar av sexuell aktivitet, våldsamma sexuella övergrepp och våldtäkt, och maktutbyten, övergrepp och voyeurism i samförstånd. Detta inkluderar:
|
I love forced sex, it's so much hotter. |
Nivå 7 | Innehåll som används för att främja, stödja, förhärliga extrema former av sexuell förslavning. Innehåll som är extremt eller olagligt. Detta inkluderar:
|
I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son. |
Allvarlighetsgrad för våld
Allvarlighetsgrad | Beskrivning | Exempeltext |
---|---|---|
Nivå 0 | Innehåll som innehåller icke-våldsamma handlingar eller våldsrelaterade termer som används i allmän mening och som är ofarligt för alla målgrupper, inklusive barn. Detta omfattar:
|
According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles. |
Nivå 1 | Innehåll som innehåller våldsrelaterade termer eller handlingar som används i allmän mening men som kan få en annan betydelse baserat på kontext. Detta omfattar:
|
Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights. |
Nivå 2 | Innehåll som innehåller våldsrelaterade termer eller handlingar i fiktiva eller verkliga upplevelser som inte är extremt grafiska och utan förhärligande eller godkännande av malintent. Detta omfattar:
|
Physical punishment is a way to correct bad behavior and doesn’t cause harm to children. |
Nivå 3 | Innehåll med våldsrelaterade termer eller handlingar i fall som innehåller visst grafiskt innehåll, åsikter som uttrycker partiska, fördomsfulla, dömande eller åsiktsfulla åsikter om våld. Detta omfattar:
|
Some people just need to be slapped. |
Nivå 4 | Innehåll som beskriver ogrundad motivering till varför offer utsätts för fysiskt övergrepp, ogrundad tillskrivning av positiva egenskaper hos förövare, hot om våldsamma handlingar och fantasier som rör hur man skadar en annan person och medium gore. Detta omfattar:
|
Victims of abuse deserve to be hit. They push and push until they get what they deserve. |
Nivå 5 | Innehåll som syftar till ytterligare våld, med direkta instruktioner om hur specifika individer eller grupper skadas. Detta omfattar:
|
Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught. |
Nivå 6 | Innehåll som beskriver extremistgrupper och terroristorganisationer, massmord och explicit fysisk skada i hög gore och främjande av terrorism och dess propaganda. Detta omfattar:
|
We must kill them all. God wills it, and society will be better for it. |
Nivå 7 | Innehåll som används för att beskriva, berömma, stödja, främja, stödja, förhärliga extrema former av våld. Innehåll som stöder terroristorganisationer och radikaliserar, instruerar eller tränar. Detta omfattar:
|
Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight. |
Allvarlighetsgrad för självskadebeteende
Allvarlighetsgrad | Beskrivning | Exempeltext |
---|---|---|
Nivå 0 – Säker | Innehåll som innehåller självskaderelaterade termer som används i allmän mening och som är ofarligt för alla målgrupper, inklusive barn. Detta omfattar:
|
I appreciate your hard work, but you don't need to keep killing yourself over this project. |
Nivå 1 | Innehåll som innehåller självskaderelaterade termer som används i allmän mening men som kan få en annan betydelse baserat på kontext. Detta omfattar:
|
Binging and purging may be a warning sign for people with a history of extreme weight loss. |
Nivå 2 | Innehåll som innehåller självskadebeteende relaterade termer eller agerar i fiktiva eller verkliga upplevelser som inte är extremt grafiska. Detta omfattar:
|
Oedipus stabbed his eyes in despair. |
Nivå 3 | Innehåll med självskaderelaterade termer eller handlingar i fall som innehåller visst grafiskt innehåll, åsikter som uttrycker partiska, fördomsfulla, dömande eller åsiktsfulla åsikter om självskadebeteende. Detta omfattar:
|
I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice? |
Nivå 4 | Innehåll som hånar offer eller överlevande från självmord eller självskadebeteende, ogrundad tillskrivning av positiva egenskaper till självskadebeteende, fantasier eller önskemål om självskadebeteende och innehåller uttryckligen grafiskt innehåll som involverar död, obduktion, brott eller dödsscen. Detta omfattar:
|
It's hilarious when [identity group] kill themselves. |
Nivå 5 | Innehåll som syftar till att ytterligare främja självskadebeteende, ge direkta instruktioner om hur man utför självskadebeteende eller mobbar ett offer. Detta omfattar:
|
Go kill yourself, you are worthless. |
Nivå 6 | Innehåll som beskriver detaljerade och explicita instruktioner om hur du begår självmord. Detta omfattar:
|
Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag. |
Nivå 7 | Innehåll som används för att stödja och förhärliga självmord eller andra allvarliga självskadebeteenden. Detta omfattar:
|
Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble. |
Avbildningsinnehåll
Varning
Fliken Allvarlighetsgradsdefinitioner i det här dokumentet innehåller exempel på skadligt innehåll som kan vara störande för vissa läsare.
Allvarlighetsgrad för hat och rättvisa
Allvarlighetsgrad | Beskrivning | Bildexempel |
---|---|---|
Safe | Innehållet är säkert men kan innehålla hat- och rättviserelaterade bilder utan attityd eller neutrala känslor på icke-diskriminerande icke-stötande sätt i följande sammanhang eller sådana som liknar:
|
Icke-sydstatsflaggor, t.ex. flaggor från länder eller stater som har korsningar
|
Låg | Innehåll som innehåller antingen positiva sentiment, falska positiva sentiment eller negativa, partiska sentiment som skiljer identitetsgrupper från andra. Det här innehållet är avsett att utlösa ett känslomässigt svar. Detta omfattar:
|
Representationer av rörelsen "No Hate Speech" Representationer av deprioriterade jobbkandidater som kandidater med funktionshinder i intervjuinställningar |
Medium | Innehåll som innehåller negativa attitydåtgärder mot identitetsgrupper och andra som leder till främjande av åtgärder mot en identitetsgrupper och känslor av överlägsenhet. Detta omfattar:
|
Bilder som främjar social undvikande av [identitetsgrupper] Bilder som skildrar rasförbättringsteorin och rashygienen |
Högt | Innehåll som innehåller negativa känslor och hatpropaganda mot identitetsgrupper som leder till hatpropagandagenerering eller hatbrott. Detta omfattar:
|
Antisemitiska bilder Bilder som visar "Södra korset" som har en blå saltire (diagonalt kors) med anknytning till uppenbart våld (t.ex. vapen i visning/användning) |
Nivåer för sexuell allvarlighetsgrad
Allvarlighetsgrad | Beskrivning | Bildexempel |
---|---|---|
Safe | Innehållet är säkert men innehåller sexuellt relaterade bilder som används i allmän mening. Detta omfattar:
|
Representationer av att krama eller göra icke-sexuell fysisk kontakt Representationer som visar fysisk visning av tillgivenhet som kyssar utan tunga och utan nakenhet |
Låg | Innehåll som innehåller sexuellt suggestiva beteenden eller handlingar. Detta omfattar:
|
Skildringar av människor |
Medium | Innehåll som innehåller kommersiellt och amatör erotiskt och/eller pornografiskt innehåll utan visuell fotografisk penetration och nakna eller halvnakna deltagare som är involverade i sexuella scener avsedda att vara sexuellt upphetsande. Detta omfattar:
|
Skildringar av samlag som kan vara delvis ockluderade men fortfarande tydligt närvarande i bilden |
Högt | Innehåll som innehåller explicita detaljerade skildringar av sexualorgan och sexuella handlingar, inklusive olagliga handlingar. Detta omfattar:
|
Skildringar av engagemang i sexuella aktiviteter med djur eller lik |
Allvarlighetsgrad för våld
Allvarlighetsgrad | Beskrivning | Bildexempel |
---|---|---|
Safe | Innehållet är säkert men innehåller våldsrelaterade bilder som används i allmän mening. Detta omfattar:
|
Skildringar av icke-realistiska vapen och bladverktyg |
Låg | Innehåll som innehåller våldsrelaterade bilder och agerar i verkliga eller fiktiva sammanhang med låg gore. Detta omfattar:
|
Skildringar av IS/al-Qaida-flaggor |
Medium | Innehåll som innehåller måttligt grafiskt våld och våldshandlingar riktade mot ett identifierat mål. Detta omfattar:
|
Skildringar av användning av våld och tvång för att aggressivt dominera eller skrämma en individ |
Högt | Innehåll som innehåller explicita detaljerade skildringar av våld och våldsamma handlingar i hög gore. Detta omfattar:
|
Skildringar av döden när de utförs av terroristgrupper som kan identifieras av IS-flaggor och symboler |
Allvarlighetsgrad för självskadebeteende
Allvarlighetsgrad | Beskrivning | Bildexempel |
---|---|---|
Safe | Innehållet är säkert men innehåller självskaderelaterade bilder som används i allmän mening. Detta omfattar:
|
Skildringar av att hoppa med en fallskärm ur ett plan |
Låg | Innehåll som innehåller självskadebeteende relaterade bilder och agerar i verkliga eller fiktiva sammanhang med låg gore. Detta omfattar:
|
Representationer av självskaderelaterade handlingar, verktyg, skador och känslomässigt tillstånd |
Medium | Innehåll som innehåller måttliga grafiska bilder relaterade till självskadebeteende och självmord. Detta omfattar:
|
Representationer av användning av våld och tvång för att aggressivt dominera eller skrämma en individ till självskadebeteende |
Högt | Innehåll som innehåller explicita detaljerade skildringar av självskadebeteende och självmord i hög gore. Detta omfattar:
|
Skildringar av avsiktligt självmord, där en person har begått självmord genom att hoppa från en hög byggnad |
Multimodalt innehåll (bild med text)
Varning
Fliken Allvarlighetsgradsdefinitioner i det här dokumentet innehåller exempel på skadligt innehåll som kan vara störande för vissa läsare.
Allvarlighetsgrad för hat och rättvisa
Allvarlighetsgrad | Beskrivning | Bildexempel |
---|---|---|
Safe | Innehållet är säkert men kan innehålla hat- och rättviserelaterad text och visuella objekt som används i allmänna och säkra kontexter som:
|
Scenario: Bild med textöverlägg Bild: Godartat foto av en person SMS: Attends rally wearing sneakers |
Låg | Innehåll som innehåller positiv karaktärisering eller skydd av identitetsgrupperna, visar diskriminering, stereotyper och fördomar, dömande, åsiktsfulla åsikter eller attityder relaterade till hatpropaganda eller riktad mot identitetsgrupper. Detta inkluderar:
|
Scenario: Bild med textöverlägg Bild: Godartat foto av en person SMS: Everyone assumes that I got high grades in math because I’m Asian. I did. Motivering: Antyder rasistisk stereotyp. |
Medium | Innehåll som innehåller förolämpningar, mobbning, hot, av humanisering eller undantag från individer eller grupper. Detta inkluderar:
|
Scenario: Bild med textöverlägg Bild: Godartat foto av en person med Parkinsons SMS: This guy just Friended and Unfriended me 45 times in 15 seconds. Does anyone know him? Motivering: Innebär hån på grund av funktionshinder |
Högt | Innehåll som innehåller hatpropaganda som propaganda som hotar eller kräver våld mot identitetsgrupper, radikaliserar, rekryterar eller uppmanar människor att ansluta sig till extremistiska insatser eller sprida hatpropaganda. Detta inkluderar:
|
Scenario: Bild och text mellanlagrade Never forget that everything [image of Adolf Hitler] did in Germany was legal. |
Nivåer för sexuell allvarlighetsgrad
Allvarlighetsgrad | Beskrivning | Bildexempel |
---|---|---|
Safe | Innehållet är säkert men kan innehålla sexuellt relaterade termer eller visuella objekt som används i allmänna och säkra kontexter som:
|
Scenario: Bild med textöverlägg Bild: En skunk SMS: Looks aren’t everything, be careful who you marry, and check your mirrors too. |
Låg | Innehåll som uttrycker fördomsfulla, dömande eller åsiktsfulla åsikter om sexuellt relaterade ämnen eller nämner sexuellt relaterade termer i fiktiva eller verkliga upplevelser som inte är extremt grafiska. Detta inkluderar:
|
Scenario: Bild och text mellanlagrade I hope they debate social issues I want [image of a person cupping their ear, representing "to hear"] about how a representative wants to regulate female sexual organs. |
Medium | Innehåll som beskriver sexuell upphetsning och aktivitet i explicita och grafiska termer eller visuella objekt, inklusive fantasier om sex och sexuella övergrepp. Detta inkluderar:
|
Scenario: Bild och text mellanlagrade There is so much [image containing the phrase "Sex and Violence"] in that book it could use a warning label in the cover. |
Högt | Innehåll som beskriver värvning av sexuella kommersiella tjänster, som innehåller detaljerade beskrivningar av sexuell aktivitet, våldsamma sexuella övergrepp och våldtäkt, och maktutbyten, övergrepp och voyeurism i samförstånd. Detta inkluderar också innehåll som används för att främja, stödja eller förhärliga extrema eller olagliga sexuella handlingar. Detta inkluderar:
|
Scenario: Bild och text mellanlagrade Can too much [image of graphic pornography] actually kill you? Evidently not, because you are still with us. |
Allvarlighetsgrad för våld
Allvarlighetsgrad | Beskrivning | Bildexempel |
---|---|---|
Safe | Innehållet är säkert men kan innehålla termer och visuella objekt som rör våld som används i allmänna och säkra sammanhang, till exempel:
|
Scenario: Bild och text mellanlagrade [Image of lawnmower] can easily throw a [image of rock] to a distance well over 50 feet. |
Låg | Innehåll i fiktiva sammanhang (till exempel spel, litteratur, konst) som skildrar våldsamma eller grafiska scener utan förhärligande, godkännande eller malintent. Detta inkluderar:
|
Scenario: Bild med textöverlägg Bild: Godartat foto av en "nördig" person SMS: Runs suicides at basketball practice. Dies. Motivering: Innebär överbelastning på grund av bristen på fysiska förmågor hos personen. |
Medium | Innehåll som innehåller grafiska skildringar av våld och död med medelhög intensitet samt fantasier om våldshandlingar eller hot. Detta inkluderar:
|
Scenario: Bild och text mellanlagrade She needs [image of a graphic that reads "to die"] already . |
Högt | Innehåll som innehåller terroristisk eller våldsam extremistisk propaganda och våldsam ideologi på Internet som beskriver, lovordar, stöder, stöder eller förhärligar mord som en del av terroristisk verksamhet, hjälper till med erbjudanden till terroristorganisationer eller orsaker. Detta inkluderar:
|
Scenario: Bild och text mellanlagrade I can’t wait for this [image of ISIS kafir beheading]. |
Allvarlighetsgrad för självskadebeteende
Allvarlighetsgrad | Beskrivning | Bildexempel |
---|---|---|
Safe | Innehållet är säkert men kan innehålla termer eller visuella objekt som rör självskadebeteende som används i allmänna och säkra kontexter som:
|
Scenario: Bild och text mellanlagrade How do I tie a [image of a rope]? |
Låg | Innehåll som innehåller referenser till tecken som planerar eller begår självmord i en fiktiv kontext (till exempel litteratur, filmer) eller innehåller skildringar av självskadebeteenden eller självmord med låg intensitet. Detta inkluderar:
|
Scenario: Bild med textöverlägg Bild: Grodan Kermit SMS: Life ain’t no good for a frog. Even tried to Kermit suicide. |
Medium | Innehåll som hånar offer eller överlevande från självskadebeteende som ätstörningar eller självmord, samt mobbning och hot som hetsar upp och främjar självskadebeteenden. Detta inkluderar:
|
Scenario: Bild med mellanlagrade text I will [image of a knife] myself soon. But until then, how do I tame my pain? |
Högt | Innehåll som inkluderar forskning för råd eller ger instruktioner och metoder för hur man ägnar sig åt självskadebeteende som leder till döden eller hur man begår självmord samt förhärligande och godkännande av självmord, eller andra allvarliga typer av självskada. Detta inkluderar:
|
Scenario: Bild och text mellanlagrade Black Friday [image of self-harm with text "My self-harm cuts have nearly faded completely so they won’t scar"] and [image of a kitchen mixer] deals. |
Nästa steg
Följ en snabbstart för att komma igång med Azure AI Content Safety i ditt program.
Feedback
Var den här sidan till hjälp?