Dela via


Skadekategorier i Azure AI Content Safety

Den här guiden beskriver alla skadekategorier och klassificeringar som Azure AI Content Safety använder för att flagga innehåll. Både text- och bildinnehåll använder samma uppsättning flaggor.

Skadekategorier

Content Safety identifierar fyra olika kategorier av stötande innehåll.

Kategori beskrivning API-term
Hat och rättvisa Hat- och rättviseskador avser allt innehåll som attackerar eller använder diskriminerande språk med hänvisning till en person eller identitetsgrupp baserat på vissa differentieringsattribut för dessa grupper.

Detta omfattar, men är inte begränsat till:
  • Ras, etnicitet, nationalitet
  • Könsidentitetsgrupper och uttryck
  • Sexuell läggning
  • Religion
  • Personligt utseende och kroppsstorlek
  • Invaliditetsstatus
  • Trakasserier och mobbning
Hate
Sexuell Sexual beskriver språk relaterade till anatomiska organ och könsorgan, romantiska relationer och sexuella handlingar, handlingar som framställs i erotiska eller tillgivna termer, inklusive de som framställs som ett övergrepp eller en tvingad sexuell våldsam handling mot ens vilja. 

 Detta inkluderar men är inte begränsat till:
  • Vulgärt innehåll
  • Prostitution
  • Nakenhet och pornografi
  • Missbruk
  • Utnyttjande av barn, barnmisshandel, barnskötsel
Sexual
Våld Våld beskriver språk som rör fysiska handlingar som är avsedda att skada, skada, skada eller döda någon eller något; beskriver vapen, vapen och relaterade entiteter.

Detta inkluderar, men är inte begränsat till:
  • Vapen
  • Mobbning och hot
  • Terrorist- och våldsbejakande extremism
  • Stalking
Violence
Självskadebeteende Självskadebeteende beskriver språk relaterade till fysiska handlingar som är avsedda att avsiktligt skada, skada, skada ens kropp eller döda sig själv.

Detta inkluderar, men är inte begränsat till:
  • Ätstörningar
  • Mobbning och hot
SelfHarm

Klassificering kan vara flera etiketter. När ett textexempel till exempel går igenom textmodereringsmodellen kan det klassificeras som både sexuellt innehåll och våld.

Allvarlighetsgrad

Varje skadekategori som tjänsten gäller har också en allvarlighetsgrad. Allvarlighetsgraden är avsedd att indikera allvarlighetsgraden för konsekvenserna av att visa det flaggade innehållet.

Text: Den aktuella versionen av textmodellen stöder den fullständiga allvarlighetsgraden 0–7. Klassificeraren identifierar bland alla allvarlighetsgraderna längs den här skalan. Om användaren anger kan den returnera allvarlighetsgraderna i den trimmade skalan 0, 2, 4 och 6. varje två intilliggande nivåer mappas till en enda nivå.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

Bild: Den aktuella versionen av bildmodellen stöder den trimmade versionen av den fullständiga allvarlighetsgraden 0–7. Klassificeraren returnerar endast allvarlighetsgrad 0, 2, 4 och 6.

  • 0
  • 2
  • 4
  • 6

Bild med text: Den aktuella versionen av den multimodala modellen stöder den fullständiga allvarlighetsgradsskalan 0–7. Klassificeraren identifierar bland alla allvarlighetsgraderna längs den här skalan. Om användaren anger kan den returnera allvarlighetsgraderna i den trimmade skalan 0, 2, 4 och 6. varje två intilliggande nivåer mappas till en enda nivå.

  • [0,1] ->0
  • [2,3] ->2
  • [4,5] ->4
  • [6,7] ->6

Textinnehåll

Varning

Fliken Allvarlighetsgradsdefinitioner i det här dokumentet innehåller exempel på skadligt innehåll som kan vara störande för vissa läsare.

Avbildningsinnehåll

Varning

Fliken Allvarlighetsgradsdefinitioner i det här dokumentet innehåller exempel på skadligt innehåll som kan vara störande för vissa läsare.

Multimodalt innehåll (bild med text)

Varning

Fliken Allvarlighetsgradsdefinitioner i det här dokumentet innehåller exempel på skadligt innehåll som kan vara störande för vissa läsare.

Nästa steg

Följ en snabbstart för att komma igång med Azure AI Content Safety i ditt program.