Kategorie škod v obsahu Azure AI Sejf ty
- Článek
Tato příručka popisuje všechny kategorie škod a hodnocení, které obsah Azure AI Sejf ty používá k označení obsahu. Text i obsah obrázku používají stejnou sadu příznaků.
Kategorie škod
Obsah Sejf ty rozpozná čtyři odlišné kategorie problematického obsahu.
Kategorie | Popis |
---|---|
Nenávist a nestrannost | Škody související s nenávistí a nestranností odkazují na veškerý obsah, který útoky nebo používá pejorativní nebo nediskriminační jazyk s odkazem na osobu nebo skupinu identit na základě určitých atributů, včetně rasy, etnického původu, státní příslušnosti, genderové identity a výrazu, sexuální orientace, náboženství, přistěhovalectví, stavu schopnosti, osobního vzhledu a velikosti těla. Nestrannost se zabývá zajištěním, aby systémy AI přistupovaly ke všem skupinám lidí spravedlivě, aniž by přispěly k existujícím společenským nepravostem. Podobně jako nenávistná řeč se škody související s nestranností závislostijí na různorodé léčbě skupin identit. |
Sexuální | Sexuální popis jazyka související s anatomickými orgány a pohlavními orgány, romantickými vztahy, působí v erotických nebo laskavých termínech, těhotenství, fyzické sexuální činy, včetně těch, které jsou znázorněny jako útok nebo vynucený sexuální násilí proti willu, prostituce, pornografii a zneužívání. |
Násilí | Násilí popisuje jazyk související s fyzickými činy, které mají ublížit, poškodit, poškodit nebo zabít někoho nebo něco; popisuje zbraně, zbraně a související entity, jako jsou výroba, sdružení, právní předpisy atd. |
Sebepoškozování | Sebepoškozování popisuje jazyk související s fyzickými akcemi, jejichž účelem je úmyslně ublížit, poškodit, poškodit tělo nebo zabít sebe. |
Klasifikaci lze označit více popisky. Když například ukázka textu prochází modelem moderování textu, může být klasifikována jako sexuální obsah i násilí.
Úrovně závažnosti
Každá kategorie škod, na které se služba vztahuje, má také hodnocení na úrovni závažnosti. Úroveň závažnosti je určena k označení závažnosti důsledků zobrazení obsahu označeného příznakem.
Text: Aktuální verze textového modelu podporuje úplné měřítko závažnosti 0–7. Klasifikátor rozpozná mezi všemi závažnostmi v tomto měřítku. Pokud uživatel určí, může vrátit závažnosti v oříznuté škále 0, 2, 4 a 6; každá ze dvou sousedních úrovní se mapuje na jednu úroveň.
- [0,1] -> 0
- [2,3] -> 2
- [4,5] -> 4
- [6,7] -> 6
Obrázek: Aktuální verze modelu image podporuje oříznutou verzi plné závažnosti 0–7. Klasifikátor vrátí pouze závažnosti 0, 2, 4 a 6; každá ze dvou sousedních úrovní se mapuje na jednu úroveň.
- [0,1] -> 0
- [2,3] -> 2
- [4,5] -> 4
- [6,7] -> 6
Textový obsah
Upozorňující
Karta Definice závažnosti v tomto dokumentu obsahuje příklady škodlivého obsahu, který může být pro některé čtenáře rušivý.
Úrovně závažnosti nenávisti a nestrannosti
Úroveň závažnosti | Popis | Příklad textu |
---|---|---|
Úroveň 0 | Obsah, který obsahuje výrazy související s nenávistí a nestranností, které se používají v obecném smyslu a jsou vhodné pro všechny cílové skupiny, včetně dětí. Sem patří:
|
"I hate cats." |
Úroveň 1 | Obsah, který obsahuje výrazy související s nenávistí a nestranností, které se používají v obecném smyslu, ale mohou získat jiný význam na základě kontextu a nerozlišuje mezi skupinami identit a ostatními zkreslenými nebo negativními způsoby. Sem patří:
|
"Black people should not be killed by police or mistreated just because of their skin color." |
Úroveň 2 | Obsah, který obsahuje pozitivní charakterizaci nebo ochranu skupin identit, které aktivují uspokojivou emocionální reakci. Sem patří:
|
"I hate you." |
Úroveň 3 | Obsah, který obsahuje předsudek, úsudek, stereotypní charakterizaci nebo negativní mínění. Sem patří:
|
"I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all." |
Level 4 | Obsah, který obsahuje přímé slovní urážky motivované míněním, negativní komentáře a rasové slury používané jako popisy zaměřené na skupiny identit se záměrem poškodit jednotlivce na základě jejich atributů. Sem patří:
|
"All [identity group] are ugly." |
Úroveň 5 | Obsah, který obsahuje odlidnění nebo odchylku jednotlivců nebo skupin, které dále záporně zabarvení prostřednictvím odlidnění, násilí, odepření událostí, bullyingu nebo zastrašování chování. Sem patří:
|
"The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof." |
Úroveň 6 | Obsah založený na negativním mínění a nenávisti vůči skupinám identit. Odkazem na charakteristiky skupin, které rozlišují skupinu identit a další uživatele, a odvolání k provedení akcí vůči skupinám identit na základě jejich atributů. Může to zahrnovat:
|
"Send [identity group] back to the gas chambers." |
Úroveň 7 | Obsah založený na negativním mínění, zobrazení záměru nenávisti a stalkingu, aktivace nepřátelské emocionální reakce a odlišení skupin identit a dalších, které vedou k trestné činnosti. Sem patří:
|
"Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because…" |
Úrovně sexuální závažnosti
Úroveň závažnosti | Popis | Příklad textu |
---|---|---|
Úroveň 0 | Obsah, který obsahuje sexuálně související termíny používané obecně, které jsou neškodné pro všechny cílové skupiny, včetně dětí.
|
"The sports bra and yoga pants were too tight for comfort." |
Úroveň 1 | Obsah, který obsahuje sexuálně související termíny používané v obecném smyslu, ale může získat jiný význam na základě kontextu. To zahrnuje:
|
"Fewer young adults are having sex than in previous generations." |
Úroveň 2 | Obsah, který obsahuje sexuálně související termíny ve fiktivních nebo skutečných prostředích, které nejsou extrémně grafické. To zahrnuje:
|
"The first time I had sex, I found it painful." |
Úroveň 3 | Obsah se sexuálními termíny v případech, které obsahují nějaký grafický obsah, názory vyjadřující předsudky, dotčeny, úsudek nebo názory na problémy související se sexem. To zahrnuje:
|
"We made out for a while, and he started to feel me up. I felt a bulge in his pants." |
Level 4 | Obsah popisující sexuální fantazie, profesionální sex průmysl a reklamy a sexuální reprodukci zvířat. To zahrnuje:
|
"I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage…" |
Úroveň 5 | Obsah popisující erotické show nebo zážitky jako osobní zkušenosti, BDSM s jasným souhlasem, a erotické příběhy a weby. To zahrnuje:
|
"We both climaxed at the same time." |
Úroveň 6 | Obsah popisující vyžádání sexuálních komerčních služeb obsahující podrobné popisy sexuální aktivity, násilného sexuálního zneužívání a znásilnění a nekonenzuální výměny moci, zneužívání a voyeurismu. To zahrnuje:
|
"I love forced sex, it's so much hotter." |
Úroveň 7 | Obsah používaný k propagaci, schválení, glorifie extrémní formy sexuálního zoslavnění. Obsah, který je extrémní nebo nelegální. To zahrnuje:
|
"I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son." |
Úrovně závažnosti násilí
Úroveň závažnosti | Popis | Příklad textu |
---|---|---|
Úroveň 0 | Obsah obsahující nenásilné akce nebo termíny související s násilím používané v obecném smyslu, které jsou neškodné pro všechny cílové skupiny, včetně dětí. Sem patří:
|
"According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles." |
Úroveň 1 | Obsah, který obsahuje výrazy související s násilím nebo činy používané v obecném smyslu, ale mohou získat jiný význam na základě kontextu. Sem patří:
|
"Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights." |
Úroveň 2 | Obsah, který obsahuje výrazy související s násilím nebo činy ve fiktivním nebo skutečném prostředí, které nejsou extrémně grafické a bez glorifikace nebo doporučení malintentu. Sem patří:
|
"She wishes she could have killed her whole family." |
Úroveň 3 | Obsah s výrazy nebo činy souvisejícími s násilím v případech, které obsahují nějaký grafický obsah, názory vyjadřující předsudky, dotčeny, úsudky nebo názory na násilí. Sem patří:
|
"Some people just need to be slapped." |
Level 4 | Obsah popisující neuzemněné důvody, proč jsou oběti fyzicky zneužívané, nepodložení pozitivních vlastností zneužití, hrozby násilné činy a fantazie týkající se toho, jak poškodit jinou osobu a střední gore. Sem patří:
|
"Victims of abuse deserve to be hit. They push and push until they get what they deserve." |
Úroveň 5 | Obsah zaměřený na další násilí, který poskytuje přímé pokyny k poškození konkrétních jednotlivců nebo skupin. Sem patří:
|
"Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught." |
Úroveň 6 | Obsah popisující teroristické skupiny a teroristické organizace, hromadné vraždy a explicitní fyzické škody ve vysoké gore a propagaci terorismu a její pornografie. Sem patří:
|
"We must kill them all. God wills it, and society will be better for it." |
Úroveň 7 | Obsah používaný k popisu, pochvalu, podpoře, podpoře, podpoře, podpoře, podpoře, glorifii extrémních forem násilí. Obsah, který podporuje teroristické organizace a radikalizuje, dává pokyn nebo vlaky. Sem patří:
|
"Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight." |
Úrovně závažnosti sebepoškozování
Úroveň závažnosti | Popis | Příklad textu |
---|---|---|
Úroveň 0 – Sejf | Obsah, který obsahuje termíny související se sebepoškozováním, které se používají v obecném smyslu, které jsou neškodné pro všechny cílové skupiny, včetně dětí. Sem patří:
|
"I appreciate your hard work, but you don't need to keep killing yourself over this project." |
Úroveň 1 | Obsah, který obsahuje termíny související se sebepoškozováním, které se používají v obecném smyslu, ale mohou získat jiný význam na základě kontextu. Sem patří:
|
"Binging and purging may be a warning sign for people with a history of extreme weight loss." |
Úroveň 2 | Obsah, který obsahuje pojmy související se sebepoškozováním nebo činy ve fiktivním nebo skutečném prostředí, které nejsou extrémně grafické. Sem patří:
|
"Oedipus stabbed his eyes in despair." |
Úroveň 3 | Obsah s pojmy souvisejícími se sebepoškozováním nebo činy v případech, které obsahují určitý grafický obsah, názory vyjadřující předsudky, dotčeny, úsudky nebo názory na sebepoškozování. Sem patří:
|
"I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice?" |
Level 4 | Obsah, který napodobuje oběti nebo přeživší sebevraždy nebo sebepoškozování, neodůvodněný přisuzování pozitivních vlastností k sebepoškozování, fantazii nebo přání sebepoškozování a obsahuje explicitně grafický obsah zahrnující smrt, autopsy, zločin nebo scénu smrti. Sem patří:
|
"It's hilarious when [identity group] kill themselves." |
Úroveň 5 | Obsah zaměřený na další propagaci sebepoškozování, poskytování přímých pokynů k výkonu sebepoškozování nebo býčí oběti. Sem patří:
|
"Go kill yourself, you are worthless." |
Úroveň 6 | Obsah popisující podrobné a explicitní instrukce o tom, jak spáchat sebevraždu. Sem patří:
|
"Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag." |
Úroveň 7 | Obsah používaný ke schválení a glorifii sebevraždy nebo jinému závažnému činu sebepoškozování. Sem patří:
|
"Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble." |
Obsah obrázku
Upozorňující
Karta Definice závažnosti v tomto dokumentu obsahuje příklady škodlivého obsahu, který může být pro některé čtenáře rušivý.
Úrovně závažnosti nenávisti a nestrannosti
Úroveň závažnosti | Popis | Příklad obrázku |
---|---|---|
Safe | Obsah je bezpečný, ale může obsahovat obrázky související s nenávistí a nestranností bez mínění nebo neutrálních mínění v nediskriminačních nediskriminacích způsobech v následujících kontextech nebo podobných:
|
Nefederační vlajky, např. vlajky zemí nebo států, které mají křížky
|
Nízká | Obsah, který obsahuje buď pozitivní mínění, falešně pozitivní mínění nebo negativní, zkreslené mínění, které se liší od ostatních skupin identit. Tento obsah je určený k aktivaci emocionální odpovědi. Sem patří:
|
Reprezentace hnutí "No Hate Speech" Reprezentace zastaralých uchazečů o zaměstnání, jako jsou kandidáti s postižením v nastavení pohovoru |
Střední | Obsah, který obsahuje akci negativního mínění vůči skupinám identit a dalším osobám, které vedou k povýšení akce proti skupinám identit a míněním nadřazenosti. Sem patří:
|
Imagery, které podporují sociální předcházení [skupinám identit] Imagery, která znázorňuje teorii rasového zlepšení a eugenii |
Vysoká | Obsah, který obsahuje negativní mínění a projevy nenávisti vůči skupinám identit, které vedou ke generování řeči nebo nenávisti. Sem patří:
|
Snímky typu "Jižní kříž", který znázorňuje modrý solí (diagonální kříž) se sdružováním zjevného násilí (např. zbraně v displeji/použití) |
Úrovně sexuální závažnosti
Úroveň závažnosti | Popis | Příklad obrázku |
---|---|---|
Safe | Obsah je bezpečný, ale obsahuje sexuálně související obrázky používané v obecném smyslu. Sem patří:
|
Reprezentace huggingu nebo vytváření non-sexuální fyzické kontaktní reprezentace znázorňující fyzické zobrazení lásky, jako je líbání bez jazyka a bez nahoty |
Nízká | Obsah, který obsahuje sexuální sugestivní chování nebo činy. Sem patří:
|
Znázornění lidí |
Střední | Obsah, který obsahuje komerční a amatérský erotický a/nebo pornografický obsah bez vizuální fotografické penetrace a nahá nebo nahá nahá účastníci zapojené do sexuálních scén, které mají být sexuálně probuzující. Sem patří:
|
Znázornění pohlavního styku, které mohou být částečně odlehlé, ale stále jasně přítomné na obrázku |
Vysoká | Obsah, který obsahuje explicitní podrobné znázornění sexuálních orgánů a sexuálních činů, včetně nelegálních činů. Sem patří:
|
Znázornění zapojení do sexuálních aktivit se zvířaty nebo mrtvolami |
Úrovně závažnosti násilí
Úroveň závažnosti | Popis | Příklad obrázku |
---|---|---|
Safe | Obsah je bezpečný, ale obsahuje obrázky související s násilím, které se používají obecně. Sem patří:
|
Znázornění nerealistických zbraní a ostří nástrojů |
Nízká | Obsah, který obsahuje obrázky související s násilím a působí ve skutečném světě nebo fiktivní kontexty s nízkými gore. Sem patří:
|
Znázornění příznakůLUŠ/al-Qaeda |
Střední | Obsah, který obsahuje středně závažné grafické násilí a násilné činy zaměřené na identifikovaný cíl. Sem patří:
|
Znázornění použití síly a vynucení k agresivnímu dominování nebo zastrašení jednotlivce |
Vysoká | Obsah, který obsahuje explicitní podrobné znázornění násilí a násilné činy ve vysoké gore. Sem patří:
|
Znázornění smrti při provedení teroristických skupin identifikovatelných příznakem a symboly |
Úrovně závažnosti sebepoškozování
Úroveň závažnosti | Popis | Příklad obrázku |
---|---|---|
Safe | Obsah je bezpečný, ale obsahuje obrázky související s vlastním poškozením, které se používají v obecném smyslu. Sem patří:
|
Znázornění skoku s padákem z letadla |
Nízká | Obsah, který obsahuje obrázky související se sebepoškozováním a působí ve skutečném světě nebo fiktivních kontextech s nízkými gore. Sem patří:
|
Reprezentace činů, nástrojů, zranění a emocionálního stavu souvisejících se sebepoškozováním |
Střední | Obsah, který obsahuje moderované grafické obrázky týkající se sebepoškozování a sebevraždy Sem patří:
|
Reprezentace použití síly a vynucení k agresivnímu dominování nebo zastrašení jednotlivce do sebepoškozování |
Vysoká | Obsah, který obsahuje explicitní podrobné znázornění sebepoškozování a sebevraždy ve vysoké gore. Sem patří:
|
Znázornění úmyslné sebevraždy, kdy osoba spáchá sebevraždu skokem z vysoké budovy |
Další kroky
Začněte používat obsah Azure AI Sejf ty ve vaší aplikaci pomocí rychlého startu.