Ártalomkategóriák az Azure AI-tartalom Széf ty-ban
- Cikk
Ez az útmutató az Azure AI Content Széf ty által a tartalom megjelölésére használt összes kárkategóriát és minősítést ismerteti. A szöveg- és képtartalmak is ugyanazt a jelölőkészletet használják.
Kárkategóriák
A tartalom Széf ty a kifogásolható tartalom négy különböző kategóriáját ismeri fel.
Kategória | Leírás |
---|---|
Gyűlölet és méltányosság | A gyűlöletkel és méltányossággal kapcsolatos sérelmek minden olyan tartalomra vonatkoznak, amely pejoratív vagy diszkriminatív nyelvet használ, és e csoportok bizonyos megkülönböztető tulajdonságain alapuló személyre vagy identitáscsoportra hivatkozik, beleértve, de nem kizárólagosan a faji, etnikai, nemzetiségi, nemi identitás és kifejezés, szexuális orientáció, vallás, bevándorlási státusz, képességállapot, személyes megjelenés és testméret alapján. A méltányosság annak biztosításával foglalkozik, hogy az AI-rendszerek méltányosan kezeljék az emberek minden csoportját anélkül, hogy hozzájárultak a meglévő társadalmi viszonossághoz. A gyűlöletbeszédhez hasonlóan a méltányossághoz kapcsolódó ártalmak az identitáscsoportok eltérő kezelésén alapulnak. |
Szexuális | A szexuális leírások az anatómiai szervekhez és nemi szervekhez, romantikus kapcsolatokhoz, erotikus vagy szeretetteljes kifejezésekben ábrázolt cselekedetekhez, terhességhez, fizikai szexuális aktusokhoz kapcsolódnak, beleértve azokat is, amelyeket testi sértésként vagy erőszakos cselekményként ábrázolnak az ember akarata ellen, prostitúció, pornográfia és visszaélés. |
Erőszak | Az erőszak azt a nyelvet írja le, amely olyan fizikai műveletekhez kapcsolódik, amelyek célja, hogy fájdalmat, sérülést, kárt okoznak vagy megöljenek valakit vagy valamit; fegyvereket, fegyvereket és kapcsolódó entitásokat, például gyártásokat, szövetségeket, jogszabályokat stb. ír le. |
Önkárosítás | Az önkárosítás olyan fizikai műveletekhez kapcsolódó nyelvet ír le, amelyek célja, hogy szándékosan megsérüljenek, megsérüljenek, megsérüljenek a testeik, vagy megöljék önmagukat. |
A besorolás többcímkés is lehet. Ha például egy szövegminta végighalad a szövegmoderálási modellen, az szexuális tartalomként és erőszakként is besorolható.
Súlyossági szintek
A szolgáltatás által alkalmazott összes kárkategória súlyossági szintű minősítéssel is rendelkezik. A súlyossági szint a megjelölt tartalom megjelenítésének következményeinek súlyosságát jelzi.
Szöveg: A szövegmodell jelenlegi verziója támogatja a teljes 0–7 súlyossági skálát. Az osztályozó az összes súlyosság között észleli ezt a skálát. Ha a felhasználó megadja, a 0, a 2, a 4 és a 6 levágott skálán is visszaadhatja a súlyosságokat; minden két szomszédos szint egyetlen szintre van leképezve.
- [0,1] -> 0
- [2,3] -> 2
- [4,5] -> 4
- [6,7] -> 6
Kép: A képmodell jelenlegi verziója támogatja a teljes 0–7 súlyosságú skálázás levágott verzióját. Az osztályozó csak a 0, 2, 4 és 6 súlyosságot adja vissza; minden két szomszédos szint egyetlen szintre van leképezve.
- [0,1] -> 0
- [2,3] -> 2
- [4,5] -> 4
- [6,7] -> 6
Szöveges tartalom
Figyelmeztetés
A dokumentum Súlyosságdefiníciók lapja olyan káros tartalmakat tartalmaz, amelyek egyes olvasók számára zavaróak lehetnek.
A gyűlölet és a méltányosság súlyossági szintjei
Súlyossági szint | Leírás | Példaszöveg |
---|---|---|
0. szint | Az általános értelemben használt gyűlöletkel és méltányossággal kapcsolatos kifejezéseket tartalmazó tartalom, amely minden célközönség számára megfelelő, beleértve a gyermekeket is. Ide tartoznak az alábbiak:
|
"I hate cats." |
1. szint | Az általános értelemben használt gyűlöletkel és méltányossággal kapcsolatos kifejezéseket tartalmazó tartalom, de a kontextus alapján eltérő jelentéssel rendelkezhet, és nem tesz különbséget az identitáscsoportok és mások között elfogult vagy negatív módon. Ide tartoznak az alábbiak:
|
"Black people should not be killed by police or mistreated just because of their skin color." |
2. szint | A kedvező érzelmi választ kiváltó identitáscsoportok pozitív karakterizálását vagy védelmét tartalmazó tartalom. Ide tartoznak az alábbiak:
|
"I hate you." |
3-as szint | Előítéletes, ítélőképességű, sztereotip karakterizálást vagy negatív hangulatot tartalmazó tartalom. Ide tartoznak az alábbiak:
|
"I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all." |
4. szint | Olyan tartalom, amely közvetlen verbális hangulati indíttatású sértegetéseket, negatív megjegyzéseket és faji zsilipeket tartalmaz, amelyek identitáscsoportokat céloznak meg azzal a szándékkal, hogy az egyéneket bántsák az attribútumaik alapján. Ide tartoznak az alábbiak:
|
"All [identity group] are ugly." |
5. szint | Olyan tartalom, amely olyan egyének vagy csoportok dehumanizálását vagy eltérését tartalmazza, amelyek az embertelenítés, az erőszak, az események tagadása, a terrorizálás vagy a megfélemlítés viselkedése révén tovább erősítő negatív hangulatot keltenek. Ide tartoznak az alábbiak:
|
"The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof." |
6. szint | Az identitáscsoportok felé irányuló negatív véleményen és gyűlöletbeszéden alapuló tartalom. Olyan csoportjellemzőkre hivatkozva, amelyek megkülönböztetik az identitáscsoportot és másokat, és arra kérik a felhasználókat, hogy az attribútumaik alapján lépjenek fel az identitáscsoportok ellen. Ilyenek lehetnek a következők:
|
"Send [identity group] back to the gas chambers." |
7. szint | A negatív véleményen alapuló tartalom, a gyűlölet-bűncselekmény és a zaklatás szándékának megjelenítése, ellenséges érzelmi válasz aktiválása, valamint identitáscsoportok és más bűncselekményekhez vezető személyek megkülönböztetése. Ide tartoznak az alábbiak:
|
"Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because…" |
Szexuális súlyossági szintek
Súlyossági szint | Leírás | Példaszöveg |
---|---|---|
0. szint | Olyan tartalom, amely általános értelemben szexuálisan összefüggő kifejezéseket tartalmaz, amely ártalmatlan minden célközönség számára, beleértve a gyermekeket is.
|
"The sports bra and yoga pants were too tight for comfort." |
1. szint | Olyan tartalom, amely általános értelemben használt szexuális vonatkozású kifejezéseket tartalmaz, de a kontextus alapján eltérő jelentést kaphat. Ez a következőket foglalja magában:
|
"Fewer young adults are having sex than in previous generations." |
2. szint | Olyan tartalom, amely szexuálisan összefüggő kifejezéseket tartalmaz olyan fiktív vagy valós élményekben, amelyek nem rendkívül grafikusak. Ez a következőket foglalja magában:
|
"The first time I had sex, I found it painful." |
3-as szint | Szexuális vonatkozású tartalmak olyan esetekben, amelyek valamilyen grafikus tartalmat, elfogult, előítéletes, ítélőképességű vagy véleményen lévő véleményt fogalmaznak meg a nemi kérdésekkel kapcsolatban. Ez a következőket foglalja magában:
|
"We made out for a while, and he started to feel me up. I felt a bulge in his pants." |
4. szint | A szexuális fantáziákat, a professzionális szexipart és reklámokat, valamint a szexuális állatok reprodukcióját leíró tartalom. Ez a következőket foglalja magában:
|
"I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage…" |
5. szint | Az erotikus műsorokat vagy élményeket személyes élményként leíró tartalom, a BDSM egyértelmű hozzájárulással, valamint erotikus történetek és webhelyek. Ez a következőket foglalja magában:
|
"We both climaxed at the same time." |
6. szint | A szexuális kereskedelmi szolgáltatások igénybevételét leíró tartalom, amely részletes leírást tartalmaz a szexuális tevékenységről, az erőszakos szexuális erőszakról és a nem-konszenzuális hatalomcserékről, a visszaélésekről és a voyeurizmusról. Ez a következőket foglalja magában:
|
"I love forced sex, it's so much hotter." |
7. szint | A szexuális rabszolgaság szélsőséges formáinak népszerűsítésére, támogatására, dicsőítésére használt tartalom. Szélsőséges vagy illegális tartalom. Ez a következőket foglalja magában:
|
"I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son." |
Az erőszak súlyossági szintjei
Súlyossági szint | Leírás | Példaszöveg |
---|---|---|
0. szint | Olyan tartalom, amely általános értelemben nem erőszakos cselekedeteket vagy erőszakkal kapcsolatos kifejezéseket tartalmaz, amelyek minden célközönség számára ártalmatlanok, beleértve a gyermekeket is. Ide tartoznak az alábbiak:
|
"According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles." |
1. szint | Olyan tartalom, amely erőszakkal kapcsolatos kifejezéseket vagy általános értelemben használt cselekményeket tartalmaz, de a kontextus alapján más jelentéssel is rendelkezhet. Ide tartoznak az alábbiak:
|
"Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights." |
2. szint | Olyan tartalom, amely erőszakkal kapcsolatos kifejezéseket vagy cselekményeket tartalmaz olyan fiktív vagy valós élményekben, amelyek nem rendkívül grafikusak, és nem dicsőítik vagy támogatják a malintentet. Ide tartoznak az alábbiak:
|
"She wishes she could have killed her whole family." |
3-as szint | Erőszakkal kapcsolatos kifejezésekkel vagy cselekményekkel kapcsolatos tartalom olyan esetekben, amelyek valamilyen grafikus tartalmat, elfogult, előítéletes, ítélőképességű vagy véleményen alapuló nézeteket fogalmaznak meg az erőszakról. Ide tartoznak az alábbiak:
|
"Some people just need to be slapped." |
4. szint | Olyan tartalom, amely megalapozatlan indokokat ír le arra vonatkozóan, hogy miért bántalmazzák fizikailag az áldozatokat, a bántalmazók pozitív tulajdonságainak megalapozatlan megnevezése, erőszakos cselekmények fenyegetései és fantáziák arról, hogy hogyan árthat egy másik személynek, és közepes gore. Ide tartoznak az alábbiak:
|
"Victims of abuse deserve to be hit. They push and push until they get what they deserve." |
5. szint | A további erőszakra irányuló tartalom, amely közvetlen útmutatást ad arra vonatkozóan, hogyan árthat egyes személyeknek vagy csoportoknak. Ide tartoznak az alábbiak:
|
"Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught." |
6. szint | A szélsőséges csoportokat és terrorista szervezeteket, a tömeggyilkosságokat és a nyílt fizikai károkat leíró tartalmak, valamint a terrorizmus és propagandájának előmozdítása. Ide tartoznak az alábbiak:
|
"We must kill them all. God wills it, and society will be better for it." |
7. szint | Az erőszak szélsőséges formáinak leírására, dicséretére, támogatására, előmozdítására, támogatására, dicsőítésére használt tartalom. Olyan tartalom, amely támogatja a terrorista szervezeteket, radikalizálja, utasítja vagy vonatozza. Ide tartoznak az alábbiak:
|
"Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight." |
Önkárosítás súlyossági szintjei
Súlyossági szint | Leírás | Példaszöveg |
---|---|---|
0. szint – Széf | Olyan tartalom, amely általános értelemben használ önkárosítással kapcsolatos kifejezéseket, amelyek minden célközönség számára ártalmatlanok, beleértve a gyermekeket is. Ide tartoznak az alábbiak:
|
"I appreciate your hard work, but you don't need to keep killing yourself over this project." |
1. szint | Olyan tartalom, amely általános értelemben használt önkárosítással kapcsolatos kifejezéseket tartalmaz, de a kontextus alapján más jelentéssel is rendelkezhet. Ide tartoznak az alábbiak:
|
"Binging and purging may be a warning sign for people with a history of extreme weight loss." |
2. szint | Olyan tartalom, amely önkárosítással kapcsolatos kifejezéseket vagy cselekedeteket tartalmaz olyan fiktív vagy valós élményekben, amelyek nem rendkívül grafikusak. Ide tartoznak az alábbiak:
|
"Oedipus stabbed his eyes in despair." |
3-as szint | Önkárosítással kapcsolatos kifejezésekkel vagy cselekményekkel kapcsolatos tartalmak olyan esetekben, amelyek valamilyen grafikus tartalmat, elfogult, előítéletes, ítélkező vagy véleményen alapuló nézetet fogalmaznak meg az önsértésről. Ide tartoznak az alábbiak:
|
"I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice?" |
4. szint | Olyan tartalom, amely az öngyilkosság vagy az önsértés áldozatait vagy túlélőit gúnyolja, az önsértés, a fantáziák vagy az önsértés vágyainak pozitív tulajdonságainak megalapozatlan megnevezése, és kifejezetten grafikus tartalmakat tartalmaz, beleértve a halált, a boncolást, a bűncselekményt vagy a halál helyszínét. Ide tartoznak az alábbiak:
|
"It's hilarious when [identity group] kill themselves." |
5. szint | Az önkárosítás további előmozdítását célzó tartalom, amely közvetlen útmutatást nyújt az önkárosítás vagy az áldozat bántalmazásának végrehajtásához. Ide tartoznak az alábbiak:
|
"Go kill yourself, you are worthless." |
6. szint | Az öngyilkosság elkövetésére vonatkozó részletes és explicit utasításokat leíró tartalom. Ide tartoznak az alábbiak:
|
"Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag." |
7. szint | Az öngyilkosság vagy más súlyos önsértő cselekedetek támogatásához és dicsőítéséhez használt tartalom. Ide tartoznak az alábbiak:
|
"Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble." |
Kép tartalma
Figyelmeztetés
A dokumentum Súlyosságdefiníciók lapja olyan káros tartalmakat tartalmaz, amelyek egyes olvasók számára zavaróak lehetnek.
A gyűlölet és a méltányosság súlyossági szintjei
Súlyossági szint | Leírás | Példa képre |
---|---|---|
0. szint – Széf | A tartalom biztonságos, de tartalmazhat gyűlölettel és méltányossággal kapcsolatos képeket, amelyek nem tartalmaznak hangulatot vagy semleges hangulatot a megkülönböztetéstől mentes, nem sértő módon a következő kontextusokban vagy hasonlókban:
|
Nem konföderációs jelzők, például kereszteket tartalmazó országok vagy államok lobogói
|
2. szint – Alacsony | Olyan tartalom, amely pozitív véleményeket, hamis pozitív véleményeket vagy negatív, torzított hangulatokat tartalmaz, amelyek megkülönböztetik az identitáscsoportokat másoktól. Ez a tartalom érzelmi reakciót vált ki. Ide tartoznak az alábbiak:
|
A "No Hate Speech" mozgalom ábrázolásai a deprioritizált állásjelöltek, például a fogyatékkal élő jelöltek az interjú beállításaiban |
4. szint – Közepes | Olyan tartalom, amely negatív hangulati műveletet tartalmaz az identitáscsoportok és más személyek felé, amelyek az identitáscsoportok és a felsőbbrendűség érzései elleni fellépés előmozdításához vezetnek. Ide tartoznak az alábbiak:
|
Képek, amelyek elősegítik az [identitáscsoportok] társadalmi elkerülését] A faji fejlődés elméletét és az eugenikát ábrázoló képek |
6. szint – Magas | Olyan tartalom, amely negatív hangulatot és gyűlöletbeszédet tartalmaz az identitáscsoportok felé, amelyek gyűlöletbeszéd-generáláshoz vagy gyűlölet-bűncselekményekhez vezetnek. Ide tartoznak az alábbiak:
|
Antiszemita kép a "Déli keresztet" ábrázoló kép, amely egy kék sóst (átlós keresztet) ábrázol nyilvánvaló erőszakkal (pl. fegyverek a kijelzőn/használatban) |
Szexuális súlyossági szintek
Súlyossági szint | Leírás | Példa képre |
---|---|---|
0. szint – Széf | A tartalom biztonságos, de általános értelemben használt, szexuálisan kapcsolódó képeket tartalmaz. Ide tartoznak az alábbiak:
|
Az ölelés vagy a nem szexuális fizikai érintkezés ábrázolása a szeretet fizikai megjelenítését ábrázolja, például a csók nyelv nélkül és meztelenség nélkül |
2. szint – Alacsony | Szexuálisan szuggesztív viselkedést vagy cselekményt tartalmazó tartalom. Ide tartoznak az alábbiak:
|
Személyek ábrázolása |
4. szint – Közepes | Tartalom, amely kereskedelmi és amatőr erotikus és/vagy pornográf tartalmat tartalmaz vizuális fényképes behatolás nélkül, valamint meztelen vagy félkendős résztvevőket, akik szexuálisan izgatónak szánt szexuális jelenetekben vesznek részt. Ide tartoznak az alábbiak:
|
Részlegesen elzárt, de a képen továbbra is jól látható közösülés ábrázolása |
6. szint – Magas | Olyan tartalom, amely kifejezetten részletes ábrázolásokat tartalmaz a nemi szervekről és a szexuális aktusról, beleértve az illegális cselekedeteket is. Ide tartoznak az alábbiak:
|
Az állatokkal vagy holttestekkel folytatott szexuális tevékenységekben való részvétel ábrázolása |
Az erőszak súlyossági szintjei
Súlyossági szint | Leírás | Példa képre |
---|---|---|
0. szint – Széf | A tartalom biztonságos, de általános értelemben erőszakkal kapcsolatos képeket tartalmaz. Ide tartoznak az alábbiak:
|
Nem valósághű fegyverek és pengeeszközök ábrázolása |
2. szint – Alacsony | Olyan tartalom, amely erőszakkal kapcsolatos képeket tartalmaz, és valós vagy fiktív kontextusban, alacsony gore-val jár el. Ide tartoznak az alábbiak:
|
ISIS/al-Qaeda jelölők ábrázolása |
4. szint – Közepes | Olyan tartalom, amely mérsékelt grafikus erőszakot és erőszakos cselekményt tartalmaz egy azonosított cél érdekében. Ide tartoznak az alábbiak:
|
Az egyén agresszív uralására vagy megfélemlítésére való kényszerítés és erőszak alkalmazásának ábrázolása |
6. szint – Magas | Olyan tartalom, amely kifejezetten részletes ábrázolásokat tartalmaz az erőszakról és az erőszakos cselekményekről a magas góréban. Ide tartoznak az alábbiak:
|
Halál ábrázolása, ha az ISIS-zászlók és szimbólumok által azonosítható terrorista csoportok hajtják végre |
Önkárosítás súlyossági szintjei
Súlyossági szint | Leírás | Példa képre |
---|---|---|
0. szint – Széf | A tartalom biztonságos, de általános értelemben használt önkárosítással kapcsolatos képeket tartalmaz. Ide tartoznak az alábbiak:
|
A repülőből kiugró ejtőernyővel való ugrás ábrázolása |
2. szint – Alacsony | Olyan tartalom, amely önkárosítással kapcsolatos képeket tartalmaz, és valós vagy fiktív környezetekben, alacsony gore-val működik. Ide tartoznak az alábbiak:
|
Az önkárosítással kapcsolatos cselekedetek, eszközök, sérülés és érzelmi állapot ábrázolása |
4. szint – Közepes | Az önkárosítással és öngyilkosságtal kapcsolatos mérsékelt grafikus képeket tartalmazó tartalom. Ide tartoznak az alábbiak:
|
Az egyén önkárosításra való agresszív uralmának és megfélemlítésének kényszerítésének ábrázolása |
6. szint – Magas | Olyan tartalom, amely kifejezetten részletes ábrázolásokat tartalmaz az önkárosításról és az öngyilkosságról a magas góréban. Ide tartoznak az alábbiak:
|
Szándékos öngyilkosság ábrázolása, ahol egy személy öngyilkosságot követett el egy magas épületről való leugrással |
Következő lépések
Az Azure AI Content Széf ty alkalmazásbeli használatának megkezdéséhez kövessen egy rövid útmutatót.