Sdílet prostřednictvím


Kategorie škod v obsahu Azure AI Sejf ty

Tato příručka popisuje všechny kategorie škod a hodnocení, které obsah Azure AI Sejf ty používá k označení obsahu. Text i obsah obrázku používají stejnou sadu příznaků.

Kategorie škod

Obsah Sejf ty rozpozná čtyři odlišné kategorie problematického obsahu.

Kategorie Popis
Nenávist a nestrannost Škody související s nenávistí a nestranností odkazují na veškerý obsah, který útoky nebo používá pejorativní nebo nediskriminační jazyk s odkazem na osobu nebo skupinu identit na základě určitých atributů, včetně rasy, etnického původu, státní příslušnosti, genderové identity a výrazu, sexuální orientace, náboženství, přistěhovalectví, stavu schopnosti, osobního vzhledu a velikosti těla.

Nestrannost se zabývá zajištěním, aby systémy AI přistupovaly ke všem skupinám lidí spravedlivě, aniž by přispěly k existujícím společenským nepravostem. Podobně jako nenávistná řeč se škody související s nestranností závislostijí na různorodé léčbě skupin identit.
Sexuální Sexuální popis jazyka související s anatomickými orgány a pohlavními orgány, romantickými vztahy, působí v erotických nebo laskavých termínech, těhotenství, fyzické sexuální činy, včetně těch, které jsou znázorněny jako útok nebo vynucený sexuální násilí proti willu, prostituce, pornografii a zneužívání.
Násilí Násilí popisuje jazyk související s fyzickými činy, které mají ublížit, poškodit, poškodit nebo zabít někoho nebo něco; popisuje zbraně, zbraně a související entity, jako jsou výroba, sdružení, právní předpisy atd.
Sebepoškozování Sebepoškozování popisuje jazyk související s fyzickými akcemi, jejichž účelem je úmyslně ublížit, poškodit, poškodit tělo nebo zabít sebe.

Klasifikaci lze označit více popisky. Když například ukázka textu prochází modelem moderování textu, může být klasifikována jako sexuální obsah i násilí.

Úrovně závažnosti

Každá kategorie škod, na které se služba vztahuje, má také hodnocení na úrovni závažnosti. Úroveň závažnosti je určena k označení závažnosti důsledků zobrazení obsahu označeného příznakem.

Text: Aktuální verze textového modelu podporuje úplné měřítko závažnosti 0–7. Klasifikátor rozpozná mezi všemi závažnostmi v tomto měřítku. Pokud uživatel určí, může vrátit závažnosti v oříznuté škále 0, 2, 4 a 6; každá ze dvou sousedních úrovní se mapuje na jednu úroveň.

  • [0,1] -> 0
  • [2,3] -> 2
  • [4,5] -> 4
  • [6,7] -> 6

Obrázek: Aktuální verze modelu image podporuje oříznutou verzi plné závažnosti 0–7. Klasifikátor vrátí pouze závažnosti 0, 2, 4 a 6; každá ze dvou sousedních úrovní se mapuje na jednu úroveň.

  • [0,1] -> 0
  • [2,3] -> 2
  • [4,5] -> 4
  • [6,7] -> 6

Textový obsah

Upozorňující

Karta Definice závažnosti v tomto dokumentu obsahuje příklady škodlivého obsahu, který může být pro některé čtenáře rušivý.

Obsah obrázku

Upozorňující

Karta Definice závažnosti v tomto dokumentu obsahuje příklady škodlivého obsahu, který může být pro některé čtenáře rušivý.

Další kroky

Začněte používat obsah Azure AI Sejf ty ve vaší aplikaci pomocí rychlého startu.