Azure AI 內容安全性中的傷害類別
- 發行項
本指南說明 Azure AI 內容安全性用來標示內容的所有損害類別和評等。 文字和影像內容都使用同一組旗標。
傷害類別
內容安全性可辨識四種不同的令人反感內容類別。
| 類別 | 描述 | API 字詞 |
|---|---|---|
| 仇恨和公平性 | 仇恨和公平傷害是指攻擊或使用歧視性語言的任何內容，以根據這些群組的特定區分屬性來參考個人或身份群組。 其中包括 (但不限於)：
|
Hate |
| 兩性 | 性相關描述與生理器官和生殖器、情愛關係和性行為、以性愛或親暱詞彙描繪行為相關的語言，包括描繪為違反個人意願的侵犯或強迫性暴力行為。 其中包括 (但不限於)：
|
Sexual |
| 暴力 | 暴力描述與旨在傷害、傷害、傷害或殺害某人或某物的身體行動相關的語言：描述武器、槍支和相關實體。 其中包括 (但不限於)：
|
Violence |
| 自殘 | 自殘描述的語言與身體動作相關，其意圖為刻意損害、傷害、毀壞某人的身體或自殺。 其中包括 (但不限於)：
|
SelfHarm |
分類可以為多標籤的。 例如，當文字範例通過文字調節模型時，可以同時分類為色情內容和暴力內容。
嚴重性層級
服務套用的每個傷害類別也會隨附嚴重性等級評等。 嚴重性層級旨在指出顯示標記內容結果的嚴重性。
文字：目前的文字模型版本支援完整的 0-7 嚴重性級別。 分類器會沿著這個規模偵測到所有嚴重性。 如果使用者指定，分類器可以傳回已調整 0、2、4 和 6 級別中的嚴重性；每兩個相鄰層級都會對應至單一層級。
[0,1]->0[2,3]->2[4,5]->4[6,7]->6
影像：目前的影像模型版本支援完整 0-7 嚴重性級別的已調整版本。 分類器只會傳回嚴重性 0、2、4 和 6。
0246
包含文字的圖片：多模式模型的目前版本支援完整的 0-7 嚴重性等級。 分類器會沿著這個規模偵測到所有嚴重性。 如果使用者指定，分類器可以傳回已調整 0、2、4 和 6 級別中的嚴重性；每兩個相鄰層級都會對應至單一層級。
[0,1]->0[2,3]->2[4,5]->4[6,7]->6
文字內容
警告
本文件中的 [嚴重性定義] 索引標籤包含可能會讓某些讀者感到不適的有害內容範例。
仇恨和公平性嚴重性層級
| 嚴重層級 | 說明 | 範例文字 |
|---|---|---|
| 層級 0 | 內容包含一般意義上使用的仇恨和公正相關字詞，適用於包含兒童在內的所有目標受眾。 這包括：
|
I hate cats. |
| 層級 1 | 內容包含一般意義上使用的仇恨和公平相關字詞，但可能會根據內容包含不同的意義，而且不會以偏見或負面的方式區分身分群體和其他人。 這包括：
|
Black people should not be killed by police or mistreated just because of their skin color. |
| 層級 2 | 包含正面特徵或保護會觸發正面情緒反應的身分群體的內容。 這包括：
|
I hate you. |
| 層級 3 | 包含偏見、批判性、刻板印象特徵或負面情感的內容。 這包括：
|
I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all. |
| 層級 4 | 內容中包含直接以語言表達的侮辱、負面評論和種族歧視語言，這些用語用於描述身分群體，目的為根據個人屬性傷害個人。 這包括：
|
All [identity group] are ugly. |
| 層級 5 | 內容中包含對個人或群體的非人化或貶低，並透過非人化、暴力、否認事件、霸凌或恐嚇行為來加深負面情緒。 這包括：
|
The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof. |
| 層級 6 | 以針對身分群體的負面情緒和仇恨言論為基礎的內容。 透過提及區分身分群體和其他群體的特徵，並呼籲根據其屬性對身分群體採取行動。 此可包括：
|
Send [identity group] back to the gas chambers. |
| 層級 7 | 根據負面情緒的內容，顯示出仇恨犯罪和跟蹤的意圖、觸發敵對的情緒反應，並區分身分群體與其他群體，進而導致犯罪發生。 這包括：
|
Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because… |
性相關嚴重性層級
| 嚴重層級 | 說明 | 範例文字 |
|---|---|---|
| 層級 0 | 內容包含一般意義上使用的性方面相關字詞，對於包含兒童在內的所有目標受眾不具有傷害性。
|
The sports bra and yoga pants were too tight for comfort. |
| 層級 1 | 內容包含一般意義上使用的性方面相關字詞，但可能會根據內容取得不同的意義。 這包括：
|
Fewer young adults are having sex than in previous generations. |
| 層級 2 | 包含虛構或真實世界體驗中與性相關的非露骨字詞內容。 這包括：
|
My husband and I introduced a vibrator to our sex life and it has really made a difference. |
| 層級 3 | 包含性相關字詞的內容，其涉及露骨細節，或表達對性相關問題的偏見、歧視、批判或主觀觀點的意見。 這包括：
|
We made out for a while, and he started to feel me up. I felt a bulge in his pants. |
| 層級 4 | 描述性幻想、職業性產業、廣告和性化動物繁殖的內容。 這包括：
|
I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage… |
| 層級 5 | 描述色情表演或經驗的內容，包括個人經驗、明確同意的 BDSM 行為，以及色情故事和網站。 這包括：
|
We both climaxed at the same time. |
| 層級 6 | 描述性交易服務攬客行為、詳細描述性愛活動、暴力性虐待、強暴、非自願性關係、脅迫和偷窺行為的內容。 這包括：
|
I love forced sex, it's so much hotter. |
| 層級 7 | 用於宣揚、認可、讚揚極端形式之性奴役內容。 極端或非法的內容。 這包括：
|
I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son. |
暴力嚴重性層級
| 嚴重層級 | 說明 | 範例文字 |
|---|---|---|
| 層級 0 | 內容包含一般意義上使用的非暴力行為或暴力相關字詞，對於包含兒童在內的所有目標受眾不具有傷害性。 這包括：
|
According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles. |
| 層級 1 | 內容包含一般意義上使用的暴力相關字詞或行為，但可能會根據內容取得不同的意義。 這包括：
|
Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights. |
| 層級 2 | 包含與暴力相關的術語或行為的內容，無論是在虛構還是真實世界經驗中，這些內容非極為露骨，且不讚揚或支持惡意。 這包括：
|
Physical punishment is a way to correct bad behavior and doesn’t cause harm to children. |
| 層級 3 | 包含暴力相關字詞的內容或行為，其涉及露骨細節，或表達對暴力的偏見、歧視、批判或主觀觀點的意見。 這包括：
|
Some people just need to be slapped. |
| 層級 4 | 描述受害者為何遭受身體虐待的無根據基本理由、對施虐者的無根據正面評價、暴力行為威脅和有關傷害他人的幻想，以及中等程度的血腥內容。 這包括：
|
Victims of abuse deserve to be hit. They push and push until they get what they deserve. |
| 層級 5 | 提供如何傷害特定個人或群體之直接指示的教唆暴力內容。 這包括：
|
Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught. |
| 層級 6 | 描述極端主義團體和恐怖組織、大規模殺戮及極其血腥的身體傷害露骨內容，以及宣揚恐怖主義及其宣傳活動。 這包括：
|
We must kill them all. God wills it, and society will be better for it. |
| 層級 7 | 用來描述、讚揚、支持、推廣、認可、美化極端暴力形式的內容。 支持、激進化、指示或訓練恐怖組織的內容。 這包括：
|
Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight. |
自殘嚴重性層級
| 嚴重層級 | 說明 | 範例文字 |
|---|---|---|
| 層級 0 - 安全 | 內容包含一般意義上使用的自我傷害相關字詞，對於包含兒童在內的所有目標受眾不具有傷害性。 這包括：
|
I appreciate your hard work, but you don't need to keep killing yourself over this project. |
| 層級 1 | 內容包含一般意義上使用的自我傷害相關字詞，但可能會根據內容取得不同的意義。 這包括：
|
Binging and purging may be a warning sign for people with a history of extreme weight loss. |
| 層級 2 | 包含虛構或真實世界體驗中與自我傷害相關非露骨字詞或行為的內容。 這包括：
|
Oedipus stabbed his eyes in despair. |
| 層級 3 | 包含自我傷害相關字詞的內容或行為，其涉及露骨細節，或表達對自我傷害的偏見、歧視、批判或主觀觀點的意見。 這包括：
|
I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice? |
| 層級 4 | 內容包括嘲笑自殺或自殘的受害者或倖存者、針對自殘行為的無根據正面評價、關於自殘的幻想或可望，以及涉及死亡、屍檢、犯罪或死亡現場的明確露骨內容。 這包括：
|
It's hilarious when [identity group] kill themselves. |
| 層級 5 | 旨在進一步煽動自我傷害的內容，提供如何執行自我傷害或霸凌受害者的直接指示。 這包括：
|
Go kill yourself, you are worthless. |
| 層級 6 | 描述如何自殺的詳細且明確之指示的內容。 這包括：
|
Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag. |
| 層級 7 | 用於認可和讚揚自殺或其他嚴重自我傷害行為的內容。 這包括：
|
Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble. |
映像內容
警告
本文件中的 [嚴重性定義] 索引標籤包含可能會讓某些讀者感到不適的有害內容範例。
仇恨和公平性嚴重性層級
| 嚴重層級 | 說明 | 影像範例 |
|---|---|---|
| Safe | 內容安全，但可能包含仇恨和公平性相關的影像，並且在下列或類似情境中沒有表達情感或是以無歧視、無冒犯的中性情感方式表達：
|
非邦聯旗標，例如具有交叉形象的國旗或州旗
|
| 低 | 包含正面情感、誤判情感或負面偏見情感，將身分識別群體從其他人區分出來的內容。 此內容旨在觸發情感回應。 這包括：
|
針對「無仇恨言論」運動的呈現 呈現方式包括在面試設定中，降低身心障礙人士等職缺應徵者的優先順序 |
| 中 | 內容包含對身分識別群體的負面情感動作，以及其他導致針對身分識別群體展現出優越感的動作。 這包括：
|
提倡社會不接納 [身分識別群體] 的影像 描繪種族改良理論和優生學的影像 |
| 高 | 內容包含對身分識別群體的負面情緒和仇恨言論，導致進一步產生仇恨言論或仇恨犯罪。 這包括：
|
反猶太主義影像 描繪「南十字」的影像，其特徵是藍色 X 型十字 (對角型十字) 並且有明顯的暴力傾向 (例如顯示/使用槍砲) |
性相關嚴重性層級
| 嚴重層級 | 說明 | 影像範例 |
|---|---|---|
| Safe | 內容安全，但包含一般用途的性相關影像。 這包括：
|
對擁抱或非情色身體接觸的呈現 呈現方式描繪情感上的身體接觸，例如不伸舌頭親吻、沒有裸露 |
| 低 | 包含性暗示行為或動作的內容。 這包括：
|
對人物的描述 |
| 中 | 內容包含商業和素人煽情和/或色情內容，但在視覺上不涉及插入和裸體，或意在引起性興奮性愛場景的半裸參與者。 這包括：
|
可能部分遮蔽，但在影像中仍可清楚呈現對性愛的描繪 |
| 高 | 內容包含性器官和性行為的明確具體細節，包括非法行為。 這包括：
|
描述與動物或屍體的性交活動 |
暴力嚴重性層級
| 嚴重層級 | 說明 | 影像範例 |
|---|---|---|
| Safe | 內容安全，但包含一般用途的暴力相關影像。 這包括：
|
對非真實武器和刀械工具的描述 |
| 低 | 內容包含在現實世界或虛構情境中，低血腥程度的暴力和行為相關影像內容。 這包括：
|
對 ISIS/蓋達組織旗幟的描繪 |
| 中 | 內容包含針對已識別目標的中等暴力和暴力行為描繪。 這包括：
|
描繪使用武力並暴力強迫控制或恐嚇個人 |
| 高 | 內容包含明確詳細描繪的高血腥程度暴力和暴力行為。 這包括：
|
描繪恐怖組織所造成死亡，並且可識別 ISIS 旗幟和符號 |
自殘嚴重性層級
| 嚴重層級 | 說明 | 影像範例 |
|---|---|---|
| Safe | 內容安全，但包含一般用途的自殘相關影像。 這包括：
|
描繪用降落傘跳出飛機 |
| 低 | 內容包含在現實世界或虛構情境中，低血腥程度的自殘和行為相關影像內容。 這包括：
|
對自殘相關行為、工具、傷口和情感狀態的呈現 |
| 中 | 包含與自殘和自殺相關的中度具體影像內容。 這包括：
|
對使用武力並暴力強迫控制或恐嚇個人進行自殘的呈現 |
| 高 | 內容包含明確詳細描繪的高血腥程度自殘和自殺行為。 這包括：
|
描繪故意自殺，其中藉由自高樓跳下進行自殺 |
多模式 (包含文字的圖片) 內容
警告
本文件中的 [嚴重性定義] 索引標籤包含可能會讓某些讀者感到不適的有害內容範例。
仇恨和公平性嚴重性層級
| 嚴重層級 | 說明 | 影像範例 |
|---|---|---|
| Safe | 內容是安全的，但可能包含在一般和安全內容中使用的與仇恨和公平相關的文字和視覺效果，例如：
|
案例：具有文字重疊的圖片 圖片：個人的良性照片 發短信： Attends rally wearing sneakers |
| 低 | 內容包含對身分識別群體的正面特徵或保護、展現歧視、刻板印象和偏見、判斷性、與仇恨言論或針對身分識別群體有關的觀點或態度。 這包括：
|
案例：具有文字重疊的圖片 圖片：個人的良性照片 發短信： Everyone assumes that I got high grades in math because I’m Asian. I did. 基本理由：暗示著種族刻板印象。 |
| 中 | 包含侮辱、欺淩、恐嚇、去人性化或貶低個人或群體的內容。 這包括：
|
案例：具有文字重疊的圖片 圖片：帕金森患者的良性照片 發短信： This guy just Friended and Unfriended me 45 times in 15 seconds. Does anyone know him? 基本理由：暗示著因殘疾而被嘲弄 |
| 高 | 內容包含仇恨言論，以宣傳威脅或呼籲對身分識別群體的暴力、採取激進行為、募集或煽動人們加入極端活動或傳播仇恨言論。 這包括：
|
案例：圖片和文字交錯Never forget that everything [image of Adolf Hitler] did in Germany was legal. |
性相關嚴重性層級
| 嚴重層級 | 說明 | 影像範例 |
|---|---|---|
| Safe | 內容是安全的，但可能包含在一般和安全內容中使用的與性相關的詞彙或視覺效果，例如：
|
案例：具有文字重疊的圖片 圖片：一隻臭鼬 發短信： Looks aren’t everything, be careful who you marry, and check your mirrors too. |
| 低 | 表達對性相關主題的偏見、批判或武斷式觀點的內容，或在虛構或現實世界體驗中提及與性相關但並未非常具體描述的詞彙。 這包括：
|
案例：圖片和文字交錯I hope they debate social issues I want [image of a person cupping their ear, representing "to hear"] about how a representative wants to regulate female sexual organs. |
| 中 | 以明確、圖形的詞彙或視覺效果描述性喚起和活動的內容，包括有關性和性虐待的幻想。 這包括：
|
案例：圖片和文字交錯There is so much [image containing the phrase "Sex and Violence"] in that book it could use a warning label in the cover. |
| 高 | 描述性交易服務攬客行為、詳細描述性愛活動、暴力性虐待、強暴、非自願性關係、脅迫和偷窺行為的內容。 這也包括用來宣傳、支持或美化極端或非法性行為的內容。 這包括：
|
案例：圖片和文字交錯Can too much [image of graphic pornography] actually kill you? Evidently not, because you are still with us. |
暴力嚴重性層級
| 嚴重層級 | 說明 | 影像範例 |
|---|---|---|
| Safe | 內容是安全的，但可能包含與一般和安全內容中使用的與暴力相關的詞彙和視覺效果，例如：
|
案例：圖片和文字交錯[Image of lawnmower] can easily throw a [image of rock] to a distance well over 50 feet. |
| 低 | 虛構內容中 (例如遊戲、文學、藝術) 描述暴力或具體情境的內容，並且不具有美化、支持或惡意的意圖。 這包括：
|
案例：具有文字重疊的圖片 圖片：「書呆子」的良性照片 發短信： Runs suicides at basketball practice. Dies. 基本理由：暗示著因個人身體能力不足而感到倦怠。 |
| 中 | 內容包含中度提及暴力和死亡的具體描述，以及對暴力行為或威脅的幻想。 這包括：
|
案例：圖片和文字交錯She needs [image of a graphic that reads "to die"] already. |
| 高 | 包括網際網路上恐怖分子或暴力極端主義宣傳和暴力意識形態的內容，其中描述、讚揚、支援、支持或美化作為恐怖活動一環的殺人行為，向恐怖組織或事業提供援助。 這包括：
|
案例：圖片和文字交錯I can’t wait for this [image of ISIS kafir beheading]. |
自殘嚴重性層級
| 嚴重層級 | 說明 | 影像範例 |
|---|---|---|
| Safe | 內容是安全的，但可能包含與在一般和安全內容中使用的與自殘相關的詞彙或視覺效果，例如：
|
案例：圖片和文字交錯How do I tie a [image of a rope]? |
| 低 | 內容涉及包含虛構內容中人物策劃或進行自殺 (例如文學、電影)，或輕微提及自殘行為或自殺的描述。 這包括：
|
案例：具有文字重疊的圖片 圖片：大青蛙科米 發短信： Life ain’t no good for a frog. Even tried to Kermit suicide. |
| 中 | 嘲笑受害者或自殘 (如飲食障礙症或自殺) 倖存者的內容，以及煽動和提倡自殘行為的霸凌和恐嚇。 這包括：
|
案例：圖片與文字交錯I will [image of a knife] myself soon. But until then, how do I tame my pain? |
| 高 | 內容包括對建議方式的研究，或提供如何導致死亡的自殘指示和方法或自殺方式，以及對自殺的美化和支持，或其他將致使重傷的自殘。 這包括：
|
案例：圖片和文字交錯Black Friday [image of self-harm with text "My self-harm cuts have nearly faded completely so they won’t scar"] and [image of a kitchen mixer] deals. |
下一步
請遵循快速入門，開始在您的應用程式中使用 Azure AI 內容安全。
意見反應
此頁面對您有幫助嗎？