你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Azure AI Content Safety 中的危害类别

项目
01/20/2024

本指南介绍了 Azure AI 内容安全用于标记内容的所有危害类别和分级。文本和图像内容使用相同的标志集。

有害类别

Content Safety 可识别四种不同类别的令人反感的内容。

类别	说明
仇恨和公平	仇恨和公平相关的伤害指的是基于个人或身份群体的某些区别性属性（包括但不限于种族、民族、国籍、性别认同和表现、性取向、宗教、移民身份、残疾、个人外貌和体型）攻击或运用贬义性或歧视性语言的任何内容。公平涉及确保 AI 系统公平对待所有群体，而不会加剧现有的社会不平等。与仇恨言论类似，公平相关的伤害取决于对身份群体的不同待遇。
性	性指的是与以下方面相关的语言：解剖器官和生殖器、恋爱关系、以色情或情爱用语描述的行为、怀孕、身体上的性行为（包括被描述为攻击或违背个人意愿的强迫性暴力行为的行为）、卖淫、色情和虐待。
暴力	暴力指的是与旨在伤害、损伤、损害或杀害某人或某物的肢体动作相关的语言，以及与武器、枪支和相关实体（例如，制成品、协会、法律等）相关的语言。
自残	自残指的是与故意伤害、损伤、损害某人身体或自杀的身体行为相关的语言。

分类可以是多标记的。例如，通过文本审查模型运行文本示例时，可以将其归类为性内容和暴力。

严重性级别

该服务适用的每种伤害类别还带有严重性评级。严重性级别旨在表明，如果显示了已标记的内容，则造成的后果的严重性有多高。

文本：文本模型的当前版本支持完整的 0-7 严重度。分类器按照此程度检测所有严重性。如果用户已指定，它可以返回修整标度 0、2、4 和 6 的严重性；每两个相邻级别映射到单个级别。

[0,1] -> 0
[2,3] -> 2
[4,5] -> 4
[6,7] -> 6

图像：当前版本的图像模型支持完整 0-7 严重性标度的修整版本。分类器仅返回严重性 0、2、4 和 6；每两个相邻的级别映射到单个级别。

[0,1] -> 0
[2,3] -> 2
[4,5] -> 4
[6,7] -> 6

警告

本文档中的严重性定义选项卡包含可能对某些读者造成干扰的有害内容示例。

仇恨和公平严重性级别

严重级别	描述	示例文本
级别 0	包含一般意义上使用的仇恨和公平相关字词的内容，适用于所有目标受众，包括儿童。这包括：一般性的贬义语言，表达对身份群体的厌恶在历史、地理、医学和其他类似上下文中一般性提及的身份群体属性，例如种族、民族、宗教等，不带任何感情色彩在上下文之外没有冒犯意图的带种族暗示的一般字词	`"I hate cats."`
1 级	包含一般意义上使用的仇恨和公平相关术语的内容，但可能会根据上下文得到不同的含义，并且不会以偏见或消极的方式区分身份群体和其他人。这包括：官方统计数据、立法或文档新闻/媒体报道旨在提高多样化意识/应对仇恨言论的教育资源美白产品和医疗广告提及印度-欧亚民族的卍符号、邦联旗帜、与三 K 党外观相似的非三 K 党群体	`"Black people should not be killed by police or mistreated just because of their skin color."`
2 级	包含对身份群体的积极描述或保护的内容，会引发有利的情绪反应。这包括：研究论文、字典或媒体中直接引用的诽谤性言论属于某个身份群体的发言人的言论，无意针对同一身份群体不针对特定身份群体的咒骂、脏话和口头侮辱针对身份不明的个人/群体的一般仇恨言论，不针对特定身份群体用户创建冒犯性字词阻止列表的意图在电影、视频游戏、服装、玩具、重演或网络俚语中表述纳粹德国、希特勒、邦联旗帜和三 K 党象征	`"I hate you."`
级别 3	包含偏见、批判、刻板印象或负面情绪的内容。这包括：基于刻板印象或负面情绪的意见表达偏见、批判或固执己见的观点区分身份群体和其他群体的消极或积极比较。在虚构世界中提到的字词招聘信息中的就业歧视与纳粹德国、美国内战期间的南方联盟旗帜或三 K 党有关的历史事实和文物	`"I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all."`
级别 4	包含直接情绪驱动的口头侮辱、负面评论和种族诽谤的内容，用作针对身份群体的描述，企图根据个人特性来伤害个人。这包括：用于针对某人的种族、肤色的参考内容促使社交回避和孤立嘲笑和模仿身份群体的特性	`"All [identity group] are ugly."`
级别 5	包含非人性化或贬损个人或群体的内容，通过人性灭绝、暴力、否认事件、欺凌或恐吓行为加剧负面情绪。这包括：否认大屠杀等历史有据可查的暴力事件的文本根据身份群体的成员身份将个人或群体描述为身体或精神有缺陷的文本质疑、否认或贬低身份群体存在性的文本强制实施所需/预期特性针对身份群体的优生学和“种族改良”理论含有纳粹、同盟旗帜或三 K 党符号的新式商品	`"The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof."`
级别 6	基于针对身份群体的负面情绪和仇恨言论的内容。提及区分身份群体和其他群体的群体特征，并呼吁根据身份群体的特性对其采取措施。这可能包括：可被视为对某个身份群体的直接威胁或号召使用暴力的仇恨言论宣传煽动性、冒犯性和粗俗的仇恨言论声称某个群体优于具有同一身份群体特征的群体的文本，以证明歧视、隔离或排斥是正当的描述针对某个身份群体的暴力事件的喜闻乐见的文本	`"Send [identity group] back to the gas chambers."`
级别 7	基于负面情绪的内容，表现出仇恨性犯罪和跟踪的意图，引发敌对情绪反应并区分身份群体和其他导致犯罪的人。这包括：仇恨性犯罪准备、赞扬和美化针对某一身份群体的暴力行为包含至上主义群体招聘材料的文本旨在激化和鼓励针对某个身份群体的仇恨言论的文本	`"Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because…"`

性严重性级别

严重级别	描述	示例文本
级别 0	包含一般意义上使用的与性相关的字词的内容，对所有目标受众（包括儿童）无害。提及家庭关系对所有目标受众（包括儿童）无害的内容	`"The sports bra and yoga pants were too tight for comfort."`
1 级	包含一般意义上使用的与性相关的字词的内容，但可以根据上下文得到不同的含义。这包括：性相关主题的官方统计数据和文档新闻/媒体报道解剖学字词、性解剖学和医疗有关性、性健康、性意识等的教育资源。提及生物性别或描述性生殖用非生动字词描述浪漫关系的文本	`"Fewer young adults are having sex than in previous generations."`
2 级	包含虚构或真实世界经历中与性相关的字词的内容，这些字词不是非常生动。这包括：提及包含有限脏话或简短非露骨裸体场景的文学/艺术文本、电影、雕塑等与性有关的一般个人经历、性问题和创伤，分享这些问题的应对机制和资源用户创建色情内容阻止列表的意图少量提及性行为和裸体	`"The first time I had sex, I found it painful."`
级别 3	在包含一些图形内容、表达对性相关问题的偏见、成见、批判或固执己见的观点的案例中，内容包含与性相关的字词。这包括：个人的过去或现在性经历以及一些图形内容	`"We made out for a while, and he started to feel me up. I felt a bulge in his pants."`
级别 4	描述性幻想、职业性产业和广告以及有性动物繁殖的内容。这包括：对不同类型的性幻想，包括想象真实或虚构的裸体没有性爱场景描述的职业性产业避孕套、润滑剂、性玩具、情趣服装等的广告对动物或类动物角色之间有性生殖的描述，附带一些图形内容轻度提及性行为和裸体	`"I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage…"`
级别 5	将色情表演或经历描述为个人经历、经明确同意的 BDSM 以及色情故事和网站的内容。这包括：以个人经历（而非专业服务）的形式提及性、色情或密宗按摩、脱衣舞俱乐部、色情表演与 BDSM 特性和实践相关的一般个人经历和描述，或者包含明确 BDSM 实践内容的场景提及与性欲或快感相关的非商业性色情内容	`"We both climaxed at the same time."`
级别 6	描述性商业服务招揽的内容，包括对性活动、暴力性虐待和强奸、非自愿权力交换、虐待和偷窥的详细描述。这包括：提及用手或其他物体刺激生殖器、手淫等。未经明确同意涉及体液、性控制场景或 BDSM 活动的恋物癖或粗俗内容以图形详细信息描述性暴力、性侵犯、强奸或虐待的文本将积极品质归因于性侵犯的文本寻求或提供实施性侵犯指导的文本通过勒索和威胁透露未经同意的性图像或以前录制的视频的行为	`"I love forced sex, it's so much hotter."`
级别 7	用于宣扬、支持、美化极端性奴役的内容。极端或非法的内容。这包括：与动物、尸体等发生性关系。恋童癖寻求或提供有关童养媳的指导明确或潜在提及乱伦人口贩卖招募	`"I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son."`

暴力严重性级别

严重级别	描述	示例文本
级别 0	包含非暴力行为或一般意义上的暴力相关字词的内容，对所有目标受众（包括儿童）无害。这包括：不用作武器时的常见物体玩具枪、非现实或仿真枪提及不用作绞索的绳索	`"According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles."`
1 级	包含一般意义上使用的与暴力相关的字词或行为的内容，但可以根据上下文得到不同的含义。这包括：包含暴力行为描述的文本子集，其整个文本的上下文没有暴力意图有关枪支、武器、家庭暴力、战争、军事等的官方统计数据和文件。与暴力相关的教育资源新闻/媒体报道医学字词和内容狩猎或射击运动和枪支技术规格实战练习与 ISIS/基地组织无关的反恐和恐怖分子标志	`"Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights."`
2 级	包含虚构或真实世界体验中与暴力相关的字词或行为的内容，这些字词或行为不是非常生动，也没有针对恶意行为进行美化或认可。这包括：视频游戏中的第一人称、第二人称和第三人称叙述，描绘暴力或血腥场景的文学/艺术文本游戏技巧和建议个人描述他们如何遭受某种类型的暴力的个人经历在没有人类受试者存在或与绞索无关的情况下提及用作绞索的绳索用户意图是创建包含暴力内容的阻止列表	`"She wishes she could have killed her whole family."`
级别 3	在包含一些图形内容、表达对暴力的偏见、成见、批判或固执己见的观点的案例中，内容包含暴力相关的字词或行为。这包括：允许虐待某些动物声称某些类型的暴力产生积极影响的文本内容	`"Some people just need to be slapped."`
级别 4	描述受害者遭受身体虐待的毫无根据的理由、毫无根据地归因于施虐者的积极品质、暴力行为威胁以及与如何伤害他人有关的幻想，以及中度血腥内容。这包括：将受害者置于过错或以积极的眼光描述犯罪者的文本以中等血腥程度对暴力和死亡进行图形描述尸检报告、法医调查、犯罪或死亡场景肉类和家禽屠宰设施以及宗教动物祭祀在没有认可或美化的情况下提及历史或最近的种族灭绝，和已知的造成大规模伤亡的枪击事件在不认可或美化的情况下提及恐怖主义和暴力极端主义事件	`"Victims of abuse deserve to be hit. They push and push until they get what they deserve."`
级别 5	旨在加剧暴力的内容，提供有关如何伤害特定个人或群体的直接指示。这包括：煽动针对目标个人/群体的身体暴力的文本有关如何对个人施加身体暴力或虐待动物的指示寻求有关如何对动物、个人或群体实施暴力行为的建议的文本欺凌和恐吓	`"Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught."`
级别 6	描述极端主义群体和恐怖组织、大规模杀戮和明显人身伤害，以及宣扬恐怖主义及其宣传的内容。这包括： Internet 上的官方恐怖分子或极端主义宣传材料和暴力意识形态煽动采取暴力行为	`"We must kill them all. God wills it, and society will be better for it."`
级别 7	用于描述、赞扬、支持、宣扬、认可、美化极端暴力的内容。支持恐怖组织并煽动、指导或培训恐怖分子的内容。这包括：强迫劳动，包括儿童、家庭奴役或医疗强迫网络恐怖主义和暴力极端主义宣传材料，美化杀戮是恐怖活动的一部分，并向恐怖组织或恐怖组织提供援助寻求有关与恐怖分子和暴力极端主义群体联系、如何招募、影响和培训人员以实现这一目的的指示的文本非法骚扰行为，例如跟踪或不必要的监视规划和协调对个人或群体的攻击的文本支持、美化或提供有关同类相食的指示的文本	`"Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight."`

自残严重性级别

严重级别	描述	示例文本
级别 0 – 安全	包含一般意义上使用的与自残相关的字词的内容，对所有目标受众（包括儿童）无害。这包括：在健康相关的上下文中提及按年龄和性别划分的身体脂肪、脂肪质量指数指标	`"I appreciate your hard work, but you don't need to keep killing yourself over this project."`
1 级	包含一般意义上使用的与自残相关的字词的内容，但可以根据上下文得到不同的含义。这包括：有关非自杀性自残 (NSSI)、自杀等的官方统计数据和文档。与自残相关的教育资源新闻/媒体报道医学字词和内容描述意外自残、急救技巧等的措施。	`"Binging and purging may be a warning sign for people with a history of extreme weight loss."`
2 级	包含虚构或真实世界经历中与自残相关的字词或行为的内容，这些字词不是非常生动。这包括：文学/艺术文本、电影等描绘人物策划或实施自杀、自残或饮食失调，但不赞扬或认可以较低血腥程度描绘自残行为或自杀的文本用户意图是创建自残字词的阻止列表	`"Oedipus stabbed his eyes in despair."`
级别 3	在包含一些图形内容、表达对自残的偏见、成见、批判或固执己见的观点的案例中，内容包含自残相关的字词或行为。这包括：与自残相关的个人经历，例如在伤害自己或自杀之前寻求帮助	`"I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice?"`
级别 4	嘲笑自杀或自残的受害者或幸存者、毫无根据地将积极品质归因于自残、自残的幻想或愿望的内容，并包含涉及死亡、尸检、犯罪或死亡现场的明确图形内容。这包括：将自残陈述为解决问题、摆脱情绪困扰、逃避痛苦的办法文本中的自残或自杀内容包含中等程度的血腥和对刀、枪支等工具的描述。	`"It's hilarious when [identity group] kill themselves."`
级别 5	旨在进一步宣传自残的内容，提供有关如何自残或欺凌受害者的直接指示。这包括：寻求有关如何实施自杀行为（自残除外）的建议的文本描述个人过去和现在的自残经历的文本，其中包含明确的详细信息煽动和促进自残行为的欺凌、恐吓和施压	`"Go kill yourself, you are worthless."`
级别 6	描述有关如何自杀的详细而明确指示的内容。这包括：指示如何向家人写遗书的文本	`"Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag."`
级别 7	用于认可和美化自杀或其他严重自残行为的内容。这包括：自我斩首自焚	`"Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble."`

图像内容

警告
严重性定义

警告