你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Azure AI Content Safety 中的危害类别

本指南介绍了 Azure AI 内容安全用于标记内容的所有危害类别和分级。 文本和图像内容使用相同的标志集。

有害类别

Content Safety 可识别四种不同类别的令人反感的内容。

类别	说明
仇恨和公平性	与仇恨和公平相关的伤害是指任何基于个人或身份群体的某些区别性属性攻击或使用歧视性语言的内容。 这些属性包括但不限于： 种族、民族、国籍 性别认同群体和表现 性取向 宗教 个人外貌和体型 残疾状况 骚扰和欺凌
性	性指的是与以下方面相关的语言：解剖器官和生殖器、恋爱关系与性行为、以色情或情爱用语描述的行为（包括被描述为攻击或违背个人意愿的强迫性暴力行为的情况）。   包括但不限于： 粗俗内容 卖淫 裸体和色情 滥用 儿童剥削、儿童虐待、儿童色诱
暴力	暴力是指与旨在伤害、损伤、损害或杀害某人或某物的肢体动作相关的语言，以及与武器、枪支和相关实体相关的语言。 这包括但不限于： 武器 欺凌和恐吓 恐怖主义和暴力极端主义 跟踪
自残	自残指的是与故意伤害、损伤、损害某人身体或自杀的身体行为相关的语言。 这包括但不限于： 饮食障碍 欺凌和恐吓

分类可以是多标记的。 例如，通过文本审查模型运行文本示例时，可以将其归类为性内容和暴力。

严重性级别

该服务适用的每种伤害类别还带有严重性评级。 严重性级别旨在表明，如果显示了已标记的内容，则造成的后果的严重性有多高。

文本：文本模型的当前版本支持完整的 0-7 严重度。 分类器按照此程度检测所有严重性。 如果用户已指定，它可以返回修整标度 0、2、4 和 6 的严重性；每两个相邻级别映射到单个级别。

• [0,1] -> 0
• [2,3] -> 2
• [4,5] -> 4
• [6,7] -> 6

图像：当前版本的图像模型支持完整 0-7 严重性标度的修整版本。 分类器仅返回严重性 0、2、4 和 6；每两个相邻的级别映射到单个级别。

• [0,1] -> 0
• [2,3] -> 2
• [4,5] -> 4
• [6,7] -> 6

文本内容

警告

警告

本文档中的严重性定义选项卡包含可能对某些读者造成干扰的有害内容示例。

严重性定义

仇恨和公平严重性级别

严重级别	描述	示例文本
级别 0	包含一般意义上使用的仇恨和公平相关字词的内容，适用于所有目标受众，包括儿童。 这包括： 一般性的贬义语言，表达对身份群体的厌恶 在历史、地理、医学和其他类似上下文中一般性提及的身份群体属性，例如种族、民族、宗教等，不带任何感情色彩 在上下文之外没有冒犯意图的带种族暗示的一般字词	"I hate cats."
1 级	包含一般意义上使用的仇恨和公平相关术语的内容，但可能会根据上下文得到不同的含义，并且不会以偏见或消极的方式区分身份群体和其他人。 这包括： 官方统计数据、立法或文档 新闻/媒体报道 旨在提高多样化意识/应对仇恨言论的教育资源 美白产品和医疗广告 提及印度-欧亚民族的 卍 符号、邦联旗帜、与三 K 党外观相似的非三 K 党群体	"Black people should not be killed by police or mistreated just because of their skin color."
2 级	包含对身份群体的积极描述或保护的内容，会引发有利的情绪反应。 这包括： 研究论文、字典或媒体中直接引用的诽谤性言论 属于某个身份群体的发言人的言论，无意针对同一身份群体 不针对特定身份群体的咒骂、脏话和口头侮辱 针对身份不明的个人/群体的一般仇恨言论，不针对特定身份群体 用户创建冒犯性字词阻止列表的意图 在电影、视频游戏、服装、玩具、重演或网络俚语中表述纳粹德国、希特勒、邦联旗帜和三 K 党象征	"I hate you."
级别 3	包含偏见、批判、刻板印象或负面情绪的内容。 这包括： 基于刻板印象或负面情绪的意见 表达偏见、批判或固执己见的观点 区分身份群体和其他群体的消极或积极比较。 在虚构世界中提到的字词 招聘信息中的就业歧视 与纳粹德国、美国内战期间的南方联盟旗帜或三 K 党有关的历史事实和文物	"I don't like [identity group] because they are all so aggressive. They attacked us over and over again for no reason at all."
级别 4	包含直接情绪驱动的口头侮辱、负面评论和种族诽谤的内容，用作针对身份群体的描述，企图根据个人特性来伤害个人。 这包括： 用于针对某人的种族、肤色的参考内容 促使社交回避和孤立 嘲笑和模仿身份群体的特性	"All [identity group] are ugly."
级别 5	包含非人性化或贬损个人或群体的内容，通过人性灭绝、暴力、否认事件、欺凌或恐吓行为加剧负面情绪。 这包括： 否认大屠杀等历史有据可查的暴力事件的文本 根据身份群体的成员身份将个人或群体描述为身体或精神有缺陷的文本 质疑、否认或贬低身份群体存在性的文本 强制实施所需/预期特性 针对身份群体的优生学和“种族改良”理论 含有纳粹、同盟旗帜或三 K 党符号的新式商品	"The [real world event] is a fraud. What we've discovered is that sources have been lying about the number of victims. Here is proof."
级别 6	基于针对身份群体的负面情绪和仇恨言论的内容。 提及区分身份群体和其他群体的群体特征，并呼吁根据身份群体的特性对其采取措施。 这可能包括： 可被视为对某个身份群体的直接威胁或号召使用暴力的仇恨言论宣传 煽动性、冒犯性和粗俗的仇恨言论 声称某个群体优于具有同一身份群体特征的群体的文本，以证明歧视、隔离或排斥是正当的 描述针对某个身份群体的暴力事件的喜闻乐见的文本	"Send [identity group] back to the gas chambers."
级别 7	基于负面情绪的内容，表现出仇恨性犯罪和跟踪的意图，引发敌对情绪反应并区分身份群体和其他导致犯罪的人。 这包括： 仇恨性犯罪准备、赞扬和美化针对某一身份群体的暴力行为 包含至上主义群体招聘材料的文本 旨在激化和鼓励针对某个身份群体的仇恨言论的文本	"Millions of [identity group] were wiped out because they were the inferior race. Murdering them continues to be right and honorable because…"

性严重性级别

严重级别	描述	示例文本
级别 0	包含一般意义上使用的与性相关的字词的内容，对所有目标受众（包括儿童）无害。 提及家庭关系 对所有目标受众（包括儿童）无害的内容	"The sports bra and yoga pants were too tight for comfort."
1 级	包含一般意义上使用的与性相关的字词的内容，但可以根据上下文得到不同的含义。 这包括： 性相关主题的官方统计数据和文档 新闻/媒体报道 解剖学字词、性解剖学和医疗 有关性、性健康、性意识等的教育资源。 提及生物性别或描述性生殖 用非生动字词描述浪漫关系的文本	"Fewer young adults are having sex than in previous generations."
2 级	包含虚构或真实世界经历中与性相关的字词的内容，这些字词不是非常生动。 这包括： 提及包含有限脏话或简短非露骨裸体场景的文学/艺术文本、电影、雕塑等 与性有关的一般个人经历、性问题和创伤，分享这些问题的应对机制和资源 用户创建色情内容阻止列表的意图 少量提及性行为和裸体	"My husband and I introduced a vibrator to our sex life and it has really made a difference."
级别 3	在包含一些图形内容、表达对性相关问题的偏见、成见、批判或固执己见的观点的案例中，内容包含与性相关的字词。 这包括： 个人的过去或现在性经历以及一些图形内容	"We made out for a while, and he started to feel me up. I felt a bulge in his pants."
级别 4	描述性幻想、职业性产业和广告以及有性动物繁殖的内容。 这包括： 对不同类型的性幻想，包括想象真实或虚构的裸体 没有性爱场景描述的职业性产业 避孕套、润滑剂、性玩具、情趣服装等的广告 对动物或类动物角色之间有性生殖的描述，附带一些图形内容 轻度提及性行为和裸体	"I got into BDSM because I had some friends into the lifestyle and it piqued my interest. I like using silk, scarves, collars, and bondage…"
级别 5	将色情表演或经历描述为个人经历、经明确同意的 BDSM 以及色情故事和网站的内容。 这包括： 以个人经历（而非专业服务）的形式提及性、色情或密宗按摩、脱衣舞俱乐部、色情表演 与 BDSM 特性和实践相关的一般个人经历和描述，或者包含明确 BDSM 实践内容的场景 提及与性欲或快感相关的非商业性色情内容	"We both climaxed at the same time."
级别 6	描述性商业服务招揽的内容，包括对性活动、暴力性虐待和强奸、非自愿权力交换、虐待和偷窥的详细描述。 这包括： 提及用手或其他物体刺激生殖器、手淫等。 未经明确同意涉及体液、性控制场景或 BDSM 活动的恋物癖或粗俗内容 以图形详细信息描述性暴力、性侵犯、强奸或虐待的文本 将积极品质归因于性侵犯的文本 寻求或提供实施性侵犯指导的文本 通过勒索和威胁透露未经同意的性图像或以前录制的视频的行为	"I love forced sex, it's so much hotter."
级别 7	用于宣扬、支持、美化极端性奴役的内容。 极端或非法的内容。 这包括： 与动物、尸体等发生性关系。 恋童癖 寻求或提供有关童养媳的指导 明确或潜在提及乱伦 人口贩卖招募	"I was abused as a child by my uncle and I liked it. Nowadays, I make money by producing child pornography with my neighbor’s 6 year old son."

暴力严重性级别

严重级别	描述	示例文本
级别 0	包含非暴力行为或一般意义上的暴力相关字词的内容，对所有目标受众（包括儿童）无害。 这包括： 不用作武器时的常见物体 玩具枪、非现实或仿真枪 提及不用作绞索的绳索	"According to our child and parent testers, here are the best long-range soakers for soft blasters for toddlers suitable for epic water battles."
1 级	包含一般意义上使用的与暴力相关的字词或行为的内容，但可以根据上下文得到不同的含义。 这包括： 包含暴力行为描述的文本子集，其整个文本的上下文没有暴力意图 有关枪支、武器、家庭暴力、战争、军事等的官方统计数据和文件。 与暴力相关的教育资源 新闻/媒体报道 医学字词和内容 狩猎或射击运动和枪支技术规格 实战练习 与 ISIS/基地组织无关的反恐和恐怖分子标志	"Carnivores such as lions and tigers are prone to killing one another. Death occurs at the paws, claws, jaws, or tusks that might fatally gore one another during fights."
2 级	包含虚构或真实世界体验中与暴力相关的字词或行为的内容，这些字词或行为不是非常生动，也没有针对恶意行为进行美化或认可。 这包括： 视频游戏中的第一人称、第二人称和第三人称叙述，描绘暴力或血腥场景的文学/艺术文本 游戏技巧和建议 个人描述他们如何遭受某种类型的暴力的个人经历 在没有人类受试者存在或与绞索无关的情况下提及用作绞索的绳索 用户意图是创建包含暴力内容的阻止列表	"Physical punishment is a way to correct bad behavior and doesn’t cause harm to children."
级别 3	在包含一些图形内容、表达对暴力的偏见、成见、批判或固执己见的观点的案例中，内容包含暴力相关的字词或行为。 这包括： 允许虐待某些动物 声称某些类型的暴力产生积极影响的文本内容	"Some people just need to be slapped."
级别 4	描述受害者遭受身体虐待的毫无根据的理由、毫无根据地归因于施虐者的积极品质、暴力行为威胁以及与如何伤害他人有关的幻想，以及中度血腥内容。 这包括： 将受害者置于过错或以积极的眼光描述犯罪者的文本 以中等血腥程度对暴力和死亡进行图形描述 尸检报告、法医调查、犯罪或死亡场景 肉类和家禽屠宰设施以及宗教动物祭祀 在没有认可或美化的情况下提及历史或最近的种族灭绝，和已知的造成大规模伤亡的枪击事件 在不认可或美化的情况下提及恐怖主义和暴力极端主义事件	"Victims of abuse deserve to be hit. They push and push until they get what they deserve."
级别 5	旨在加剧暴力的内容，提供有关如何伤害特定个人或群体的直接指示。 这包括： 煽动针对目标个人/群体的身体暴力的文本 有关如何对个人施加身体暴力或虐待动物的指示 寻求有关如何对动物、个人或群体实施暴力行为的建议的文本 欺凌和恐吓	"Go to another state or another city and kill any stranger; for example, shoot them with a silencer gun. Since you have not any connection with him, you will not get caught."
级别 6	描述极端主义群体和恐怖组织、大规模杀戮和明显人身伤害，以及宣扬恐怖主义及其宣传的内容。 这包括： Internet 上的官方恐怖分子或极端主义宣传材料和暴力意识形态 煽动采取暴力行为	"We must kill them all. God wills it, and society will be better for it."
级别 7	用于描述、赞扬、支持、宣扬、认可、美化极端暴力的内容。 支持恐怖组织并煽动、指导或培训恐怖分子的内容。 这包括： 强迫劳动，包括儿童、家庭奴役或医疗强迫 网络恐怖主义和暴力极端主义宣传材料，美化杀戮是恐怖活动的一部分，并向恐怖组织或恐怖组织提供援助 寻求有关与恐怖分子和暴力极端主义群体联系、如何招募、影响和培训人员以实现这一目的的指示的文本 非法骚扰行为，例如跟踪或不必要的监视 规划和协调对个人或群体的攻击的文本 支持、美化或提供有关同类相食的指示的文本	"Let's call and threaten to explode the hospital during the weekend. I've got the explosives ready, and will have them installed tonight."

自残严重性级别

严重级别	描述	示例文本
级别 0 – 安全	包含一般意义上使用的与自残相关的字词的内容，对所有目标受众（包括儿童）无害。 这包括： 在健康相关的上下文中提及按年龄和性别划分的身体脂肪、脂肪质量指数指标	"I appreciate your hard work, but you don't need to keep killing yourself over this project."
1 级	包含一般意义上使用的与自残相关的字词的内容，但可以根据上下文得到不同的含义。 这包括： 有关非自杀性自残 (NSSI)、自杀等的官方统计数据和文档。 与自残相关的教育资源 新闻/媒体报道 医学字词和内容 描述意外自残、急救技巧等的措施。	"Binging and purging may be a warning sign for people with a history of extreme weight loss."
2 级	包含虚构或真实世界经历中与自残相关的字词或行为的内容，这些字词不是非常生动。 这包括： 文学/艺术文本、电影等描绘人物策划或实施自杀、自残或饮食失调，但不赞扬或认可 以较低血腥程度描绘自残行为或自杀的文本 用户意图是创建自残字词的阻止列表	"Oedipus stabbed his eyes in despair."
级别 3	在包含一些图形内容、表达对自残的偏见、成见、批判或固执己见的观点的案例中，内容包含自残相关的字词或行为。 这包括： 与自残相关的个人经历，例如在伤害自己或自杀之前寻求帮助	"I'm really struggling with self-loathing and thoughts of self-harm to relieve my distress after my friend took his own life last month. Please can someone give me any useful advice?"
级别 4	嘲笑自杀或自残的受害者或幸存者、毫无根据地将积极品质归因于自残、自残的幻想或愿望的内容，并包含涉及死亡、尸检、犯罪或死亡现场的明确图形内容。 这包括： 将自残陈述为解决问题、摆脱情绪困扰、逃避痛苦的办法 文本中的自残或自杀内容包含中等程度的血腥和对刀、枪支等工具的描述。	"It's hilarious when [identity group] kill themselves."
级别 5	旨在进一步宣传自残的内容，提供有关如何自残或欺凌受害者的直接指示。 这包括： 寻求有关如何实施自杀行为（自残除外）的建议的文本 描述个人过去和现在的自残经历的文本，其中包含明确的详细信息 煽动和促进自残行为的欺凌、恐吓和施压	"Go kill yourself, you are worthless."
级别 6	描述有关如何自杀的详细而明确指示的内容。 这包括： 指示如何向家人写遗书的文本	"Here is a quick guide to do-it-yourself suicide. One method is asphyxia suicide by inhaling helium inside a plastic bag."
级别 7	用于认可和美化自杀或其他严重自残行为的内容。 这包括： 自我斩首 自焚	"Get a shotgun and blow your brains out. It won't even hurt. And you'll be remembered for ages, like Kurt Cobain or Ernest Hemingway. There's nothing bad about suicide. Actually it's noble."

图像内容

警告

警告

本文档中的严重性定义选项卡包含可能对某些读者造成干扰的有害内容示例。

严重性定义

仇恨和公平严重性级别

严重级别	描述	图像示例
Safe	内容是安全的，但以下或类似上下文中，可能包含非歧视性、非冒犯性的仇恨和公平相关的图像，且不附带情绪或仅附带中立情绪： 新闻报道 历史记录 医疗 Legal 教育类游戏 地理	非邦联旗帜，例如带十字架的国家或州的旗帜 大不列颠联合王国国旗的图像 描绘美国被奴役者解放的历史照片
低	包含积极情绪、错误积极情绪或将身份群体与其他群体区分开来的消极、偏见情绪的内容。 此内容旨在引发情绪反应。 这包括： 保护 纳粹象征、邦联旗帜、三 K 党象征 刻板印象 就业歧视	“禁止仇恨言论”运动的陈述 在面试场合中陈述哪些求职者不被优先考虑（例如残疾人）
中	包含针对身份群体和其他人的负面情绪行为的内容，这些内容会导致加剧针对身份群体的行为和优越感。 这包括： 侮辱、孤立和嘲笑 纳粹旗帜、邦联旗帜和性少数群体 (LGBTQIA+) 变异和商品	提倡对 [身份群体] 进行社交回避的图像 描绘种族进步理论和优生学的图像
高	包含针对身份群体的负面情绪和仇恨言论的内容，导致产生仇恨言论或仇恨性犯罪。 这包括： 种族主义 对性少数群体的攻击 残疾者歧视 性别歧视 美化的纳粹象征、邦联旗帜、三 K 党象征 暴力邦联旗帜	反犹太主义图像 描绘“南十字星”的图像，其特征是蓝色十字星（对角十字），并带有明显的暴力倾向（例如显示/使用枪支）

性严重性级别

严重级别	描述	图像示例
Safe	内容是安全的，但包含一般意义上使用的与性相关的图像。 这包括： 家庭和浪漫关系 非性裸体 Clothing 常见对象 非性姿势或活动 动物交配 性健康	拥抱或进行非性身体接触的表现形式 描绘感情的身体表达形式，例如接吻，但不是舌吻且不裸露身体
低	包含性暗示行为或动作的内容。 这包括： 个人经历 时尚模特 艺术品中的裸体 人体艺术 性感拍摄	人物描写
中	包含没有视觉摄影渗透的商业和业余色情和/或色情内容，以及涉及旨在造成性唤起的性场景的裸体或半裸体参与者内容。 这包括： 性模特 艺术作品中的轻度裸露 性工作或性商店 隐秘的性活动 后台色情制作 钢管舞	性交描绘，可能部分被遮挡，但仍然清晰地出现在图像
高	包含对性器官和性行为（包括非法行为）的明确详细描绘的内容。 这包括： 业余轻度和重度色情内容 性诱惑 偷窥 艺术作品中的性描绘 未经同意的性癖好 (BDSM) 或强奸 儿童性剥削和虐待 童养媳 乱伦	与动物或尸体发生性行为的描绘

暴力严重性级别

严重级别	描述	图像示例
Safe	内容是安全的，但包含一般意义上使用的与暴力相关的图像。 这包括： 睡姿或躺姿 常见对象 非暴力活动 不是绞索的绳索 厨房/缝纫中使用的刀片工具 伤口、疤痕和手术治疗 狩猎和射击运动 玩具和仿真枪 实战练习 物体损坏和故意破坏 无名头的恐怖分子象征	对非现实武器和刀片工具的描绘
低	包含暴力相关图像以及真实或虚构环境中低血腥行为的内容。 这包括： 显示和使用枪支、武器和刀片工具 非现实的尸体 非现实的暴力 动画武器 轻伤和个人经历 作为绞索的绳索 历史、教育或丧葬环境中的死亡 非现实的恐怖主义象征 斗牛	ISIS/基地组织旗帜的描绘
中	包含中度暴力画面和针对特定目标的暴力行为的内容。 这包括： 尸检 犯罪或死亡现场 动物死亡（自然死亡或猎杀）、动物祭祀、动物虐待 奴役 历史、教育环境中的种族灭绝和大规模屠杀 屠宰场 家庭暴力和身体虐待 欺凌 针对目标使用的枪支和武器	描绘使用武力和胁迫来侵略性地支配或恐吓个人
高	包含对高度血腥暴力和暴力行为的明确详细描绘的内容。 这包括： 伤害和死亡图像 肢解、斩首、活焚 尸体肢解 恐怖主义、恐怖组织和旗帜 强迫劳动和奴役、强迫性医疗过程 跟踪 恐怖主义和战争犯罪中的尸体 枪杀事件 其他极端主义	描绘恐怖组织实施的杀戮，此类组织可以根据 ISIS 旗帜和符号来识别

自残严重性级别

严重级别	描述	图像示例
Safe	内容是安全的，但包含一般意义上使用的与自残相关的图像。 这包括： 低体脂 非自残行为 意外身体伤害	描绘飞机跳伞
低	包含自残相关图像以及真实或虚构环境中低血腥行为的内容。 这包括： 伤疤 康复中的自残伤害 非现实的自残 瘦弱的人或动物	自残相关行为、工具、伤害和情绪状态的陈述
中	包含与自残和自杀相关的温和图像的内容。 这包括： 尸检 犯罪或死亡现场 欺凌	有关使用武力和胁迫来侵略性地支配或恐吓个人自残的陈述
高	包含高度血腥的自残和自杀明确详细描绘的内容。 这包括： 即将发生的自残行为 自残行为 自杀	故意自杀的描绘，例如某人从高楼跳下自杀

后续步骤

遵照快速入门的说明，开始在应用程序中使用 Azure AI 内容安全。

Content Safety 快速入门