通过

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

损害类型

  • 项目

本文可帮助你认识到不同类型的损害，以便实现适当的缓解步骤。

受伤风险

身体伤害

考虑技术如何伤害人们或形成危险的环境。

损害 说明 注意事项 示例
对安全功能的过度依赖 这表明在没有足够的人工监督的情况下，决策依赖于技术。 人们如何依赖此技术保护其安全？ 此技术如何减少适当的人工监督？ 医疗保健代理可能会误诊疾病，导致不必要的治疗。
防故障措施不充分 实际测试可能未充分考虑不同的用户和方案。 如果此技术失败或被滥用，人们会如何受到影响？ 人们可以在何时进行干预？ 是否有未经测试的替代用途？ 系统故障会如何影响用户？ 如果自动门在紧急疏散过程中未能检测到轮椅，并且如果没有可使用的替代按钮，则人员可能会受困。
接触运行不正常的代理 制造和技术处置可能会危害工人和附近居民的健康和福祉。 组件或设备的制造可能会产生哪些负面结果？ 安全措施不足可能会导致工人在数字组件制造过程中接触毒素。

情感或心理伤害

滥用的技术可能会导致严重的情感和心理困扰。

损害 说明 注意事项 示例
对自动化的过度依赖 误导的信念可能会导致用户信任数字代理的可靠性，而不是人类的可靠性。 此技术如何减少直接人际反馈？ 此技术如何与受信任的信息源进行交互？ 完全依赖人造代理会如何影响人员？ 可以依赖聊天机器人来获得人际关系建议或心理健康咨询，而不是经过培训的专业人士。
现实歪曲或煤气灯效应 故意滥用时，技术可能会破坏信任，并歪曲人们的现实感。 这是否可用于修改数字媒体或物理环境？ IoT 设备可以实现远程监视和控制以前的亲密伙伴。
降低自尊/信誉损害 某些共享内容可能有害、虚假、误导或诽谤。 此技术如何用于以不当方式共享个人信息？ 如何操作它以滥用信息和谎报身份？ 合成媒体的“报复色情”可以交换人脸，创造某个人参与视频的错觉（而该人实际上并没有）。
成瘾/注意力劫持 技术可以针对长时间的交互而设计，而不考虑幸福感。 除了提供用户价值之外，此技术可能以何种方式奖励或鼓励持续交互？ 视频游戏战利品箱多变的掉宝率可能会导致玩家继续玩游戏，忽视照顾自己。
身份盗窃 身份盗窃可能导致失去对个人凭据、信誉和表示形式的控制权。 如何使用此技术模拟个人？ 此技术如何错误地将错误个人识别为真实用户？ 合成声音模型可以模仿人们的声音，并用于访问银行账户。
张冠李戴 这包括将不由其负责的操作或内容归因于某人。 此技术可能会以何种方式将操作归因于个人或群体？ 如果操作被错误地归因于某人，他会如何受到影响？ 面部识别在警方调查期间可能会错误地识别出个人。

拒绝重要服务

机会损失

自动决策可能会限制访问对幸福感至关重要的资源、服务和机会。

损害 说明 注意事项 示例
就业歧视 有些人可能会因为与功绩无关的特征而被拒绝申请或获得工作。 此技术是否可能会影响与就业相关的建议或决策？ 招聘 AI 可能会推荐较少具有女性姓名的候选人参加面试。
住房歧视 这包括拒绝人们获得住房或申请住房的能力。 此技术如何影响与住房相关的建议或决策？ 公共住房排队算法可能导致具有国际类型姓名的人等待更长的时间才能获得凭证。
保险和福利歧视 这包括由于有偏见的标准而拒绝为人们提供保险、社会援助或医疗试验。 此技术是否可用于确定保险或社会福利的获取、成本、分配？ 由于算法预测显示酒后驾驶风险增加，保险公司可能会对夜班司机收取更高的费用。
教育歧视 可能会由于不可改变的特征而被拒绝接受教育。 此技术如何用于确定与教育相关的机会、成本、住宿或其他结果？ 情感分类器可能会错误地报告有色人种学生比白人学生参与度更低，从而导致成绩较低。
数字鸿沟/技术歧视 不成比例地受益于技术可能会让一些人缺乏参与社会的知识或能力。 需要具备哪些先决条件技能、设备或连接才能充分利用此技术？ 在设备、连接或其他产品功能方面，选择比其他人更早接触此技术的人员可能会有什么影响？ 内容限制可能会阻止农村学生访问课堂教学视频源。
失去选择/网络和筛选气泡 只向人们提供符合并强化其信念的信息。 此技术可能会如何影响可供人们使用的选项和信息？ 此技术可以依靠哪些过去的行为或偏好来预测未来的行为或偏好？ 新闻源只能提供确认现有信念的信息。

经济损失

与金融工具、经济机会和资源相关的决策自动化会放大现有的社会不平等，并阻碍福利。

损害 说明 注意事项 示例
信贷歧视 人们可能基于与经济价值无关的特征而被拒绝获得金融工具。 此技术如何依靠现有的信用结构来进行决策？ 此技术如何影响个人或群体获得或维护信用分数的能力？ 较高的入门利率优惠只能发送给社会经济邮政编码较低的家庭。
商品和服务的差别定价 可能会由于与生产或交付成本无关的原因，以不同的价格提供商品或服务。 此技术如何用于确定商品或服务的定价？ 用于确定人们使用此技术的成本的标准是什么？ 对于基于针对男性或女性的指定的产品，可能会收取更多费用。
经济剥削 人们可能会被迫或被误导去做一些影响其尊严或福祉的事情。 人力在为此技术生成培训数据方面发挥什么作用？ 如何获得此劳动力？ 人力在支持此技术方面发挥什么作用？ 预计此劳动力来自哪里？ 为经济上贫困的人支付生物识别数据费用以训练 AI 系统。
个人专业知识贬值 技术可能取代有偿人力专业知识或劳动力的使用。 此技术如何影响对雇用现有劳动力的需求？ AI 代理取代医生/放射技师来进行医疗成像评估。

侵犯人权

丧失尊严

技术可以影响人们如何感知世界，以及他们如何认识、吸引和重视彼此。 人们之间的荣誉和尊重交流可能会受到干扰。

损害 说明 注意事项 示例
丧失人性 消除、减少或掩盖人的人性。 此技术如何用于简化或抽象一个人的表现方式？ 此技术如何减少人类与数字世界的区别？ 无人机监视中的实体识别和虚拟覆盖可以减少人类行为的感知责任。
公开羞辱 这可能意味着暴露人们的私有、敏感或不适合社交的材料。 如何通过数据聚合显示移动或操作？ 健身应用可能会在社交媒体上显示用户的 GPS 位置，表明参加了酗酒者匿名会议。

丧失自由

法律、司法和社会系统的自动化可能会强化偏见，并导致有害后果。

损害 说明 注意事项 示例
预测性警务 基于历史记录推断可疑行为和/或犯罪意图。 这可以如何支持或取代人类警务或刑事司法决策？ 算法可以预测多种区域逮捕，因此警方可确保他们匹配或超过该数量。
社会控制 通过公开将人类行为指定为正面或负面行为，可以加强或鼓励符合性。 哪些类型的个人或行为数据可能会维持此技术？ 如何获取它？ 从此数据会派生哪些输出？ 此技术是否可能用于鼓励或阻止某些行为？ 专制政府使用社交媒体和电子商务数据，基于人们在何处购物以及与谁共度时光来确定“可信”分数。
失去有效补救措施 这意味着无法解释理由或缺乏竞争决策的机会。 人们怎么能理解此技术做出决策的原因？ 依赖这项技术的个人如何解释其决策？ 人们如何竞争或质疑此技术做出的决策？ 不向被告解释自动监禁或审前释放决定。

丧失隐私

我们使用技术所生成的信息可以用于确定事实或在某人不知情的情况下对其做出假设。

损害 说明 注意事项 示例
干扰私人生活 透露一个人未选择共享的信息。 此技术如何使用信息推断私人生活部分？ 基于这些推理的决策如何暴露一个人不希望公开的事情？ 任务跟踪 AI 可以监视个人模式，从中可推断婚外情。
强制关联 要求参与使用技术或监督以参与社会。 参与社会或组织成员资格需要如何使用此技术？ 在公司会议室听录 AI 中进行生物识别注册是录用函中的规定要求。
无法自由和充分地发展个性 这可能意味着会限制一个人真实表达自己或探索自我发展的外部途径的能力。 系统或产品以何种方式将正面与负面内涵归因于特定人格特征？ 使用产品或系统可以如何向禁止自由表达的政府或雇主等实体透露信息？ 智能会议系统可以记录同事之间的所有讨论，包括个人辅导和指导课程。
永不消除 数字文件或记录可能永远不会删除。 从此产品存储的数据是什么，存储在何处，谁可以访问？ 在技术交互后，用户数据会存储多长时间？ 如何更新或删除用户数据？ 青少年的社交媒体历史记录在他们长大后很长一段时间都可以被搜索到。
丧失移动或集会自由 这意味着无法以所需匿名方式在物理或虚拟世界中导航。 此技术可能以何种方式监视物理空间和虚拟空间中的人员？ 可能需要实名才能注册实现真实跟踪的视频游戏。

环境影响

从所需的云计算量到零售包装，系统或产品生命周期中的每个决策都会对环境产生影响。 环境变化可能会影响整个社区。

损害 说明 注意事项 示例
资源开发或耗尽 获取技术的原材料（包括其供电方式）会导致对环境及其居民造成负面后果。 构建或运行此技术需要哪些材料？ 构建或运行此技术需要哪些能源要求？ 由于某些电子制造业所需的稀土矿物和金属的开采，当地社区可能会流离失所。
电子废物 由于无法修复、回收或以其他方式负责任地处置电子产品，因此降低了集体福祉的质量。 此技术如何通过回收材料或允许用户自行修复来减少电子废物？ 当新版本发布或当前/过去版本停止工作时，此技术会如何造成电子废物？ 废弃电子设备中的有毒物质可能渗入供水系统，使当地居民患病。
碳排放 运行未经优化的云解决方案会导致不必要的碳排放和电力浪费，对气候造成危害。 你是否深入了解云工作负载和解决方案的优化程度？ 你的解决方案对气候有何影响，它是否因部署工作负载的区域而异？ 运行未针对云效率进行优化或正确设计的解决方案可能会对气候造成更严重的影响，造成不必要的碳排放和电力浪费。

社会和民主结构的侵蚀

操作

技术用于创建高度个性化和操纵性体验的能力可能会损害知情公民和社会结构的信任。

损害 说明 注意事项 示例
错误信息 将虚假信息伪装成合法或可信的信息。 此技术如何用于生成错误信息？ 它如何用于传播看起来可信的错误信息？ 政治领袖的合成演讲的生成动摇了选举。
行为利用 这意味着利用个人偏好或行为模式来诱发所需的反应。 此技术如何用于观察行为模式？ 此技术如何用于鼓励功能失调或适应不良的行为？ 在联网零售环境中监视购物习惯可形成针对冲动购物者和囤积者的个性化激励。

社会危害

技术影响人们的方式会大规模地塑造社区内的社会和经济结构。 它可以在排除其他人的情况下，进一步强化包括某些人或使某些人受益的因素。

损害 说明 注意事项 示例
放大了权力不平等 这可能会延续现有的阶级或特权差异。 在存在社会、经济或阶级差异的环境中，如何使用此技术？ 拥有更多权力或特权的人会如何不成比例地影响此技术？ 要求在就业网站上注册住宅地址和电话号码可能会阻止无家可归者申请工作。
刻板印象强化 这可能会延续有关历史上或统计上没有代表性的人的不知情的“传统智慧”。 此技术如何用于加强或放大现有的社会规范或文化刻板印象？ 此技术使用的数据如何导致它反映偏见或刻板印象？ 对“CEO”进行图像搜索的结果可能主要显示白人男性的照片。
丧失个性 这可能是无法表达独特的观点。 此技术如何放大多数意见或“群体思维”？ 相反，如何抑制独特的表达形式？ 此技术收集的数据可能以何种方式用于反馈给人们？ 在设计视频游戏头像时，有限的自定义选项会抑制玩家多样性的自我表达。
丧失表示形式 通用化的广泛类别会模糊、削弱或抹去真实身份。 此技术如何约束身份选项？ 它是否可以用于自动对人员进行标记或分类？ 自动照片标题会为使用者分配不正确的性别身份和年龄。
技能退化和自满 过度依赖自动化会导致手动技能的退化。 此技术可能会以何种方式降低使用手动控制的可及性和能力？ 过度依赖自动化可能导致无法度量飞机的真实方位，因为飞行员接受的是仅依赖仪器的训练。

评估损害

生成广泛的潜在损害列表后，应通过评估每种损害类别的潜在程度来完成损害模型。 这使你可以优先考虑重点领域。 请参阅以下示例损害模型以供参考：

促成因素 定义
Severity 技术对个人或群体福祉的影响有多么剧烈？
缩放 人口或群体所体验到的福祉影响有多广泛？
概率 技术影响个人或群体福祉的可能性有多大？
频率 个人或群体体验到技术对其福祉的影响的频率是多少？

后续步骤

使用你开发的损害模型来指导产品开发工作：

  • 从你确定为可能遭受损害的利益干系人处寻求更多信息。
  • 制定并验证假设，以解决确定为具有最高潜在损害的领域。
  • 在整个技术开发过程中将见解集成到决策中：数据收集和模型训练、系统体系结构、用户体验设计、产品文档、反馈循环以及技术的通信功能和限制。
  • 探索社区陪审团。
  • 使用 Azure 机器学习和开放源代码 FairLearn 包评估和缓解不公平性。

其他负责任的 AI 工具：

其他参考：