你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

命名实体识别(包括个人身份信息 (PII))的透明度说明

重要

仅为方便起见,提供非英语翻译。 查看此文档的版本,以获取权威版本。

什么是透明度说明?

重要

本文假设你熟悉 Foundry Tools 中Azure语言的指南和最佳做法。 有关详细信息,请参阅 语言的透明度说明

AI 系统不仅包括技术,还包括将使用它的人员、将受其影响的人员及其部署环境。 创建适合其预期目的的系统需要了解技术的工作原理、其功能和限制,以及如何实现最佳性能。 Microsoft的透明度说明旨在帮助你了解 AI 技术的工作原理、系统所有者可以做出哪些影响系统性能和行为的选择,以及思考整个系统(包括技术、人员和环境)的重要性。 开发或部署自己的系统时,可以使用透明度说明,或与将使用或受系统影响的人员共享它们。

Microsoft的透明度说明是Microsoft将 AI 原则付诸实践的更广泛努力的一部分。 若要了解详细信息,请参阅Microsoft中负责任的 AI 原则。

命名实体识别和个人身份信息(PII)简介

语言支持 命名实体识别 来识别和分类文本中的信息。 其中包括常规实体,例如产品和事件,以及个人身份信息(PII)实体。 可以识别 各种个人实体 ,例如姓名、组织、地址、电话号码、 财务帐户或 代码 以及政府和国家或地区特定的标识号 。 这些个人实体的子集是受保护的健康信息(PHI)。 如果在请求中指定 domain=phi,则只会返回 PHI 实体。 可在 此处的表中找到 PII 和 PHI 实体类别的完整列表。 此外,PII 识别还支持在响应中指定所需的特定实体类别,并在响应中编辑 PII 实体。 PII 实体将在响应的 redactedText 属性中替换为星号。

阅读示例 NER 请求和示例响应 ,了解如何将文本发送到服务以及需要返回的内容。

示例用例

客户可能想要识别各种类别的命名实体两个主要原因:

  • 增强搜索功能 - 客户可以根据文档中检测到的实体生成知识图,以增强文档搜索。
  • 增强或自动执行业务流程 - 例如,在查看保险索赔时,可以突出显示已识别的实体(如姓名和位置)来促进评审。 或者,可以通过电子邮件自动生成包含客户姓名和公司信息的支持票证。

客户可能需要专门识别各种类别的 PII 实体,原因如下:

  • 应用敏感度标签 - 例如,根据 PII 服务的结果,公共敏感度标签可能应用于未检测到 PII 实体的文档。 对于识别美国地址和电话号码的文档,可能会应用机密标签。 可以为识别出银行路由号码的文档使用高度机密的标签。
  • 从文档中修订某些类别的个人信息以保护隐私 - 例如,如果客户联系人记录可供第一线支持代表访问,公司可能希望从客户历史记录中修订不必要的客户个人信息,以保留客户的隐私。
  • 修订个人信息以减少无意识偏见 - 例如,在公司的简历审查过程中,他们可能想要阻止姓名、地址和电话号码,以帮助减少无意识性别或其他偏见。
  • 替换机器学习源数据中的个人信息以减少不公平性 - 例如,如果要删除在训练机器学习模型时可能显示性别的名称,则可以使用服务来识别它们,并将它们替换为用于模型训练的通用占位符。

选择用例时的注意事项

请勿使用

  • 仅限用于个人可识别信息 - 不可用于自动信息修订或分类方案 - 任何未能遮蔽个人信息,从而使人面临身份盗窃及人身或心理伤害风险的情况,均须在仔细的人为监督下进行。
  • NER 和 PII - 不得用于将个人信息用于未获得同意的目的 - 例如,公司拥有过去求职者的简历。 申请人在提交简历时没有同意被联系以参加促销活动。 根据此方案,NER 和 PII 服务不应用于识别联系信息,以便邀请过去的申请人参加贸易展。
  • NER 和 PII - 客户不得使用此服务从公开提供的内容中获取个人信息,但未经个人信息主体的同意。
  • NER 和 PII - 请勿用于以文本形式替换个人信息以误导他人的情况。

法律和法规注意事项:组织在使用任何 Foundry 工具和解决方案时需要评估潜在的特定法律和监管义务,这些义务可能不适合在每个行业或方案中使用。 此外,Foundry 工具或解决方案并非设计用于适用服务条款和相关行为准则所禁止的用途。

特征和限制

根据您的场景、输入数据和要提取的实体,您可能会体验到不同水平的性能表现。 以下部分旨在帮助你了解有关性能的关键概念,因为它们适用于使用语言 NER 和 PII 服务。

了解和衡量 NER 的性能

由于可能发生误报和漏报错误,因此必须了解这两种类型的错误如何影响您的整体系统。 使用命名实体识别 (NER) 时,如果实体不存在于文本中,但被系统识别并返回,则会出现假正。 假负是当实体存在于文本中,但系统无法识别和返回。

了解 PII 的性能

例如,在编修方案中,假负例可能导致个人信息泄露。 对于修订场景,请考虑通过人工评审过程来处理此类错误。 对于敏感度标签的情境,误报和漏报都可能导致文档被错误分类。 对于误报发生的标记为机密的文档,受众可能会受到不必要的限制。 在出现假阴性并应用公共标签时,PII 可能会被泄露。

可以调整系统使用的置信度分数阈值,以微调系统。 如果确定 PII 的所有潜在实例更为重要,则可以使用较低的阈值。 这意味着你获得假正例(非 PII 数据被识别为 PII 实体)可能更多,但假负例(PII 实体未被识别为 PII)可能更少。 如果系统仅识别真正的 PII 数据更为重要,则可以使用更高的阈值。 PII 实体的各个类别中,阈值的行为可能不一致。 因此,使用将在生产环境中处理的实际数据对系统进行测试至关重要。

提高性能的系统限制和最佳做法

  • 请确保了解系统可识别的 NERPII 的所有实体类别。 根据你的方案,你的数据可能包含可能被视为个人但不受服务当前支持的类别涵盖的其他信息。

  • 上下文对于系统正确识别所有实体类别非常重要,因为通常由人类识别实体。 例如,没有上下文的十位数字只是一个数字。 然而,鉴于上下文,如“你可以在我的办公室电话号码2345678901联系我”,系统和人类都可以将十位数号码识别为电话号码。 始终在向系统发送文本时包含上下文,以确保获得最佳性能。

  • 特别是人员姓名需要语言上下文。 尽可能多地发送上下文,以便更好地检测人员姓名。

  • 对于对话数据,请考虑在对话中发送多轮内容,以确保实际实体中包含所需上下文的可能性更高。
    在以下对话中,如果一次发送单行数据,则护照号码将没有任何与之关联的上下文,并且无法识别欧盟护照号码 PII 类别。

    你好,我今天怎么能帮你?
    我想续订护照
    当然,你的当前护照号码是什么?
    这个数字是123456789,谢谢。

    但是,如果发送整个对话,则会识别它,因为包含上下文。

  • 有时可以识别同一实体的多个实体类别。 如果采用前面的示例:

    你好,我今天怎么能帮你?
    我想续订护照
    当然,你的当前护照号码是什么?
    这个数字是123456789,谢谢。

    几个不同的国家/地区护照号码的格式相同,因此可以识别多个不同的特定实体类别。 在某些情况下,使用最高置信度分数可能不足以选择正确的实体类。 如果您的方案依赖于识别特定的实体类别,则可能需要通过人工评审或额外的验证代码在系统其他部分消除结果的歧义。 全面测试真实数据可帮助你确定你的场景是否可能识别多个实体类别。

  • 并非所有实体类别在所有语言中都支持 NER 和 PII。 请务必查看实体类型一文,了解你想要检测的语言的实体。

  • 支持许多国际 PII 实体。 默认情况下,返回的实体类别是与 API 调用发送的语言代码匹配的类别。 如果预期实体并非来自指定的区域设置,则需要使用 piiCategories 参数指定它们。 详细了解如何指定响应将包含在 Azure AI Foundry REST API 参考中的内容。 详细了解每个区域设置支持的类别,请参阅命名实体类型的文档

  • 在 PII 修订方案中,如果使用包含可选参数 piiCategories的 API 版本,请务必考虑文本中可能存在的所有 PII 类别。 如果只对特定实体类别或特定区域设置的默认实体类别进行修订,则会泄露文本中意外显示的其他 PII 实体类别。 例如,如果已发送 EN-US 区域设置,但未指定任何可选 PII 类别,并且文本中存在德语驾驶执照号码,则会泄露该号码。 若要防止出现这种情况,需要在参数中 piiCategories 指定德国驾照号码类别。 此外,如果你已使用 piiCategories 参数为指定区域设置指定一个或多个类别,请注意只有这些类别会被编辑。 例如,如果您已设置 EN-US 区域设置,并已将美国社会保障号码(SSN)指定为 PII 类别进行编辑以隐藏,那么输入文本中出现的任何其他 EN-US 类别(如美国驾照号码或美国护照号码)可能会被泄露。

  • 由于 PII 服务返回与调用中的语言代码匹配的 PII 类别,因此,如果不确定输入文本的语言或区域设置,请考虑验证输入文本所使用的语言。 可以使用 语言检测 功能执行此操作。

  • PII 服务仅将文本作为输入。 如果要以其他格式对文档中的信息进行修订,请确保仔细测试修订代码,以确保未意外泄露标识的实体。

另请参阅