获取人脸检测洞察

2025-06-05

本文介绍如何获取 Azure AI 视频索引器人脸检测见解。人脸检测可在媒体文件中查找人脸，并对类似的人脸进行分组。系统生成一个 JSON 文件，其中包括按类别划分的人脸检测见解列表。每个条目都包含一个缩略图和人脸的名称或ID。在 Web 门户中，选择人脸缩略图时，可以看到人员姓名（如果已识别）等详细信息、显示该人的视频的百分比，以及该人的传记（如果他们是名人）。可以滚动浏览视频中人物出现的片段。

名人识别模型

名人识别模型涵盖大约 100 万张人脸，并基于通常请求的数据源。视频索引器无法识别为名人的人脸被检测到，但未透露姓名。可以构建自己的自定义人员模型来训练视频索引器，以识别默认情况下无法识别的人脸。

重要

为了支持Microsoft负责任的 AI 原则，访问人脸识别、自定义和名人识别功能受到限制，并基于资格和使用标准。 Microsoft托管客户和合作伙伴可以使用人脸识别、自定义和名人识别功能。若要申请访问，请使用人脸识别登记表。

人脸检测用例

以下列表描述了人脸检测的常见用例示例：

总结演员在电影中出现的位置，或者通过深入搜索组织档案中的特定人脸来重用镜头，以获取有关特定名人的见解。
在新闻机构或体育机构撰写专题报道时，效率更高。示例包括深入搜索组织档案中的名人或足球运动员。
可以使用视频中显示的人脸来创建促销、预告片或精彩片段。视频索引器可以通过添加关键帧、场景标记、时间戳和标记来帮助使内容编辑器花费更少的时间查看大量文件。

关键术语

术语	定义
人脸识别	分析图像以识别图像中显示的人脸。此过程通过 Azure AI 人脸 API 实现。
注册	注册个人图像以创建模板的过程，以便识别他们。当某人注册到用于身份验证的验证系统时，其模板也与主要标识符相关联。该标识符用于确定要与探测模板进行比较的模板。高质量的图像以及能够展示人员外观自然变化的图像（例如戴眼镜和不戴眼镜）能够生成高质量的注册模板。
模板	注册的人的图像将转换为模板，然后用于面部识别。计算机可解释的功能是从一个或多个单个图像中提取的，以创建该个人的模板。人脸 API 不存储注册或探测图像。无法基于模板重新构造原始图像。模板质量是结果准确性的关键决定因素。

使用 Web 门户查看见解 JSON

上传视频并编制索引后，请从 Web 门户下载 JSON 格式的见解。

选择“ 库 ”选项卡。
选择所需的媒体。
选择“下载”，然后选择“见解”（JSON）。 JSON 文件将在新的浏览器选项卡中打开。
查找示例响应中所述的密钥对。

使用 API

使用 “获取视频索引” 请求。通过 &includeSummarizedInsights=false。
查找示例响应中所述的密钥对。

重要

在 UI 中查看人脸检测时，可能不会看到视频中显示的所有人脸。我们仅披露置信度超过 0.5 的人脸组，并且人脸必须至少可见4秒或显示时间至少占video_duration值的10%。仅当满足这些条件时，我们才会在 UI 和 Insights.json 文件中显示人脸。始终可以使用 API 从人脸文件中检索所有人脸实例：https://api.videoindexer.ai/{location}/Accounts/{accountId}/Videos/{videoId}/ArtifactUrl[?Faces][&accessToken]。

示例响应

    "faces": [
        {
        "id": 1785,
        "name": "Emily Tran",
        "confidence": 0.7855,
        "description": null,
        "thumbnailId": "fd2720f7-b029-4e01-af44-3baf4720c531",
        "knownPersonId": "92b25b4c-944f-4063-8ad4-f73492e42e6f",
        "title": null,
        "imageUrl": null,
        "thumbnails": [
            {
            "id": "4d182b8c-2adf-48a2-a352-785e9fcd1fcf",
            "fileName": "FaceInstanceThumbnail_4d182b8c-2adf-48a2-a352-785e9fcd1fcf.jpg",
            "instances": [
                {
                "adjustedStart": "0:00:00",
                "adjustedEnd": "0:00:00.033",
                "start": "0:00:00",
                "end": "0:00:00.033"
                }
            ]
            },
            {
            "id": "feff177b-dabf-4f03-acaf-3e5052c8be57",
            "fileName": "FaceInstanceThumbnail_feff177b-dabf-4f03-acaf-3e5052c8be57.jpg",
            "instances": [
                {
                "adjustedStart": "0:00:05",
                "adjustedEnd": "0:00:05.033",
                "start": "0:00:05",
                "end": "0:00:05.033"
                }
            ]
            },
        ]
        }
    ]

重要

阅读所有 VI 功能的透明度说明概述。每个见解也有其自己的透明度说明。

人脸检测笔记

人脸检测是许多行业中的一种工具，只有在负责任且谨慎使用时才有效。若要尊重他人的隐私和安全，并遵守本地和全球法规，建议遵循以下使用准则：

仔细考虑结果的准确性。为了促进更准确的检测，请检查视频的质量。低质量视频可能会影响显示的见解。
如果将人脸检测用于执法，请仔细查看结果。如果人们很小、坐着、蹲下或被物体或其他人遮挡，则人们可能不会被检测到。为了确保公平和高质量的决策，将基于人脸检测的自动化与人工监督相结合。
不要对可能具有严重、不利影响的决策使用人脸检测。基于错误输出的决策可能会产生严重、不利影响。建议对可能对个人产生严重影响的决定进行人工审查。

人脸检测组件

下表介绍了在人脸检测过程中如何处理媒体文件中的图像：

组件	定义
源文件	用户上传源文件进行索引。
检测和聚合	人脸检测器标识每个帧中的人脸。然后，人脸会被聚合并分组。
识别	名人模型处理聚合组以识别名人。如果创建了自己的人物模型，它还会处理组以识别其他人。如果无法识别人员，则标记为 Unknown1、Unknown2 等。
置信度值	如果适用于已知人脸或可自定义列表中标识的人脸，则每个标签的估计置信度计算为 0 到 1 的范围。置信度分数表示结果准确性的确定性。例如，82% 的确定性表示为 0.82 分数。

代码示例

查看所有 VI 示例