启用被观察者的特色服装

使用 Azure AI 视频索引器高级视频设置为视频编制索引时,可以查看被观察者的特色服装。 该洞察标识出视频中的一些时刻,在这些时刻关键人员被突出显示并清晰地展示。 它们包括人员坐标、时间戳和拍摄帧。 此见解允许高质量的视频内上下文广告。 例如,将相关服装广告与视频中观看的特定时间匹配起来。

本文讨论如何查看特色服装见解,以及如何对特色服装图像进行排名。

查看简介视频

可以观看以下短视频,了解如何查看和使用特色服装见解。

通过选择“高级选项”->“高级视频”或“高级视频 + 音频”预设(在“视频 + 音频索引”下),可在编制文件索引时使用特色服装见解。 标准索引不包括此见解。

屏幕截图显示了特色服装的索引视频选项。

特色服装图像根据以下一些因素进行排名:视频的关键时刻、人员出现持续时间、基于文本的情感和音频事件。 见解将对每个场景中的最高排名帧进行私有化处理,从而使能够根据视频中的每个场景生成情境化广告。 JSON 文件按视频中的场景序列进行排名,因此每个场景都有最高分级的帧。

注意

特色服装见解只能从项目文件查看,并且见解不在 Azure AI 视频索引器网站中。

  1. 在右上角,选择下载项目 zip 文件:“下载” ->“项目 (ZIP)”
  2. 打开 featuredclothing.zip

该 .zip 文件包含两个对象:

  • featuredclothing.map.json - 该文件包含每个特色衣服的实例,具有以下属性:

    • id – 排名索引("id": 1 是最重要的衣服)。
    • confidence – 特色衣服的分数。
    • frameIndex – 衣服的最佳帧。
    • timestamp – 对应于 frameIndex。
    • opBoundingBox – 人员的边界框。
    • faceBoundingBox – 人脸的边界框(如果检测到)。
    • fileName – 衣服的最佳帧的保存位置。
    • sceneID - 场景出现的场合。

    "sceneID": 1 特色服装示例。

    "instances": [
      	{
        		"confidence": 0.07,
    			"faceBoundingBox": {},
    			"fileName": "frame_100.jpg",
        		"frameIndex": 100,
        		"opBoundingBox": {
            			"x": 0.09062,
            			"y": 0.4,
    				"width": 0.11302,
            			"height": 0.59722
    				},
       			 "timestamp": "0:00:04",
        		"personName": "Observed Person #1",
        		"sceneId": 1
      	}
    
  • featuredclothing.frames.map – 此文件夹包含展示特色衣服的最佳帧图像,与 fileName 中每个实例的 featuredclothing.map.json 属性相对应。

限制和假设

请务必注意特色服装的限制,以避免或缓解低品质或低相关性图像的误检测的影响。 

  • 特色服装的先决条件是,可以在观测到的人员见解中找到穿该服装的人员。
  • 如果未检测到身穿特色服装的人员的脸,结果将不包括人脸边界框。
  • 如果视频中的人员穿了多件服装,算法会选择其最佳服装作为单个特色衣服图像。
  • 使用姿势后,跟踪经过优化,可处理最常出现在前面的人。
  • 当人员重叠时,可能会发生错误的检测。
  • 包含模糊人员的帧更容易产生低质量的结果。

有关详细信息,请参阅被观察人员的局限性