标签识别

项目
03/25/2024

重要

由于Azure 媒体服务停用公告，Azure AI 视频索引器会宣布 Azure AI 视频索引器功能调整。请参阅与 Azure 媒体服务（AMS）停用相关的更改，了解 Azure AI 视频索引器帐户的含义。请参阅 AMS 停用准备：VI 更新和迁移指南。

标签识别是一项 Azure AI 视频索引器 AI 功能，用于标识视觉对象，如太阳镜或游泳等操作，显示在媒体文件的视频片段中。有许多标签标识类别，提取后，标签标识实例会显示在“见解”选项卡中，并且可以翻译成 50 多种语言。单击标签将在媒体文件中打开实例，选择“播放上一个”或“播放下一步”以查看更多实例。

先决条件

查看透明度说明概述

一般原则

本文讨论标签标识以及负责任地使用此技术的关键注意事项。在决定如何使用和实现 AI 支持的功能时，需要考虑许多事项：

此功能在我的方案中是否表现良好？在将标签标识部署到方案中之前，请测试它如何使用实际数据执行，并确保它可以提供所需的准确性。
我们是否具备识别并应对错误的能力？ AI 提供支持的产品和功能不会准确 100%，因此请考虑如何识别和响应可能发生的任何错误。

查看见解

处理网站时，实例将显示在“见解”选项卡中。还可以在 JSON 文件中的分类列表中生成它们，其中包括标签 ID、类别、实例以及每个标签的特定开始和结束时间和置信度分数，如下所示：

若要在 JSON 文件中显示标签标识见解，请执行以下操作：

单击“下载”，然后单击“见解”（JSON）。

复制文本，将其粘贴到 JSON 查看器中。

"labels": [
    {
    "id": 1,
    "name": "human face",
    "language": "en-US",
    "instances": [
        {
        "confidence": 0.9987,
        "adjustedStart": "0:00:00",
        "adjustedEnd": "0:00:25.6",
        "start": "0:00:00",
        "end": "0:00:25.6"
        },
        {
        "confidence": 0.9989,
        "adjustedStart": "0:01:21.067",
        "adjustedEnd": "0:01:41.334",
        "start": "0:01:21.067",
        "end": "0:01:41.334"
        }
    ]
    },
    {
    "id": 2,
    "name": "person",
    "referenceId": "person",
    "language": "en-US",
    "instances": [
        {
        "confidence": 0.9959,
        "adjustedStart": "0:00:00",
        "adjustedEnd": "0:00:26.667",
        "start": "0:00:00",
        "end": "0:00:26.667"
        },
        {
        "confidence": 0.9974,
        "adjustedStart": "0:01:21.067",
        "adjustedEnd": "0:01:41.334",
        "start": "0:01:21.067",
        "end": "0:01:41.334"
        }
    ]
    },

若要通过 API 下载 JSON 文件， Azure AI 视频索引器开发人员门户。

标签组件

在标签过程中，处理媒体文件中的对象，如下所示：

组件	定义
Source	用户上传源文件进行索引。
标记	图像已标记并标记。例如，门、椅子、女人、耳机、牛仔裤。
筛选和聚合	标记根据其置信度进行筛选，并根据类别进行聚合。
可信度	每个标签的估计置信度计算为 0 到 1 的范围。置信度分数表示结果准确性的确定性。例如，82% 的确定性表示为 0.82 分数。

示例用例：

从框架中提取标签，以便进行上下文广告或品牌打造。例如，在海滩上放置一个啤酒广告。
创建视频的口头描述，以提高视觉障碍的可访问性，例如电影中的背景故事讲述者。
深入搜索媒体存档，以获取有关特定对象的见解，以便为新闻创建功能故事。
使用相关标签为预告片、突出显示卷轴、社交媒体或新剪辑创建内容。

选择用例时的注意事项

仔细考虑结果的准确性，促进更准确的检测，检查视频的质量，低质量的视频可能会影响检测到的见解。
在对执法部门使用标签时，请仔细考虑标签可能无法检测视频的某些部分。为了确保公平和高质量的决策，请将标签与人工监督相结合。
不要对可能具有严重不利影响的决策使用标签标识。机器学习模型可能会导致未检测到或分类输出不正确。基于错误输出的决策可能会产生严重的负面影响。此外，建议包括人工审查对可能对个人产生严重影响的决定。

谨慎使用时，Azure AI 视频索引器是许多行业的宝贵工具。为了尊重他人的隐私和安全，并遵守当地和全球法规，建议执行以下操作：

始终尊重个人的隐私权利，并且只出于合法和合理的目的引入视频。
不要故意披露有关年幼儿童或名人家庭成员或其他内容可能有害或对个人个人自由构成威胁的不当内容。
致力于在分析媒体的设计和部署中尊重和促进人权。
使用第三方材料时，在分发派生自它们的内容之前，请注意任何现有的版权或权限。
使用来自未知来源的内容时，请始终寻求法律建议。
始终获得适当的法律和专业建议，以确保上传的视频受到保护，并拥有足够的控制，以保持内容的完整性，并防止未经授权的访问。
提供反馈通道，使用户和个人能够报告服务问题。
请注意有关处理、分析和共享包含人员的媒体的任何适用的法律或法规。
使人处于循环中。不要将任何解决方案用作人工监督和决策的替代方法。
全面检查和查看用于了解其功能和限制的任何 AI 模型的潜力。