本文解答有关 Azure AI 视频索引器的常见问题。
Azure AI 视频索引器是 Azure AI 服务的一部分,可用于使用 Azure AI 视频索引器视频和音频模型从视频中提取见解。 有关详细信息,请参阅概述。
Azure AI 视频索引器可以对媒体文件执行的一些操作包括:
- 识别和提取语音,并识别发言人。
- 识别和提取视频中屏幕上的文本。
- 检测视频文件中的对象。
- 从音轨和视频中屏幕上的文本识别品牌(例如:Microsoft)。
- 从名人数据库和用户定义的人脸数据库中检测和识别人脸。
- 提取音频和视频内容中讨论的但不一定提及的主题。
- 基于音轨创建隐藏式字幕或副标题。
有关详细信息和更多 Azure AI 视频索引器功能,请参阅 概述。
Azure AI 视频索引器包含一个试用产品/服务,在使用 Azure AI 视频索引器 网站或 Azure AI 视频索引器 API 时提供 2,400 分钟的免费索引分钟(请参阅 开发人员门户)。
若要大规模为视频和音频苍蝇编制索引,可将 Azure AI 视频索引器连接到付费Microsoft Azure 订阅。 可在定价页上找到定价详细信息。
可在入门中找到更多详细信息。
可以使用基于 Web 的 Azure AI 视频索引器界面来评估、配置和管理帐户,而无需 编码。 准备好开发更复杂的应用程序时,可以使用 Azure AI 视频索引器 API 将 Azure AI 视频索引器集成到自己的应用程序、网站或自定义工作流中,使用无服务器技术(如 Azure 逻辑应用 或 Azure Functions)。
否,Azure AI 视频索引器提供将多个机器学习模型集成到一个管道中。 通过 Azure AI 视频索引器为视频或音频文件编制索引会检索在一个共享时间线上提取的完整见解集,而无需了解客户需要的任何机器学习技能或算法知识。
Azure AI 视频索引器支持最常见的媒体格式。 请参阅 Azure AI 视频索引器支持矩阵和服务限制。
在 Azure AI 视频索引器基于 Web 的门户中,可以使用文件上传对话框或指向直接托管源文件的 URL 上传媒体文件。 使用 iFrame 或嵌入代码托管媒体内容的任何 URL 不起作用(参阅示例)。
是的。 若要从视频索引器访问原始视频文件,可以使用“获取视频源文件下载 URL”方法获取 MP4 文件 URL 并将其放入视频标记中。
在 Azure AI 视频索引器中,可以创建一个项目,并添加多个文件来缝合并呈现为新文件。 源文件的数量在网站中设置为 10,在 API 中设置为 100。
使用 Azure AI 视频索引器 API 和基于 Azure AI 视频索引器 Web 的界面为视频或音频文件编制索引所需的时间取决于多个参数,例如文件长度和质量、文件中发现的见解数等。 我们建议使用自己的内容运行多个测试文件,并根据平均数获取更好的想法。
是的,可以将 Azure AI 视频索引器集成到无服务器技术(如逻辑应用、Flow 和 Azure Functions) 中。 可在此处找到有关 Azure AI 视频索引器的逻辑应用和流连接器的更多详细信息。 可以在 Azure AI 视频索引器示例存储库中查看合作伙伴完成的一些自动化项目。
可以在区域页上查看 Azure AI 视频索引器可用的 Azure 区域 。
是的。 在 Azure AI 视频索引器中,可以自定义一些可用模型,以更好地满足需求。
例如,我们的“人员”模型支持对现成的一百万张人脸进行名人识别,但你可以对它进行训练,使它识别不在该数据库中的其他人脸。
是的。 按库界面上的“编辑视频”按钮或播放机界面上的“在编辑器中打开”按钮,可转到“项目”选项卡 。你可以创建一个新项目,并添加更多自己库中的视频以一起编辑它们,完成后即可呈现并下载视频。
如果想要获取有关新视频的见解,请使用 Azure AI 视频索引器对其进行索引,并在库中显示其见解。
如果有多个音频流,Azure AI 视频索引器将采用它遇到的第一个音频流,并且只会处理此流。 在任何音频流中,Azure AI 视频索引器进程采用不同的通道(如果存在),并将它们一起处理为单声道。 对于流/通道操作,你可以先对文件使用 ffmpeg 命令,再对它编制索引。
有关如何切换到正确域的详细说明,请参阅在租户之间切换。
在已启用 Arc 的 Kubernetes 容器中运行的应用程序,可在 Azure 外部部署,以从媒体文件中提取和使用音频见解。 将来的版本也会提供视频见解。
Azure Arc 是一个扩展 Azure 平台的桥梁,可帮助构建应用程序和服务,并灵活地在数据中心、边缘和多云环境中运行。 使用一致的开发、操作和安全模型开发云原生应用程序。
可以使用 Azure Arc Jumpstart 遵循 快速入门 并体验已启用 Azure Arc 的 Kubernetes 自动化方案。
在安装扩展期间,机器学习容器将下载到边缘计算。 其中一些容器的大小可能为几千兆字节,下载时间将取决于网络条件。 在某些情况下,下载可能需要超过 15 分钟。
Arc 启用的视频索引器需要配置有 readwritemany 的存储类。 如果在安装过程中已将存储类设置为群集的默认值,则将使用它。 否则,如果需要配置不同的存储,可以在扩展安装过程中将其作为属性传递。
是的。 视频索引器扩展的 API 通过前端扩展提供。 可以限制对 IP 地址或 FQDN 的访问。 此外,由于所有通信都是通过安全流量协议完成的,因此建议使用有效的 CA 证书,并设置安全层(如 NSG 或防火墙),以限制对此终结点的访问。
客户端应用程序与 Azure AI 视频索引器帐户之间的通信使用传输层安全性(TLS)进行加密。 TLS 是一种标准的加密协议,可确保通过 Internet 进行通信的客户端与服务之间的隐私和数据完整性。 有关 TLS 的详细信息,请参阅传输层安全性。 视频索引器强制实施最低 TLS v1.2。 客户无法控制密码套件,我们将选择客户端和服务器之间的第一个匹配项,从强到弱。
是的,除非使用 Azure AI 视频索引器网站或 API 从 Azure AI 视频索引器中删除文件,否则视频和音频文件将存储。 对于试用版,索引的视频和音频文件存储在美国东部这一 Azure 区域。 否则,视频和音频文件将存储在 Azure 订阅的存储帐户中。
默认情况下,数据将复制到在其中部署 Azure AI 视频索引器实例的配对区域。 对于有数据驻留要求的区域,你的数据始终会保存在同一区域内。 有关更多相关信息,请查看本部分中的其他隐私问题。
可以,始终可以删除视频和音频文件以及 Azure AI 视频索引器从中提取的任何元数据和见解。 从 Azure AI 视频索引器中删除文件后,该文件及其元数据和见解将从 Azure AI 视频索引器中永久删除。 但是,如果你在 Azure 存储中实施了自己的备份解决方案,则该文件将保留在 Azure 存储中。
是的,只有帐户管理员可以邀请和取消邀请某人加入其帐户,以及分配编辑特权和只读访问权限。
获得该视频或音频内容及其见解的链接的任何人都可以访问将隐私设置设为公开的视频或音频内容。 只有受邀加入视频或音频内容帐户的用户才能访问将隐私设置设为私密的视频或音频内容。 内容的隐私设置也适用于 Azure AI 视频索引器提取的元数据和见解。 可以在上传视频或音频文件时指定隐私设置。 也可以在编制索引后更改隐私设置。
根据 Azure Online Services 条款(OST),你完全拥有自己的内容,Microsoft将仅访问 Azure AI 视频索引器根据 OST 和 Microsoft 隐私声明从内容中提取的元数据和见解。
是的,除非在 Azure 订阅中手动配置使用多个 Azure 区域,否则系统会将内容及其见解保留在 Azure 区域(新加坡和巴西南部区域除外)。
由于 BCDR 原因,区域中的客户数据会复制到配对区域。
Microsoft隐私声明涵盖 Azure AI 视频索引器。 隐私声明解释了 Microsoft 处理的个人数据、Microsoft 的处理方式,以及 Microsoft 出于哪些目的处理个人数据。 若要详细了解隐私保护,请访问 Microsoft 信任中心。
Azure AI 视频索引器目前具有 SOC 认证。 若要查看 Azure AI 视频索引器的认证,请参阅 Microsoft信任中心。
将视频上传到 Azure AI 视频索引器时,可以从两个隐私设置中进行选择:专用和公用。 公用视频可供任何人访问,包括匿名用户和身份不明的用户。 专用视频则只供帐户成员访问。
将视频上传到 Azure AI 视频索引器时,自动内容分析由算法和模型完成,以确保不会公开显示不适当的内容。 如果视频确实可能含有不当的内容,则无法将其设置为公用视频。 不过,帐户成员仍然可以将其作为专用视频来访问(查看视频,下载见解和提取的非自然信号,以及执行其他账户成员可执行的操作)。
警告
出于生产目的,不建议直接使用工件文件夹中的数据。 工件是索引过程的中间输出。 它们本质上是分析视频的各种 AI 引擎的原始输出;工件架构可能会随时间而更改。
为了将视频设置为供公共访问,可以执行以下操作之一:
构建自己的接口层(例如应用或网站),并使用它与 Azure AI 视频索引器服务交互。 这样,视频在我们的网站中依然是专用的,而你的用户可以通过你的界面与之交互。 例如,你仍可以获得见解或允许在你自己的界面中观看视频。
请求对内容进行人工评审,这将导致删除限制(假定内容并未有不当之处)。
如果用户直接使用 Azure AI 视频索引器网站作为界面层,以及公共(未经身份验证)查看,则可以探索此选项。
Azure AI 视频索引器的 API 允许索引、提取元数据、资产管理、翻译、嵌入、自定义模型等。 若要查找有关使用 Azure AI 视频索引器 API 的更多详细信息,请参阅 Azure AI 视频索引器开发人员门户。
目前不提供客户端 SDK。 Azure AI 视频索引器团队正在研究 SDK,并计划尽快交付这些 SDK。
Azure AI 视频索引器 API 包含授权 API 和操作 API。 授权 API 包含提供访问令牌的调用。 对操作 API 的每个调用应该与匹配调用授权范围的访问令牌相关联。
出于安全目的,需要使用 Azure AI 视频索引器 API 访问令牌。 这可确保任何调用都来自你或拥有帐户访问权限的用户。
- 帐户级别 – 使用帐户级访问令牌可在帐户级别或视频级别执行操作。 例如,上传视频、列出所有视频、获取视频见解。
- 用户级别 - 使用用户级访问令牌可在用户级别执行操作。 例如,获取关联的帐户。
- 视频级别 – 使用视频级访问令牌可对特定的视频执行操作。 例如,获取视频见解、下载隐藏式字幕、获取小组件,等等。
访问令牌每隔一小时会过期,因此需要每隔一小时生成一次新的访问令牌。
请参阅有关登录信息的发行说明。
使用标识提供者注册电子邮件帐户后,不能将此电子邮件帐户用于其他标识提供者。
它们由 Azure AI 视频索引器服务存储,可以使用“获取视频索引”和“获取视频项目下载 URL API”提取。
Azure AI 视频索引器没有额外的费用用于调用 API。
每分钟 120 个请求是标准的,但每分钟最多可以发出 600 个请求。
Azure AI 视频索引器根据索引的内容输入持续时间使用简单的即用即付定价模型。 可能对编码、流式处理、存储、网络使用情况和编码预留单位收取额外费用。 有关详细信息,请参阅定价页。
发送要编制索引的视频时,用户将定义索引是视频分析、音频分析还是二者皆有。 这会确定将向哪一个 SKU 收费。 如果在处理过程中出现关键级错误,系统会将错误代码作为响应返回。 在这种情况下,不计费。 关键错误可能是由代码中的 bug 或服务拥有的内部依赖项中的严重故障造成的。 系统并不将错误的身份验证或见解提取等错误视为关键错误,对它们返回一个响应。 对于任何返回了有效(非错误代码)响应的情况,都将计费。
是的,Azure AI 视频索引器提供了一个试用帐户,该帐户在使用 Azure AI 视频索引器网站或 Azure AI 视频索引器 API 时提供 2,400 分钟的免费索引分钟(请参阅 开发人员门户)。
向“视频索引器客户支持” visupport@microsoft.com发送请求的详细说明。 包括:你引用的 AI 模型、想要选择退出的结果、我们应该选择退出结果的原因,以及你为何要询问这一点的说明。
处理请求可能需要几周时间。