Azure AI 视频索引器通过与Microsoft 自定义语音服务集成支持自动语音识别。 可以通过上传适应文本来自定义语言模型。 此文本来自你希望引擎使用其词汇进行适应的领域。 训练模型后,将识别适应文本中显示的新单词,假设默认发音,语言模型会学习新的可能字词序列。 请参阅Azure AI视频索引器支持的语言列表中的支持语言。
例如, Kubernetes(在 Azure Kubernetes 服务的上下文中),是一个高度具体的单词。 由于该词是 Azure AI 视频索引器的新词,因此会被识别为 社区。 训练模型以将其识别为 Kubernetes。 在其他情况下,这些单词存在,但语言模型不希望它们出现在特定上下文中。 例如, 容器服务 不是非特定语言模型识别为特定字词集的双字序列。
可通过两种方法自定义语言模型:
- 选项 1:编辑 Azure AI 视频索引器生成的脚本。 通过编辑和更正脚本,你将训练语言模型,以在未来提供改进的结果。
- 选项 2:上传文本文件以训练语言模型。 该文件可以包含一个单词列表,就像希望它们显示在视频索引器脚本中一样。 或者,它可以包含句子和段落中自然包含的相关字词。 由于使用后一种方法获得更好的结果,我们建议上传文件包含与内容相关的完整句子或段落。
重要
请勿将当前错误转录(例如 社区)的字词或句子包含在上传文件中,因为这将否定预期的影响。 仅包括您希望显示的词语(例如 Kubernetes)。
优化自定义语言模型
Azure AI 视频索引器根据单词组合的概率学习,从而达到最佳学习效果:
- 提供生活中会这样用的真实句子示例,且数量需足够多。
- 每行只用一个句子,不要使用多个句子。 否则,系统会跨句子学习概率。
- 可以通过将一个词作为一个句子来突出该词相对于其他词,但是系统最好从完整的句子中学习。
- 引入新的字或首字母缩略词时,尽可能提供大量完整句子用例,从而为系统提供尽量多的上下文。
- 尝试使用数个适应选项,看看它们的效果。
- 避免多次重复一模一样的句子。 它可能会针对输入的其余部分产生偏差。
- 避免包括不常见的符号(~, # @ % &),因为它们会被丢弃。 它们出现的句子也会被丢弃。
- 避免输入过大(例如数十万个句子),因为这样做会削弱提升效果。
先决条件
- 一个 Azure 帐户
- Azure AI 视频索引器帐户
创建语言模型
- 转到 Azure AI 视频索引器 网站并登录。
- 若要自定义帐户中的模型,请选择页面左侧的“内容模型自定义”按钮。
- 选择“语言”选项卡。你将看到受支持的语言列表。
- 在所需语言下选择“添加模型”。
- 键入语言模型的名称并按 Enter。 此步骤可创建模型并提供将文本文件上传到模型的选项。
- 若要添加文本文件,请选择“添加文件”。 此时会打开文件资源管理器。
- 导航到文本文件并将其选中。 可以将多个文本文件添加到语言模型。 还可以通过选择 语言模型右侧的 ... 按钮并选择 “添加文件”来添加文本文件。
- 上传完文本文件以后,请选择绿色的“训练”选项。
训练过程可能需要数分钟。 训练完成后, 训练 将显示在模型旁边。 可以预览、下载和删除模型中的此文件。
在新视频上使用语言模型
若要在新视频上使用语言模型,请执行以下操作之一:
- 选择页面顶部的 “上传 ”。
- 放置音频或视频文件或者以浏览方式查找文件。
- 从 视频源语言 列表中选择创建的语言模型。
- 选择页面底部的 “上传 ”选项,并使用语言模型为新视频编制索引。
使用语言模型重新编制索引
- 登录到 Azure AI 视频索引器 主页。
- 选择视频上的省略号(...),然后选择 “重新索引”。
- 选择 视频源语言 列表,然后从列表中选择创建的语言模型。
- 选择 “重新索引” ,并使用语言模型重新编制视频索引。
编辑语言模型
可以通过更改语言模型的名称、向其添加文件以及从中删除文件来编辑语言模型。 如果从语言模型添加或删除文件,则必须通过选择绿色 的“训练 ”选项再次训练模型。
重命名语言模型
可以通过选择语言模型右侧的省略号(...)并选择 “重命名”来更改语言模型的名称。 输入新名称。
添加文件
- 选择“添加文件”。 此时会打开文件资源管理器。
- 导航到文本文件并将其选中。 可以将多个文本文件添加到语言模型。
还可以通过在语言模型右侧选择省略号(...)按钮并选择 “添加文件”来添加文本文件。
删除文件
此操作将完全从语言模型中删除文件。
- 选择文本文件右侧的省略号(...)按钮。
- 选择“删除”。 此时会弹出一个新窗口,指出删除操作无法撤消。
- 在新窗口中选择“删除”选项。
删除语言模型
此操作会完全从帐户中删除语言模型。 使用已删除语言模型的任何视频都保留相同的索引,直到重新编制视频索引。 如果重新编制视频索引,可以将新的语言模型分配给视频。 否则,Azure AI 视频索引器使用其默认模型重新编制视频索引。
- 选择语言模型右侧的省略号(...)按钮。
- 选择“删除”。 此时会弹出一个新窗口,指出删除操作无法撤消。
- 在新窗口中选择“删除”选项。
通过更正脚本来自定义语言模型
语言模型根据用户对其视频转录的实际修正进行定制,由 Azure AI 视频索引器完成。 它捕获你在视频听录中更正的所有行,并将其添加到名为 From transcript edits
的文本文件中。 这些编辑用于重新训练用于为视频编制索引的语言模型。
还包括在小组件的时间线中进行的编辑。
如果在为此视频编制索引时未指定语言模型,则此视频的所有编辑都将存储在检测到的视频语言中名为 Account adaptations
的默认语言模型中。
如果对同一行进行了多次编辑,则只使用更正行的最后一个版本来更新语言模型。
注意
仅使用文本更正进行自定义。 不包括不涉及实际字词的更正(例如,标点符号或空格)。
- 从库中选择要编辑的视频。
- 选择“时间线”选项卡。
- 选择铅笔图标以编辑听录的脚本。
- “内容模型自定义”页的“ 语言 ”选项卡中会显示脚本更正。 若要查看每个语言模型的“来自脚本编辑”文件,请将其选中并打开。