通过

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

快速入门：在 Azure 门户中使用“搜索资源管理器”进行图像搜索

  • 项目

重要

稳定 API 版本支持图像矢量，但向导和矢量器在补充使用条款下处于公共预览状态。 默认情况下，向导以 2024-05-01-Preview REST API 为目标。

在 Azure 门户中使用“导入和矢量化数据”向导开始使用图像搜索，并使用“搜索资源管理器”运行基于图像的查询。

需要三个 Azure 资源和一些示例图像文件才能完成本演练：

  • 用于将图像文件存储为 Blob 的 Azure 存储
  • Azure AI 服务多服务帐户，用于图像矢量化和光学字符识别 (OCR)
  • 用于编制索引和查询的 Azure AI 搜索

示例数据由 azure-search-sample-data 存储库中的图像文件组成，但你可以使用不同的图像并仍按本演练操作。

先决条件

  • Azure 订阅。 免费创建一个。

  • Azure AI 服务，这是一个多服务帐户，位于提供 Azure AI 视觉多模式嵌入的区域。

    目前，这些区域包括：SwedenCentral、EastUS、NorthEurope、WestEurope、WestUS、SoutheastAsia、KoreaCentral、FranceCentral、AustraliaEast、WestUS2、SwitzerlandNorth、JapanEast。 查看文档，获取更新列表。

  • Azure AI 搜索，可位于任何层，但与 Azure AI 服务位于同一区域。

    服务层确定了可以编制索引的 Blob 数。 我们使用了免费层来创建本演练，并将内容限制为 10 个 JPG 文件。

  • Azure 存储，标准性能（常规用途 v2）帐户。 访问层可以是热访问层、冷访问层和寒访问层。

上述所有资源必须启用公共访问权限，以便门户节点可以访问它们。 否则，向导将失败。 运行向导后，可以对不同的集成组件启用防火墙和专用终结点来实现安全性。

如果专用终结点已存在且无法禁用，则另一种选择是在与专用终结点相同的虚拟网络中的虚拟机中从脚本或程序运行相应的端到端流。 下面是用于集成矢量化的 Python 代码示例。 可在相同的 GitHub 存储库中找到使用其他编程语言的示例。

免费搜索服务支持对与 Azure AI 搜索的连接进行基于角色的访问控制，但它不支持与 Azure 存储或 Azure AI 视觉的出站连接上的托管标识。 这意味着必须在与其他 Azure 服务的免费搜索服务连接上使用基于密钥的身份验证。 要建立更安全的连接，请使用基本层或更高版本，并配置托管标识和角色分配，以允许来自其他 Azure 服务上 Azure AI 搜索的请求。

检查空间

如果开始使用免费服务，则只能使用三个索引、三个数据源、三个技能集和三个索引器。 在开始之前，请确保有空间存储额外的项目。 本快速入门将为每个对象创建一个。

准备示例数据

  1. 将 unsplash 签名图像文件夹下载到本地文件夹，或查找自己的一些图像。 在免费搜索服务中，保留不到 20 个图像文件，以使其低于扩充处理的免费配额。

  2. 使用你的 Azure 帐户登录到 Azure 门户，并转到 Azure 存储帐户。

  3. 在导航窗格中的“数据存储”下，选择“容器”。

  4. 创建新的容器，然后上传图像。

启动向导

如果搜索服务和 Azure AI 服务位于同一受支持区域和租户中，并且 Azure 存储 Blob 容器使用的是默认配置，则可以启动向导。

  1. 使用 Azure 帐户登录到 Azure 门户，然后转到 Azure AI 搜索服务。

  2. 在“概述”页上，选择“导入和矢量化数据”。

    向导命令的屏幕截图。

连接到数据库

下一步是连接到提供图像的数据源。

  1. 在“连接到数据”选项卡上，选择“Azure Blob 存储”。

  2. 指定 Azure 订阅。

  3. 对于 Azure 存储，请选择提供数据的帐户和容器。 对其余字段使用默认值。

    向导中“连接到数据”页面的屏幕截图。

  4. 选择下一步。

矢量化文本

如果原始内容包括文本，或者技能集生成文本，则向导将调用文本嵌入模型来生成该内容的矢量。 在本练习中，将从下一步中添加的光学字符识别 (OCR) 技能生成文本。

Azure AI 视觉提供文本嵌入，因此我们将使用该资源进行文本矢量化。

  1. 在“矢量化文本”页上，选择“AI 视觉矢量化”。 如果无法选择，请确保 Azure AI 搜索和 Azure AI 多服务帐户一起位于支持 AI 视觉多模式 API 的区域。

    向导中“矢量化文本”页的屏幕截图。

  2. 选择下一步。

矢量化并扩充图像

使用 Azure AI 视觉生成图像文件的矢量表示形式。

在此步骤中，还可以应用 AI 从图像中提取文本。 该向导使用 Azure AI 服务中的 OCR 识别图像文件中的文本。

将 OCR 添加到工作流时，索引中会显示另外两个输出：

  • 首先，使用图像中找到的任何文本的 OCR 生成的字符串填充“区块”字段。
  • 其次，使用表示“区块”字符串的嵌入填充“text_vector”字段。

如果要使用操作字符串的相关性功能（如语义排名和评分配置文件），则在“区块”字段中包含纯文本将会非常有用。

  1. 在“矢量化图像”页上，选择“矢量化图像”复选框，然后选择“AI 视觉矢量化”。

  2. 选择“将所选同一 AI 服务用于文本矢量化”。

  3. 在扩充部分中，选择“从图像中提取文本”。

  4. 选择“将所选同一 AI 服务用于图像矢量化”。

    向导中“矢量化图像”页的屏幕截图。

  5. 选择下一步。

高级设置

  1. 为索引器指定运行时计划。 建议在此练习中使用“一次”，但对于基础数据不稳定的数据源，可以计划索引来选取更改。

    向导中“高级设置”页的屏幕截图。

  2. 选择下一步。

运行向导

  1. 在“查看和创建”上，为向导运行时创建的对象指定前缀。 向导将创建多个对象。 通用的前缀有助于保持有序。

    向导中“查看和创建”页的屏幕截图。

  2. 选择“创建”以运行向导。 此步骤创建以下对象：

    • 一个驱动索引管道的索引器。

    • 一个与 Blob 存储的数据源连接。

    • 一个包含矢量字段、文本字段、矢量器、矢量配置文件、矢量算法的索引。 无法在向导工作流期间修改默认索引。 索引遵循 2024-05-01-preview REST API。

    • 一个具有以下五种技能的技能集：

检查结果

搜索资源管理器接受文本、矢量和图像作为查询输入。 可将图像拖动或选择到搜索区域。 搜索资源管理器将图像矢量化，并将矢量作为查询输入发送到搜索引擎。 图像矢量化假定索引具有矢量器定义，它导入并矢量化根据嵌入模型输入创建的数据。

  1. 在 Azure 门户的“搜索管理”和“索引”下，选择创建的索引。 嵌入的“搜索资源管理器”是第一个选项卡。

  2. 在“视图”下，选择“图像视图”。

    包含图像视图的查询选项按钮的屏幕截图。

  3. 从包含示例图像文件的本地文件夹中拖动图像。 或打开文件浏览器以选择本地图像文件。

  4. 选择“搜索”以运行查询

    搜索结果的屏幕截图。

    最匹配的应是搜索的图像。 由于矢量搜索会匹配类似的矢量，因此搜索引擎将返回任何与查询输入足够相似的文档，最多 k 个结果。 可以切换到 JSON 视图，以进行包含相关性优化的高级查询。

  5. 尝试其他查询选项来比较搜索结果：

    • 隐藏矢量以获取更多可读结果（推荐）。
    • 选择要查询的矢量字段。 默认值为文本矢量，但你可以指定图像矢量以从查询执行中排除文本矢量。

清理

此演示使用可计费的 Azure 资源。 如果不再需要该资源，请将其从订阅中删除，以避免产生费用。

后续步骤

本快速入门介绍了可创建图像搜索所需的所有对象的“导入和矢量化数据”向导。 若要详细探索每个步骤，请尝试使用一个集成矢量化示例。