你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Azure OpenAI 企业聊天与图像使用 GPT-4 Turbo with Vision

项目
05/22/2024

重要

本文介绍的某些功能可能仅在预览版中提供。此预览版未提供服务级别协议，不建议将其用于生产工作负载。某些功能可能不受支持或者受限。有关详细信息，请参阅 Microsoft Azure 预览版补充使用条款。

借助本文了解如何为 GPT-4 Turbo with Vision（Azure OpenAI 的视觉模型）提供自己的图像数据。 GPT-4 Turbo with Vision 企业聊天允许模型使用基于自己的图像和图像元数据的检索扩充生成来生成更多自定义和针对性的案。

提示

本文介绍如何将图像数据用于 GPT-4 Turbo with Vision 模型。有关如何使用文本数据部署聊天 Web 应用的教程，请参阅部署企业聊天 Web 应用。

先决条件

Azure 订阅 - 免费创建订阅。
已在所需的 Azure 订阅中授予对 Azure OpenAI 的访问权限。目前，仅应用程序授予对此服务的访问权限。可以通过在 https://aka.ms/oai/access 上填写表单来申请对 Azure OpenAI 的访问权限。如果有任何问题，请在此存储库上提出问题以联系我们。
已部署 GPT-4 Turbo with Vision 模型的 Azure OpenAI 资源。有关模型部署的详细信息，请参阅资源部署指南。
请确保至少分配有 Azure OpenAI 资源的认知服务参与者角色。
Azure AI 搜索资源。请参阅在门户中创建 Azure AI 搜索服务。如果没有 Azure AI 搜索资源，在本指南稍后添加数据源时，系统会提示创建它。
AI Studio 中心，其中添加了 Azure OpenAI 资源和 Azure AI 搜索资源作为连接。

部署 GPT-4 Turbo with Vision 模型

登录到 Azure AI Studio，然后选择要使用的中心。
在左侧导航菜单中，选择“ AI 服务”。选择“试用 GPT-4 Turbo”面板。
在 gpt-4 页上，选择“部署”。在出现的窗口中，选择 Azure OpenAI 资源。选择 vision-preview 作为模型版本。
选择“部署”。
接下来，前往新模型的页面，然后选择“在操场中打开”。在聊天操场中，应在“部署”下拉列表中选择创建的 GPT-4 部署。

选择图像数据源

在左窗格中，选择“添加数据”选项卡，然后选择“添加数据源”。
在出现的窗口中，选择数据源选项。每个选项都使用 Azure AI 搜索索引，该索引经过图像训练，可用于在聊天操场中检索增强生成。
- Azure AI 搜索：如果具有现有 Azure AI 搜索索引，则可以将其用作数据源。
- Azure Blob 存储：如有大量图像文件，并且不想手动上载每个图像文件，则 Azure Blob 存储选项特别有用。 Azure AI Studio 将为你生成图像搜索索引。
- 上传图像文件和元数据：可以使用操场上传图像文件和元数据。如有少量图像文件，此选项非常有用。 Azure AI Studio 将为你生成图像搜索索引。

添加图像数据

如果具有现有的 Azure AI 搜索索引，则可以将其用作数据源。如果还没有搜索索引，但想自行创建一个，请按照 GitHub 上的 AI 搜索矢量搜索存储库进行操作，该存储库提供了可使用图像文件创建索引的脚本。

在操场“选择或添加数据源”窗口中，选择“Azure AI 搜索”并输入索引的详细信息。选中复选框以确认部署和连接会在帐户上产生使用情况。
（可选）启用“使用自定义字段映射”选项。这样，便可以控制搜索索引中的自定义字段与 Azure OpenAI 聊天模型在检索增强生成期间使用的标准字段之间的映射。
选择“下一步”，并在下一页上查看设置。然后选择“保存并关闭”。
在聊天操场中，可以看到数据已添加。

如果具有现有包含图像的 Azure Blob 存储容器，则可以使用它来创建图像搜索索引。如果要创建新 blob 存储帐户，请参阅 Azure Blob 存储快速入门文档。

Azure Blob 存储帐户必须包含图像文件和带有图像文件路径与元数据的 JSON 文件。

元数据 JSON 文件必须：

文件名以单词 metadata 开头（全部小写，不带空格）。
将列出不超过 10,000 个图像文件。如果容器中的文件数超过此数目，则可以有多个 JSON 文件，且每个都可以达到此最大数目。

JSON 元数据文件的格式应如下所示：

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

使用图像文件和至少一个元数据 JSON 文件填充 Blob 存储容器后，可随时将 Blob 存储添加为数据源。

在操场“选择或添加数据源”窗口中，选择“Azure Blob 存储”并输入数据源详细信息。此外，请选择将创建的 Azure AI 搜索索引的名称。

注意

Azure OpenAI 需要存储帐户资源和搜索资源来访问数据并编制数据索引。数据安全地存储在 Azure 订阅中。

在 Azure AI Studio 中首次将数据添加到选定的存储帐户时，可能会提示打开跨来源资源共享 (CORS)。 Azure AI Studio 和 Azure OpenAI 需要访问的 Azure Blob 存储帐户。
选中复选框以确认部署和连接会在帐户上产生使用情况。然后选择下一步。
查看输入的详细信息，然后选择“保存并关闭”。
在聊天操场中，现在可以看到数据引入正在进行中。在继续操作之前，请等到看到数据源和索引名称代替状态。