Azure OpenAI 企業聊天的影像使用 GPT-4 Turbo 搭配 [適用於視覺的 Azure 認知服務]

重要

本文中標示為 (預覽) 的項目目前處於公開預覽狀態。 此預覽版本沒有服務等級協定，不建議將其用於生產工作負載。 可能不支援特定功能，或可能已經限制功能。 如需詳細資訊，請參閱 Microsoft Azure 預覽版增補使用條款。

使用本文來了解如何為具有視覺的 GPT-4 Turbo (Azure OpenAI 的視覺模型) 提供您自己的影像資料。 GPT-4 Turbo 搭配視 [適用於視覺的 Azure 認知服務] 的企業聊天可讓模型根據您自己的影像和影像中繼資料，使用擷取增強的生成來產生更多自訂和針對性的答案。

提示

本文適用於在 GPT-4 Turbo 上搭配視覺模型使用您的影像資料。 如需如何使用文字資料部署聊天 Web 應用程式的教學課程，請參閱 部署企業聊天 Web 應用程式。

必要條件

• Azure 訂用帳戶 - 建立免費帳戶。
• 包含已部署視覺模型 GPT-4 Turbo 的 Azure OpenAI 資源。 如需模型部署的詳細資訊，請參閱資源部署指南。
• 請確定您已至少獲指派 Azure OpenAI 資源的認知服務參與者角色。
• Azure AI 搜尋服務資源。 請參閱在入口網站中建立 Azure AI 搜尋服務。 如果您沒有 Azure AI 搜尋資源，當您稍後在本指南中新增資料來源時，系統會提示您建立一個資源。
• 已將 Azure OpenAI 資源和 Azure AI 搜尋服務資源新增為連線的 AI Studio 中樞。

使用視覺模型部署 GPT-4 Turbo

1. 登入 Azure AI Studio，然後選取您想要在其中工作的中樞。
2. 在左側導覽功能表上，選取 [AI 服務]。 選取 [試試看 GPT-4 Turbo] 面板。
3. 在 gpt-4 頁面上，選取 [部署]。 在出現的視窗中，選取您的 Azure OpenAI 資源。 選取 vision-preview 作為模型版本。
4. 選取部署。
5. 接下來，移至新模型的頁面，然後選取 [在遊樂場中開啟]。 在聊天遊樂場中，[部署] 下拉式清單中應該已選取您建立的 GPT-4 部署。

選取影像資料來源

1. 在左窗格上，選取 [新增資料] 索引標籤，然後選取 [新增資料來源]。
2. 在出現的視窗中，選取資料來源選項。 每個選項都會使用根據影像定型的 Azure AI 搜尋服務索引，並可以將其用於擷取聊天遊樂場中的擴增生成。
   • Azure AI 搜尋服務：如果您有現有的 Azure AI 搜尋服務索引，則可將其用做資料來源。
   • Azure Blob 儲存體：如果您有大量影像檔案，且不想手動上傳每個檔案，則 Azure Blob 儲存體選項特別有用。 Azure AI Studio 將會為您產生影像搜尋索引。
   • 上傳影像檔案和中繼資料：您可以使用遊樂場上傳影像檔案和中繼資料。 如果您有少量的影像檔案，這個選項就很有用。 Azure AI Studio 將會為您產生影像搜尋索引。

新增影像資料

Azure AI 搜尋服務

如果您有現有的 Azure AI 搜尋服務索引，則可將其用做資料來源。 如果您還沒有搜尋索引，但想要自行建立一個搜尋索引，請遵循 GitHub 上的 AI 搜尋服務向量搜尋存放庫，其會提供使用影像檔案建立索引的指令碼。

1. 在遊樂場的 [選取或新增資料來源] 視窗中，選擇 [Azure AI 搜尋服務] 並輸入索引的詳細資料。 選取方塊，確認部署和連線會在您的帳戶上產生使用量。
2. 選擇性地啟用 [使用自訂欄位對應] 選項。 這可讓您控制搜尋索引中的自訂欄位與 Azure OpenAI 聊天模型在擷取擴增生成期間所使用的標準欄位之間的對應。
3. 選取 [下一步]，然後在下一個頁面上檢閱您的設定。 然後，選取 [儲存並關閉]。
4. 在聊天遊樂場中，您可以看到已新增資料。

Azure Blob 儲存體

如果您的現有 Azure Blob 儲存體容器包含影像，您可以將其用來建立影像搜尋索引。 如果您想要建立新的 Blob 儲存體帳戶，請參閱 Azure Blob 儲存體快速入門文件。

您的 Azure Blob 儲存體帳戶必須同時包含影像檔和 JSON 檔案，其中具有影像檔路徑和中繼資料。

您的中繼資料 JSON 檔案必須：

• 具有以字組 metadata 為開頭的檔案名稱 (全都使用小寫且不含空格)。
• 列出不超過 10,000 個影像檔。 如果您的容器中具有更多的檔案，則您可以具有多個 JSON 檔案，每個檔案最多可達此上限。

JSON 中繼資料檔案的格式應該像這樣：

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

在 Blob 儲存體容器填入了影像檔和至少一個中繼資料 JSON 檔案之後，您即可將 Blob 儲存體新增為資料來源。

1. 在遊樂場的 [選取或新增資料來源] 視窗中，選擇 [Azure Blob 儲存體] 並輸入資料來源詳細資料。 此外，請為將建立的 Azure AI 搜尋服務索引選擇一個名稱。

   注意

   Azure OpenAI 需要儲存體帳戶資源和搜尋資源，才能存取及為資料編製索引。 您的資料會安全地儲存在您的 Azure 訂用帳戶中。

   在 Azure AI Studio 中第一次將資料新增至選取的儲存體帳戶時，系統可能會提示您開啟跨原始資源共用 (CORS)。 Azure AI Studio 和 Azure OpenAI 需要存取您的 Azure Blob 儲存體帳戶。

   

2. 選取方塊，確認部署和連線會在您的帳戶上產生使用量。 然後選取下一步。

3. 檢閱輸入的詳細資料，然後選取 [儲存並關閉]。

   

4. 現在，在聊天遊樂場中您可以看到資料擷取正在進行中。 請等到您看見資料來源和索引名稱 (而非狀態) 之後再繼續。

上傳影像檔案和中繼資料

1. 在 [選取或新增資料來源] 頁面中，從 [選取資料來源] 下拉式清單選取 [上傳檔案]。

2. 輸入資料來源詳細資料。 此外，請為將建立的 Azure AI 搜尋服務索引選擇一個名稱。

   注意

   Azure OpenAI 需要儲存體帳戶資源和搜尋資源，才能存取及為資料編製索引。 您的資料會安全地儲存在您的 Azure 訂用帳戶中。

   在 Azure AI Studio 中第一次將資料新增至選取的儲存體帳戶時，系統可能會提示您開啟跨原始資源共用 (CORS)。 Azure AI Studio 和 Azure OpenAI 需要存取您的 Azure Blob 儲存體帳戶。

   

3. 選取方塊，確認部署和連線會在您的帳戶上產生使用量。 然後選取下一步。

4. 在 [上傳檔案] 頁面中，選取 [瀏覽檔案]，然後選取您要上傳的檔案。 如果您想要上傳多個檔案，請立即上傳。 您稍後將無法在相同遊樂場工作階段中新增更多檔案。

   大小上限為 16 MB 的影像檔支援下列檔案類型：

   • .jpg
   • .png
   • .gif
   • .bmp
   • .tiff

5. 選取 [上傳]，以將檔案上傳至您的 Azure Blob 儲存體帳戶。 然後選取下一步。

   

6. 在 [新增中繼資料] 頁面上，為對應文字欄位中的每個影像輸入文字描述。 然後選取下一步。

   

7. 檢閱您輸入的詳細資料。 您可以看到即將為您建立的儲存體容器和搜尋索引的名稱。 選取儲存後關閉。

   

8. 現在，在聊天遊樂場中您可以看到資料擷取正在進行中。 請等到您看見資料來源和索引名稱 (而非狀態) 之後再繼續。

透過視覺模型使用您的資料搭配 GPT-4 Turbo

在新增您的影像資料之後，您可以嘗試以該影像資料為基礎的聊天交談。

1. 使用聊天視窗中的 [附件] 按鈕來上傳新的影像。 詢問其與資料集中其他影像的關聯性。

2. 模型會回應使用以影像資料為依據的答案來回應。

新增和移除資料來源

Azure OpenAI 只允許每個聊天工作階段使用一個資料來源。 若要新增資料來源，就必須先移除現有的資料來源。 若要這樣做，請選取資料來源資訊底下的 [移除資料來源]。

當您移除資料來源時，會看到警告訊息。 移除資料源會清除聊天工作階段，並重設所有遊樂場設定。

下一步

• 了解如何在 Azure AI Studio 中建立專案。
• 部署企業聊天 Web 應用程式