Azure OpenAI 企業聊天的影像使用 GPT-4 Turbo 搭配 [適用於視覺的 Azure 認知服務]

重要

本文所述的部分功能可能僅適用於預覽版。 此預覽版本沒有服務等級協定，不建議將其用於生產工作負載。 可能不支援特定功能，或可能已經限制功能。 如需詳細資訊，請參閱 Microsoft Azure 預覽版增補使用條款。

使用本文來了解如何為具有視覺的 GPT-4 Turbo (Azure OpenAI 的視覺模型) 提供您自己的影像資料。 GPT-4 Turbo 搭配視 [適用於視覺的 Azure 認知服務] 的企業聊天可讓模型根據您自己的影像和影像中繼資料，使用擷取增強的生成來產生更多自訂和針對性的答案。

提示

本文適用於在 GPT-4 Turbo 搭配視覺模型上使用影像數據。 如需如何使用文字資料部署聊天 Web 應用程式的教學課程，請參閱 部署企業聊天 Web 應用程式。

必要條件

• Azure 訂用帳戶 - 建立免費帳戶。
• 在所需的 Azure 訂用帳戶中授與 Azure OpenAI 的存取權。 目前只有應用程式會授予此服務的存取權。 您可以填妥 https://aka.ms/oai/access 的表單，以申請 Azure OpenAI 的存取權。 如有問題，請在此存放庫中提出問題來與我們連絡。
• 包含已部署視覺模型 GPT-4 Turbo 的 Azure OpenAI 資源。 如需模型部署的詳細資訊，請參閱資源部署指南。
• 請確定您已至少獲指派 Azure OpenAI 資源的認知服務參與者角色。
• Azure AI 搜尋服務資源。 請參閱在入口網站中建立 Azure AI 搜尋服務。 如果您沒有 Azure AI 搜尋資源，當您稍後在本指南中新增數據源時，系統會提示您建立一個資源。
• 使用 Azure OpenAI 資源和 Azure AI 搜尋資源新增為連線的 AI Studio 中樞 。

使用視覺模型部署 GPT-4 Turbo

1. 登入 Azure AI Studio ，然後選取您想要運作的中樞。
2. 在左側導覽功能表上，選取 [ AI 服務]。 選取 [ 試用 GPT-4 Turbo ] 面板。
3. 在 gpt-4 頁面上，選取 [ 部署]。 在出現的視窗中，選取您的 Azure OpenAI 資源。 選取 vision-preview 作為模型版本。
4. 選取部署。
5. 接下來，移至新模型的頁面，然後選取 [在遊樂場中開啟]。 在聊天遊樂場中，您應該在 [部署] 下拉式清單中選取您建立的 GPT-4 部署 。

選取您的映像數據源

1. 在左窗格中，選取 [新增您的數據] 索引卷標，然後選取 [ 新增數據源]。
2. 在出現的視窗中，選取數據源選項。 每個選項都會使用以影像定型的 Azure AI 搜尋索引，並可用於在聊天遊樂場中擷取增強的產生。
   • Azure AI 搜尋服務：如果您有現有的 Azure AI 搜尋服務索引，則可將其用做資料來源。
   • Azure Blob 儲存體：如果您有大量影像檔案，且不想手動上傳每個檔案，則 Azure Blob 儲存體選項特別有用。 Azure AI Studio 會為您產生影像搜尋索引。
   • 上傳圖像檔案和元數據：您可以使用遊樂場上傳影像檔案和元數據。 如果您有少量的影像檔案，這個選項就很有用。 Azure AI Studio 會為您產生影像搜尋索引。

新增影像數據

Azure AI 搜尋服務

如果您有現有的 Azure AI 搜尋服務索引，則可將其用做資料來源。 如果您還沒有搜尋索引，但想要自行建立一個搜尋索引，請遵循 GitHub 上的 AI 搜尋向量搜尋存放庫，其會提供腳本來建立影像檔案的索引。

1. 在遊樂場的 [選取或新增數據源] 視窗中，選擇 [Azure AI 搜尋 ]，然後輸入您的索引詳細數據。 選取方塊，確認部署和連線會在您的帳戶上產生使用量。
2. 選擇性地啟用 [ 使用自訂欄位對應 ] 選項。 這可讓您控制搜尋索引中的自定義欄位與 Azure OpenAI 聊天模型在擷取增強產生期間所使用的標準欄位之間的對應。
3. 選取 [下一步 ]，然後在下一個頁面上檢閱您的設定。 然後選取 [ 儲存並關閉]。
4. 在聊天遊樂場中，您可以看到數據已新增。

Azure Blob 儲存體

如果您有具有映像的現有 Azure Blob 儲存體 容器，您可以使用它來建立影像搜尋索引。 如果您想要建立新的 Blob 儲存體帳戶，請參閱 Azure Blob 儲存體快速入門文件。

您的 Azure Blob 記憶體帳戶必須同時包含映像檔和 JSON 檔案，其中包含映像檔路徑和元數據。

您的中繼資料 JSON 檔案必須：

• 具有以單字 metadata 開頭的檔名（全部以小寫為單位，不含空格）。
• 列出不超過 10,000 個影像檔。 如果您的容器中有更多檔案，則每個檔案最多可以有多個 JSON 檔案。

JSON 元數據檔案的格式應該像這樣：

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

在 Blob 記憶體容器填入映像檔和至少一個元數據 JSON 檔案之後，您就可以將 Blob 記憶體新增為數據源。

1. 在遊樂場的 [選取或新增數據源] 視窗中，選擇 [Azure Blob 儲存體 並輸入您的數據源詳細數據。 也請選擇將建立的 Azure AI 搜尋服務索引名稱。

   注意

   Azure OpenAI 需要儲存體帳戶資源和搜尋資源，才能存取及為資料編製索引。 您的資料會安全地儲存在您的 Azure 訂用帳戶中。

   在 Azure AI Studio 中第一次將資料新增至選取的儲存體帳戶時，系統可能會提示您開啟跨原始資源共用 (CORS)。 Azure AI Studio 和 Azure OpenAI 需要存取您的 Azure Blob 儲存體帳戶。

   

2. 選取方塊，確認部署和連線會在您的帳戶上產生使用量。 然後選取下一步。

3. 檢閱輸入的詳細資料，然後選取 [儲存並關閉]。

   

4. 現在在聊天遊樂場中，您可以看到數據擷取正在進行中。 請等到您看見資料來源和索引名稱 (而非狀態) 之後再繼續。

上傳影像檔案和中繼資料

1. 在 [選取或新增資料來源] 頁面中，從 [選取資料來源] 下拉式清單選取 [上傳檔案]。

2. 輸入您的數據源詳細數據。 也請選擇將建立的 Azure AI 搜尋服務索引名稱。

   注意

   Azure OpenAI 需要儲存體帳戶資源和搜尋資源，才能存取及為資料編製索引。 您的資料會安全地儲存在您的 Azure 訂用帳戶中。

   在 Azure AI Studio 中第一次將資料新增至選取的儲存體帳戶時，系統可能會提示您開啟跨原始資源共用 (CORS)。 Azure AI Studio 和 Azure OpenAI 需要存取您的 Azure Blob 儲存體帳戶。

   

3. 選取方塊，確認部署和連線會在您的帳戶上產生使用量。 然後選取下一步。

4. 在 [上傳檔案] 頁面中，選取 [瀏覽檔案]，然後選取您要上傳的檔案。 如果您想要上傳多個檔案，請立即上傳。 您稍後將無法在相同遊樂場工作階段中新增更多檔案。

   映射檔支援下列檔案類型，大小上限為 16 MB：

   • .jpg
   • .png
   • .gif
   • .bmp
   • .tiff

5. 選取 [上傳]，以將檔案上傳至您的 Azure Blob 儲存體帳戶。 然後選取下一步。

   

6. 在 [ 新增元數據] 頁面上，輸入對應文字欄位中每個影像的文字描述。 然後選取下一步。

   

7. 檢閱您輸入的詳細資料。 您可以看到即將為您建立的儲存體容器和搜尋索引的名稱。 選取儲存後關閉。

   

8. 現在在聊天遊樂場中，您可以看到數據擷取正在進行中。 請等到您看見資料來源和索引名稱 (而非狀態) 之後再繼續。

搭配 GPT-4 Turbo 搭配視覺模型使用您的數據

新增影像數據之後，您可以嘗試以影像數據為基礎的聊天交談。

1. 使用聊天視窗中的 [附件] 按鈕來上傳新的影像。 詢問其與數據集中其他影像關聯性的問題。

2. 模型會回應使用以影像資料為依據的答案來回應。

新增和移除數據源

Azure OpenAI 只允許每個聊天會話使用一個數據源。 如果您想要新增數據源，您必須先移除現有的數據源。 選取 [移除數據源資訊] 底下的 [移除資料源] 來執行此動作。

當您移除資料來源時，會看到警告訊息。 移除資料源會清除聊天工作階段，並重設所有遊樂場設定。

下一步

• 了解如何在 Azure AI Studio 中建立專案。
• 部署企業聊天 Web 應用程式