在 Azure OpenAI Studio 中使用 GPT-4 Turbo 搭配視覺的影像來使用 Azure OpenAI 數據上的 Azure OpenAI

使用本文來瞭解如何為具有視覺的 GPT-4 Turbo 提供您自己的影像數據，這是 Azure OpenAI 的視覺模型。 GPT-4 Turbo 搭配視覺在您的數據上，可讓模型根據您自己的影像和影像元數據，使用擷取增強產生來產生更多自定義和針對性的答案。

重要

一旦 GPT4-Turbo 與視覺預覽模型已被取代，您就無法再使用 Azure OpenAI On 您的影像數據。 若要使用影像數據實作擷取增強產生 （RAG） 解決方案，請參閱 github 上的下列範例。

必要條件

• Azure 訂用帳戶 - 建立免費帳戶。

• 在所需的 Azure 訂用帳戶中授與 Azure OpenAI 的存取權。

  目前只有應用程式會授予此服務的存取權。 您可以填妥 https://aka.ms/oai/access 的表單，以申請 Azure OpenAI 的存取權。 如有問題，請在此存放庫中提出問題來與我們連絡。

• 包含已部署視覺模型 GPT-4 Turbo 的 Azure OpenAI 資源。 如需模型部署的詳細資訊，請參閱資源部署指南。

• 請確定您已至少獲指派 Azure OpenAI 資源的認知服務參與者角色。

新增數據源

流覽至 Azure OpenAI Studio ，並使用可存取 Azure OpenAI 資源的認證登入。 在登入工作流程期間 (或之後)，選取適當的目錄、Azure 訂用帳戶和 Azure OpenAI 資源。

在 [助理設定] 圖格上，選取 [新增您的數據][預覽]>+[新增數據源]。

在選取 [新增數據源] 之後出現的窗格中，您會看到多個選項來選取數據源。

您有三種不同的選項可新增 GPT-4 Turbo 與 Vision 資料來源的資料：

• 使用 您自己的影像檔案和影像元數據
• 使用 Azure AI 搜尋
• 使用 Azure Blob 儲存體

這三個選項都使用 Azure AI 搜尋索引來執行影像對影像搜尋，並擷取輸入提示影像的頂端搜尋結果。 針對 Azure Blob 儲存體 和上傳檔案選項，Azure OpenAI 會為您產生影像搜尋索引。 針對 Azure AI 搜尋服務，您需要有影像搜尋索引。 下列各節包含如何建立搜尋索引的詳細數據。

第一次使用這些選項時，您可能會看到此紅色通知，要求您開啟跨原始來源資源分享 （CORS）。 這是要求您啟用 CORS 的通知，讓 Azure OpenAI 可以存取您的 Blob 記憶體帳戶。 若要修正警告，請選取 [開啟 CORS]。

上傳檔案以新增您的數據

您可以使用 Azure OpenAI 手動上傳影像檔案，並手動輸入其元數據。 如果您正在實驗一組小型映像，而且想要建置數據源，這特別有用。

1. 流覽至 Azure OpenAI 中的 [選取數據源] 按鈕，如上所述。 選取 [上傳檔案]。

2. 選取您的訂用帳戶。 選取要儲存上傳映像檔案的 Azure Blob 記憶體。 選取將在其中建立新影像搜尋索引的 Azure AI 搜尋資源。 輸入您選擇的影像搜尋索引名稱。

   填寫所有欄位之後，請檢查底部的兩個方塊，確認產生使用量，然後選取 [ 下一步]。

   

   映射檔支援下列檔案類型：

   • .jpg
   • .png
   • .gif
   • .bmp
   • .tiff

3. 選取 [ 瀏覽檔案] 以選取您想要從本機目錄使用的影像檔案。

4. 選取映像檔之後，您會看到右表中選取的影像檔。 選取 [上傳檔案]。 上傳檔案之後，您會看到每個檔案的狀態為 [上傳]。 選取 [下一步]。

   

5. 針對每個圖像檔案，在提供的描述欄位中輸入元數據。 一旦您有每個影像的描述，請選取 [ 下一步]。

   

6. 檢閱所有信息都正確無誤。 選取儲存後關閉。

使用 Azure AI 搜尋新增您的數據

如果您有現有的 Azure AI 搜尋 索引，您可以使用它作為數據源。 如果您還沒有為影像建立搜尋索引，您可以使用 GitHub 上的 AI 搜尋向量搜尋存放庫來建立一個搜尋索引，其提供腳本來建立影像檔案的索引。 如果您想要使用上述選項之類的選項來建立數據源，然後回到遊樂場體驗，以選取您已建立但尚未新增的數據源，這個選項也很棒。

1. 流覽至 Azure OpenAI 中的 [選取數據源] 按鈕，如上所述。 選取 [Azure AI 搜尋]。

   提示

   您可以選取使用 Azure Blob 儲存體 或上傳檔案選項建立的影像搜尋索引。

2. 選取您的訂用帳戶，以及您用來建立影像搜尋索引的 Azure AI 搜尋服務。

3. 選取您已使用影像建立的 Azure AI 搜尋服務索引。

4. 填入所有欄位之後，請選取底部的兩個複選框，要求您確認使用 GPT-4 Turbo 搭配視覺向量內嵌和 Azure AI 搜尋所產生的費用。 選取 [下一步]。 如果 AI 搜尋資源尚未開啟 CORS ，您會看到警告。 若要修正警告，請選取 [開啟 CORS]。

   

5. 檢閱詳細數據，然後選取 [ 儲存並關閉]。

使用 Azure Blob 儲存體 新增您的數據

如果您有現有的 Azure Blob 儲存體容器，可將其用來建立影像搜尋索引。 如果您想要建立新的 Blob 記憶體，請參閱 Azure Blob 記憶體快速入門 檔。

您的 Blob 記憶體應包含映像檔和 JSON 檔案，其中包含映射檔路徑和元數據。 如果您有大量圖像檔案，而且不想手動上傳每個檔案，這個選項特別有用。

如果您還沒有填入這些檔案的 Blob 記憶體，而且想要逐一上傳檔案，您可以改為使用 Azure OpenAI Studio 上傳檔案。

開始將 Azure Blob 儲存體 容器新增為數據源之前，請確定您的 Blob 記憶體包含您想要內嵌的所有映像，以及包含映像檔路徑和元數據的 JSON 檔案。

重要

您的中繼資料 JSON 檔案必須：

• 具有以 「metadata」 這個字開頭的檔名，全都以小寫為單位，沒有空格。
• 具有最多有 10,000 個影像檔。 如果您的容器中檔案數目超過這個數目，則您可以有多個 JSON 檔案，每個檔案包含最多達這個數目。

[
    {
        "image_blob_path": "image1.jpg",
        "description": "description of image1"
    },
    {
        "image_blob_path": "image2.jpg",
        "description": "description of image2"
    },
    ...
    {
        "image_blob_path": "image50.jpg",
        "description": "description of image50"
    }
]

在 Blob 儲存體填入影像檔和至少一個中繼資料 JSON 檔案之後，您即可將 Blob 儲存體新增為資料來源。

1. 流覽至 Azure OpenAI 中的 [選取數據源] 按鈕，如上所述。 選取 Azure Blob 儲存體。

2. 選取您的訂用帳戶、Azure Blob 記憶體和記憶體容器。 您也需要選取 Azure AI 搜尋資源，因為新的影像搜尋索引將會在此資源群組中建立。 如果您沒有 Azure AI 搜尋資源，您可以使用下拉式清單下方的連結來建立新的資源。 如果 Azure Blob 記憶體資源尚未開啟 CORS ，您會看到警告。 若要修正警告，請選取 [開啟 CORS]。

3. 選取 Azure AI 搜尋資源之後，請在 [索引名稱] 字段中輸入搜尋索引 的名稱 。

   注意

   索引的名稱會加上 後綴 –v，表示這是從提供的影像擷取影像向量的索引。 在metadata.json中提交的描述將會新增為索引中的文字元數據。

4. 填入所有欄位之後，請選取底部的兩個複選框，要求您確認使用 GPT-4 Turbo 搭配視覺向量內嵌和 Azure AI 搜尋所產生的費用。 選取 [下一步]。

   

5. 檢閱詳細數據，然後選取 [ 儲存並關閉]。

搭配具有視覺模型的 GPT-4 Turbo 使用內嵌資料

使用上述三種方法中的任何一個連接數據源之後，數據擷取程式需要一些時間才能完成。 當程序進行時，您會看到圖示和 進行中的 擷取訊息。 擷取完成後，您會看到已建立數據源。

一旦數據源完成擷取，您會看到數據源詳細數據，以及影像搜尋索引名稱。 現在，此內嵌的數據已準備好作為已部署 GPT-4 Turbo 與視覺模型的地面數據。 您的模型會使用影像搜尋索引中的最上層擷取數據，併產生特別遵守內嵌數據的回應。

開啟 CORS

如果數據源尚未開啟 CORS，您會看到下列訊息出現。

如果您看到此訊息，請在連接數據源時選取 [開啟 CORS ]。

其他秘訣

新增和移除數據源

Azure OpenAI 目前只允許每個聊天工作階段使用一個資料來源。 如果您想要新增資料來源，則必須先移除現有的資料來源。 您可以選取資料來源資訊底下的 [移除資料來源] 來完成。

當您移除資料來源時，會看到警告訊息。 移除資料源會清除聊天工作階段，並重設所有遊樂場設定。

重要

如果您切換到不使用 GPT-4 Turbo 搭配視覺模型的模型部署，您會看到移除數據源的警告訊息。 請注意，移除數據源將會清除聊天會話，並重設所有遊樂場設定。

下一步

• 您也可以在 Azure OpenAI 文字模型上聊天。 如需詳細資訊，請參閱 使用您的文字數據 。
• 或者，遵循 快速入門，在聊天案例中使用 GPT-4 Turbo 搭配視覺。
• GPT-4 Turbo with Vision 常見問題
• GPT-4 Turbo with Vision API 參考