快速入門：在您的 AI 聊天中使用影像

開始使用 GPT-4 Turbo 搭配 Azure OpenAI 服務映像。

GPT-4 Turbo 模型升級

GPT-4 Turbo 的最新 GA 版本為：

• gpt-4版本：turbo-2024-04-09

這是下列預覽模型的取代專案：

• gpt-4版本：1106-Preview
• gpt-4版本：0125-Preview
• gpt-4版本：vision-preview

OpenAI 與 Azure OpenAI GPT-4 Turbo GA 模型之間的差異

• OpenAI 的最新 0409 渦輪增壓模型版本支援所有推斷要求的 JSON 模式和函式呼叫。
• Azure OpenAI 的最新版本 turbo-2024-04-09 目前不支援使用 JSON 模式和函式呼叫，以影像（視覺）輸入提出推斷要求。 以文字為基礎的輸入要求（沒有 image_url 和內嵌影像的要求）支援 JSON 模式和函式呼叫。

gpt-4 視覺預覽的差異

• 版本不支援 gpt-4turbo-2024-04-09Azure AI 特定視覺增強功能與 GPT-4 Turbo with Vision 整合。 這包括光學字元辨識 （OCR）、物件地面、視訊提示，以及使用影像改善數據的處理。

GPT-4 Turbo 布建的受控可用性

• gpt-4版本：turbo-2024-04-09 適用於標準和布建的部署。 此模型的 布建版本目前不支援影像/視覺推斷要求。 此模型的布建部署只接受文字輸入。 標準模型部署同時接受文字和影像/視覺推斷要求。

區域可用性

如需模型區域可用性的資訊，請參閱標準與布建部署的模型矩陣。

使用視覺 GA 部署 GPT-4 Turbo

若要從 Studio UI 部署 GA 模型，請從下拉功能表中選取 GPT-4 並選擇 turbo-2024-04-09 版本。 模型的預設配額 gpt-4-turbo-2024-04-09 會與 GPT-4-Turbo 目前的配額相同。 請參閱區域配額限制。

透過 Azure OpenAI Studio 開始探索具有視覺功能的 GPT-4 Turbo 與無程式碼方法。

必要條件

• Azure 訂用帳戶。 免費建立一個。
• 在所需的 Azure 訂用帳戶中授與 Azure OpenAI 的存取權。 目前只有應用程式會授予此服務的存取權。 您可以填妥 https://aka.ms/oai/access 的表單，以申請 Azure OpenAI 的存取權。 如有問題，請在此存放庫中提出問題來與我們連絡。
• 已部署具有 GPT-4 Turbo 與視覺模型的 Azure OpenAI 服務資源。 如需可用區域，請參閱 GPT-4 和 GPT-4 Turbo Preview 模型可用性 。 如需資源建立的詳細資訊，請參閱 資源部署指南。
• 針對視覺增強功能（選擇性）：Azure 電腦視覺 資源與您 Azure OpenAI 資源位於付費 （S1） 層相同的區域中。

注意

目前不支持關閉具有視覺模型的 GPT-4 Turbo 內容篩選。

移至 Azure OpenAI Studio

瀏覽至 [Azure OpenAI Studio] 並使用與您 Azure OpenAI 資源相關聯的認證來登入。 在登入工作流程期間 (或之後)，選取適當的目錄、Azure 訂用帳戶和 Azure OpenAI 資源。

在 [管理] 下，選取 [部署] 並選取 [使用視覺部署建立 GPT-4 Turbo]，方法是選取模型名稱：“gpt-4” 和模型版本 “vision-preview”。 如需模型部署的詳細資訊，請參閱資源部署指南 (部分機器翻譯)。

在 [ 遊樂場] 區段底下，選取 [ 聊天]。

遊樂場

從此頁面，您可以快速反覆運算並實驗模型的功能。

如需助理設定、聊天會話、設定和面板的一般協助，請參閱 聊天快速入門。

開始聊天工作階段以分析影像或影片

影像提示

在此聊天會話中，您會指示助理協助您了解您輸入的影像。

1. 若要開始，請從下拉式清單中選取您的 GPT-4 Turbo with Vision 部署。

2. 在 [ 小幫手設定 ] 窗格中，提供系統訊息來引導小幫手。 默認系統訊息為：「您是可協助人員尋找資訊的 AI 助理」。您可以將系統訊息量身打造為您上傳的影像或案例。

   注意

   建議將系統訊息更新為工作專屬，以避免模型的無幫助回應。

3. 儲存您的變更，並在系統提示確認更新系統訊息時，選取 [ 繼續]。

4. 在 [ 聊天會話 ] 窗格中，輸入文字提示，例如「描述此影像」，然後上傳含有附件按鈕的影像。 您可以針對使用案例使用不同的文字提示。 然後選取傳送。

5. 觀察提供的輸出。 請考慮詢問與影像分析相關的後續問題，以深入瞭解。

影像提示增強功能

GPT-4 Turbo with Vision 提供對 Azure AI Services 量身打造增強功能的獨佔存取權。 與 Azure AI 視覺結合時，它會提供聊天模型，以提供影像中可見文字和物件位置的更詳細資訊，藉此增強您的聊天體驗。

光學字元辨識（OCR）整合可讓模型針對密集文字、轉換的圖像和大量財務檔產生更高的質量回應。 它也涵蓋更廣泛的語言。

物件地面整合為數據分析和用戶互動帶來了一個新的圖層，因為此功能可以可視化地區分並醒目提示它處理之影像中的重要元素。

警告

適用於 GPT-4 Turbo with Vision 的 Azure AI 增強功能將會與核心功能分開計費。 GPT-4 Turbo 搭配視覺的每個特定 Azure AI 增強功能都有自己的不同費用。 如需詳細資訊，請參閱 特殊定價資訊。

在此聊天會話中，您會試用增強視覺模型的功能。

1. 若要開始，請從下拉式清單中選取您的 GPT-4 Turbo with Vision 部署。

2. 在聊天體驗右側的 [組態] 索引標籤中，開啟 [增強功能] 區段底下的 [視覺] 選項。

3. 您必須選取 電腦視覺 資源，才能嘗試增強的視覺 API。 選取您的資源，然後 儲存。

4. 在 [ 小幫手設定 ] 窗格中，提供系統訊息來引導小幫手。 默認系統訊息為：「您是可協助人員尋找資訊的 AI 助理」。您可以將系統訊息量身打造為您上傳的影像或案例。

   注意

   建議將系統訊息更新為工作專屬，以避免模型的無幫助回應。

5. 儲存您的變更，並在系統提示確認更新系統訊息時，選取 [ 繼續]。

6. 在 [ 聊天會話 ] 窗格中，輸入文字提示，例如「描述此影像」，然後上傳含有附件按鈕的影像。 您可以針對使用案例使用不同的文字提示。 然後選取傳送。

7. 您應該會收到回應，其中包含影像中可見文字和物件位置的詳細資訊。 請考慮詢問與影像分析相關的後續問題，以深入瞭解。

影片提示增強功能

GPT-4 Turbo with Vision 提供對 Azure AI Services 量身打造增強功能的獨佔存取權。 影片 提示 整合會使用 Azure AI 視覺影片擷取來取樣影片中的一組畫面，並在影片中建立語音記錄。 它可讓 AI 模型提供影片內容的摘要和解答。

警告

適用於 GPT-4 Turbo with Vision 的 Azure AI 增強功能將會與核心功能分開計費。 GPT-4 Turbo 搭配視覺的每個特定 Azure AI 增強功能都有自己的不同費用。 如需詳細資訊，請參閱 特殊定價資訊。

1. 若要開始，請從下拉式清單中選取您的 GPT-4 Turbo with Vision 部署。

2. 在聊天體驗右側的 [組態] 索引標籤中，開啟 [增強功能] 區段底下的 [視覺] 選項。

3. 您必須選取 電腦視覺 資源，才能嘗試增強的視覺 API。 選取您的資源，然後 儲存。

4. 在 [ 小幫手設定 ] 窗格中，提供系統訊息來引導小幫手。 默認系統訊息為：「您是可協助人員尋找資訊的 AI 助理」。您可以針對您要上傳的影片或案例量身打造系統訊息。

   注意

   建議將系統訊息更新為工作專屬，以避免模型的無幫助回應。

5. 儲存您的變更，並在系統提示確認更新系統訊息時，選取 [ 繼續]。

6. 在聊天會話窗格中，輸入有關影片的問題，例如：「詳細描述這段影片。 專注於品牌、技術和人員。您可以針對使用案例使用不同的文字提示。 使用附件按鈕上傳影片，然後選取 [ 傳送]。

   注意

   目前聊天遊樂場僅支援少於3分鐘的影片。

7. 您應該會收到描述影片的回應。 請考慮詢問與影片分析相關的後續問題，以深入瞭解。

清除資源

如果您想要清除和移除 Azure OpenAI 資源，則可以刪除資源或資源群組。 刪除資源群組也會刪除與其相關聯的任何其他資源。

• Azure 入口網站
• Azure CLI

使用本文開始使用 Azure OpenAI REST API 來部署和使用 GPT-4 Turbo 搭配視覺模型。

必要條件

• Azure 訂用帳戶。 免費建立一個。
• 在所需的 Azure 訂用帳戶中授與 Azure OpenAI 的存取權。 目前只有應用程式會授予此服務的存取權。 您可以填妥 https://aka.ms/oai/access 的表單，以申請 Azure OpenAI 的存取權。 如有問題，請在此存放庫中提出問題來與我們連絡。
• Python 3.8 或更新版本。
• 下列 Python 連結庫： requests、 json。
• 已部署具有 GPT-4 Turbo 與視覺模型的 Azure OpenAI 服務資源。 如需可用區域，請參閱 GPT-4 和 GPT-4 Turbo Preview 模型可用性 。 如需資源建立的詳細資訊，請參閱 資源部署指南。
• 針對視覺增強功能（選擇性）：Azure 電腦視覺 資源位於與 Azure OpenAI 資源位於相同區域中的付費 （S1） 層。

注意

目前不支持關閉具有視覺模型的 GPT-4 Turbo 內容篩選。

擷取金鑰和端點

若要成功呼叫 Azure OpenAI API，您需要有關 Azure OpenAI 資源的下列資訊：

變數	名稱	值
端點	api_base	端點值位於 Azure 入口網站中資源的 [金鑰] 和 [端點]。 或者，您可以在 [Azure OpenAI Studio]>[遊樂場]>[程式碼檢視] 中找到該值。 範例端點為：https://docs-test-001.openai.azure.com/。
索引鍵	api_key	金鑰值同樣也位於 Azure 入口網站中資源的 [金鑰] 和 [端點]。 Azure 會為您的資源產生兩個金鑰。 您可以使用任何一者。

移至您在 Azure 入口網站中的資源。 在瀏覽窗格中，選取 [資源管理] 下的 [金鑰和端點]。 複製端點值和存取金鑰值。 您可以使用 KEY 1 或 KEY 2 值。 擁有兩個金鑰可讓您安全地輪替和重新產生金鑰，而不會造成服務中斷。

建立新的 Python 應用程式

建立命名為 quickstart.py 的新 Python 檔案。 在您慣用的編輯器或整合式開發環境 (IDE) 中，開啟新檔案。

影像提示

1. 將 quickstart.py 的內容取代為下列程式碼。

   # Packages required:
   import requests 
   import json 
   
   api_base = '<your_azure_openai_endpoint>' 
   deployment_name = '<your_deployment_name>'
   API_KEY = '<your_azure_openai_key>'
   
   base_url = f"{api_base}openai/deployments/{deployment_name}" 
   headers = {   
       "Content-Type": "application/json",   
       "api-key": API_KEY 
   } 
   
   # Prepare endpoint, headers, and request body 
   endpoint = f"{base_url}/chat/completions?api-version=2023-12-01-preview" 
   data = { 
       "messages": [ 
           { "role": "system", "content": "You are a helpful assistant." }, 
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ], 
       "max_tokens": 2000 
   }   
   
   # Make the API call   
   response = requests.post(endpoint, headers=headers, data=json.dumps(data))   
   
   print(f"Status Code: {response.status_code}")   
   print(response.text)
   

2. 進行下列變更：

   1. 在適當的欄位中輸入您的端點 URL 和金鑰。

   2. 在適當的欄位中，輸入您的 GPT-4 Turbo 與視覺部署名稱。

   3. 將欄位的值 "image" 變更為影像的 URL。

      提示

      您也可以使用Base 64編碼影像數據，而不是URL。 如需詳細資訊，請參閱 GPT-4 Turbo with Vision 操作指南。

3. 使用 python 命令執行應用程式：

   python quickstart.py
   

影像提示增強功能

GPT-4 Turbo with Vision 提供對 Azure AI Services 量身打造增強功能的獨佔存取權。 與 Azure AI 視覺結合時，它會提供聊天模型，以提供影像中可見文字和物件位置的更詳細資訊，藉此增強您的聊天體驗。

光學字元辨識（OCR）整合可讓模型針對密集文字、轉換的圖像和大量財務檔產生更高的質量回應。 它也涵蓋更廣泛的語言。

物件地面整合為數據分析和用戶互動帶來了一個新的圖層，因為此功能可以可視化地區分並醒目提示它處理之影像中的重要元素。

警告

適用於 GPT-4 Turbo with Vision 的 Azure AI 增強功能將會與核心功能分開計費。 GPT-4 Turbo 搭配視覺的每個特定 Azure AI 增強功能都有自己的不同費用。 如需詳細資訊，請參閱 特殊定價資訊。

1. 將 quickstart.py 的內容取代為下列程式碼。

   # Packages required:
   import requests 
   import json 
   
   api_base = '<your_azure_openai_endpoint>' 
   deployment_name = '<your_deployment_name>'
   API_KEY = '<your_azure_openai_key>'
   
   base_url = f"{api_base}openai/deployments/{deployment_name}" 
   headers = {   
       "Content-Type": "application/json",   
       "api-key": API_KEY 
   } 
   
   # Prepare endpoint, headers, and request body 
   endpoint = f"{base_url}/extensions/chat/completions?api-version=2023-12-01-preview" 
   data = {
       "model": "gpt-4-vision-preview",
       "enhancements": {
           "ocr": {
             "enabled": True
           },
           "grounding": {
             "enabled": True
           }
       },
       "dataSources": [
       {
           "type": "AzureComputerVision",
           "parameters": {
               "endpoint": "<your_computer_vision_endpoint>",
               "key": "<your_computer_vision_key>"
           }
       }],
       "messages": [ 
           { "role": "system", "content": "You are a helpful assistant." }, 
           { "role": "user", 
           "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url", 
                   "image_url": {
                       "url" : "<image URL>"
                   }
               }
           ]} 
       ], 
       "max_tokens": 2000 
   }   
   
   # Make the API call   
   response = requests.post(endpoint, headers=headers, data=json.dumps(data))   
   
   print(f"Status Code: {response.status_code}")   
   print(response.text)
   

2. 進行下列變更：

   1. 在適當的欄位中，輸入您的 GPT-4 Turbo 與視覺部署名稱。
   2. 在適當的欄位中輸入您的 電腦視覺 端點 URL 和金鑰。
   3. 將欄位的值 "image" 變更為影像的 URL。

      提示

      您也可以使用Base 64編碼影像數據，而不是URL。 如需詳細資訊，請參閱 GPT-4 Turbo with Vision 操作指南。

3. 使用 python 命令執行應用程式：

   python quickstart.py
   

影片提示增強功能

影片提示整合超出本快速入門的範圍。 如需以程序設計方式在聊天完成中設定視訊提示的詳細指示，請參閱 GPT-4 Turbo with Vision 操作指南。

清除資源

如果您想要清除和移除 Azure OpenAI 資源，則可以刪除資源或資源群組。 刪除資源群組也會刪除與其相關聯的任何其他資源。

• Azure 入口網站
• Azure CLI

使用本文開始使用 Azure OpenAI Python SDK 來部署並使用 GPT-4 Turbo 搭配視覺模型。

程式庫原始程式碼 | 套件 (NuGet) |

必要條件

• Azure 訂用帳戶。 免費建立一個。
• 在所需的 Azure 訂用帳戶中授與 Azure OpenAI 的存取權。 目前只有應用程式會授予此服務的存取權。 您可以填妥 https://aka.ms/oai/access 的表單，以申請 Azure OpenAI 的存取權。 如有問題，請在此存放庫中提出問題來與我們連絡。
• Python 3.8 或更新版本。
• 下列 Python 連結庫： os
• 已部署具有 GPT-4 Turbo 與視覺模型的 Azure OpenAI 服務資源。 如需可用區域，請參閱 GPT-4 和 GPT-4 Turbo Preview 模型可用性 。 如需資源建立的詳細資訊，請參閱 資源部署指南。
• 針對視覺增強功能（選擇性）：Azure 電腦視覺 Azure 電腦視覺 Azure OpenAI 資源位於付費 （S1） 層中的 Azure OpenAI 資源。

設定

使用下列項目安裝 OpenAI Python 用戶端程式庫：

pip install openai

注意

程式庫是由 OpenAI 進行維護。 參照版本歷程記錄來追蹤程式庫的最新更新。

擷取金鑰和端點

若要成功對 Azure OpenAI 進行呼叫，您需要端點和金鑰。

變數名稱	值
ENDPOINT	從 Azure 入口網站查看您的資源時，可以在 [金鑰與端點] 區段中找到此值。 或者，您可以在 [Azure OpenAI Studio]>[遊樂場]>[程式碼檢視] 中找到該值。 範例端點為：https://docs-test-001.openai.azure.com/。
API-KEY	從 Azure 入口網站查看您的資源時，可以在 [金鑰與端點] 區段中找到此值。 您可以使用 KEY1 或 KEY2。

移至您在 Azure 入口網站中的資源。 您可以在 [資源管理] 區段中找到 [金鑰和端點] 區段。 複製您的端點和存取金鑰，因為您需要這兩者才能驗證 API 呼叫。 您可以使用 KEY1 或 KEY2。 隨時持有兩個金鑰可讓您安全地輪替和重新產生金鑰，而不會造成服務中斷。

環境變數

為您的金鑰和端點建立及指派永續性環境變數。

命令列

setx AZURE_OPENAI_API_KEY "REPLACE_WITH_YOUR_KEY_VALUE_HERE" 
setx AZURE_OPENAI_ENDPOINT "REPLACE_WITH_YOUR_ENDPOINT_HERE" 

PowerShell

[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_API_KEY', 'REPLACE_WITH_YOUR_KEY_VALUE_HERE', 'User')
[System.Environment]::SetEnvironmentVariable('AZURE_OPENAI_ENDPOINT', 'REPLACE_WITH_YOUR_ENDPOINT_HERE', 'User')

Bash

export AZURE_OPENAI_API_KEY="REPLACE_WITH_YOUR_KEY_VALUE_HERE"
export AZURE_OPENAI_ENDPOINT="REPLACE_WITH_YOUR_ENDPOINT_HERE"

建立新的 Python 應用程式

建立命名為 quickstart.py 的新 Python 檔案。 在您慣用的編輯器或整合式開發環境 (IDE) 中，開啟新檔案。

影像提示

1. 將 quickstart.py 的內容取代為下列程式碼。

   from openai import AzureOpenAI
   
   api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
   api_key= os.getenv("AZURE_OPENAI_API_KEY")
   deployment_name = '<your_deployment_name>'
   api_version = '2023-12-01-preview' # this might change in the future
   
   client = AzureOpenAI(
       api_key=api_key,  
       api_version=api_version,
       base_url=f"{api_base}/openai/deployments/{deployment_name}"
   )
   
   response = client.chat.completions.create(
       model=deployment_name,
       messages=[
           { "role": "system", "content": "You are a helpful assistant." },
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ],
       max_tokens=2000 
   )
   
   print(response)
   

2. 進行下列變更：

   1. 在適當的欄位中，輸入 GPT-4 Turbo 與視覺部署的名稱。
   2. 將欄位的值 "url" 變更為影像的 URL。

      提示

      您也可以使用Base 64編碼影像數據，而不是URL。 如需詳細資訊，請參閱 GPT-4 Turbo with Vision 操作指南。

3. 使用 python 命令執行應用程式：

   python quickstart.py
   

影像提示增強功能

GPT-4 Turbo with Vision 提供對 Azure AI Services 量身打造增強功能的獨佔存取權。 與 Azure AI 視覺結合時，它會提供聊天模型，以提供影像中可見文字和物件位置的更詳細資訊，藉此增強您的聊天體驗。

光學字元辨識（OCR）整合可讓模型針對密集文字、轉換的圖像和大量財務檔產生更高的質量回應。 它也涵蓋更廣泛的語言。

物件地面整合為數據分析和用戶互動帶來了一個新的圖層，因為此功能可以可視化地區分並醒目提示它處理之影像中的重要元素。

警告

適用於 GPT-4 Turbo with Vision 的 Azure AI 增強功能將會與核心功能分開計費。 GPT-4 Turbo 搭配視覺的每個特定 Azure AI 增強功能都有自己的不同費用。 如需詳細資訊，請參閱 特殊定價資訊。

1. 將 quickstart.py 的內容取代為下列程式碼。

   from openai import AzureOpenAI
   
   api_base = os.getenv("AZURE_OPENAI_ENDPOINT")
   api_key= os.getenv("AZURE_OPENAI_API_KEY")
   deployment_name = '<your_deployment_name>'
   api_version = '2023-12-01-preview' # this might change in the future
   
   client = AzureOpenAI(
       api_key=api_key,  
       api_version=api_version,
       base_url=f"{api_base}/openai/deployments/{deployment_name}/extensions",
   )
   
   response = client.chat.completions.create(
       model=deployment_name,
       messages=[
           { "role": "system", "content": "You are a helpful assistant." },
           { "role": "user", "content": [  
               { 
                   "type": "text", 
                   "text": "Describe this picture:" 
               },
               { 
                   "type": "image_url",
                   "image_url": {
                       "url": "<image URL>"
                   }
               }
           ] } 
       ],
       extra_body={
           "dataSources": [
               {
                   "type": "AzureComputerVision",
                   "parameters": {
                       "endpoint": "<your_computer_vision_endpoint>",
                       "key": "<your_computer_vision_key>"
                   }
               }],
           "enhancements": {
               "ocr": {
                   "enabled": True
               },
               "grounding": {
                   "enabled": True
               }
           }
       },
       max_tokens=2000
   )
   
   print(response)
   

2. 進行下列變更：

   1. 在適當的欄位中，輸入您的 GPT-4 Turbo 與視覺部署名稱。
   2. 在適當的欄位中輸入您的 電腦視覺 端點 URL 和金鑰。
   3. 將欄位的值 "url" 變更為影像的 URL。

      提示

      您也可以使用Base 64編碼影像數據，而不是URL。 如需詳細資訊，請參閱 GPT-4 Turbo with Vision 操作指南。

3. 使用 python 命令執行應用程式：

   python quickstart.py
   

影片提示增強功能

影片提示整合超出本快速入門的範圍。 如需以程序設計方式在聊天完成中設定視訊提示的詳細指示，請參閱 GPT-4 Turbo with Vision 操作指南。

清除資源

如果您想要清除和移除 Azure OpenAI 資源，則可以刪除資源或資源群組。 刪除資源群組也會刪除與其相關聯的任何其他資源。

• Azure 入口網站
• Azure CLI

下一步

• 深入瞭解 GPT-4 Turbo 中的這些 API 與視覺操作指南
• GPT-4 Turbo with Vision 常見問題
• GPT-4 Turbo with Vision API 參考