Azure OpenAI 常見問題

資料與隱私

你們有使用我公司資料來訓練模型嗎？

Azure OpenAI 不會用客戶資料來重新訓練模型。 欲了解更多資訊，請參閱 Azure OpenAI 資料、隱私與安全指南。

概述

Azure OpenAI 支援自訂 API 標頭嗎？ 我們在 API 請求中附加了額外的自訂標頭，但卻出現 HTTP 431 失敗錯誤。

我們目前的 API 允許最多 10 個自訂標頭，這些標頭會經過管線傳遞並回傳。 我們注意到部分客戶現在超過標頭數，導致 HTTP 431 錯誤。 這個錯誤沒有解決方法，除了減少標頭容量。 未來的 API 版本中，我們將不再傳遞自訂標頭。 我們建議客戶未來系統架構不要依賴自訂標頭。

Azure OpenAI 是否能搭配 OpenAI 發布的最新 Python 函式庫（版本>=1.0）？

Azure OpenAI 由最新版本的 OpenAI Python函式庫（版本>=1.0） 支援。 不過，重要的是要注意，使用 openai migrate 遷移程式碼庫並不被支援，且不適用於針對 Azure OpenAI 的程式碼。

Azure OpenAI 的能力與 OpenAI 相比如何？

Azure OpenAI 為客戶提供先進的語言 AI，採用最新的 OpenAI 模型，並具備 Azure 的安全性與企業承諾。 Azure OpenAI 與 OpenAI 共同開發 API，確保相容性及雙方順利銜接。

透過 Azure OpenAI，客戶在運行與 OpenAI 相同的模型的同時，也能享有 Microsoft Azure 的安全功能。

Azure OpenAI 支援 VNET 和私有端點嗎？

是的，Azure OpenAI 支援 VNETs 和私有端點。 欲了解更多，請參閱 虛擬網路指南。

我該如何申請新的使用案例？

過去新增使用案例的流程需要客戶重新申請服務。 現在，我們推出了一個新流程，讓你能快速為服務新增使用情境。 此流程遵循 Azure OpenAI 中既定的有限存取程序。 現有客戶可以在這裡證明所有新的使用案例。 請注意，只要你想用該服務做原本沒申請的新用途，這都是必須的。

我正在嘗試使用嵌入，結果收到錯誤訊息「InvalidRequestError：輸入過多」。 最大輸入數為16個。」 我該怎麼解決這個問題？

這個錯誤通常發生在你嘗試將一批文字嵌入單一 API 請求中的陣列時。 目前 Azure OpenAI 僅支援多輸入的嵌入向量陣列，針對 text-embedding-ada-002 版本 2 模型。 此模型版本支援每個 API 請求最多包含 16 個輸入的陣列。 使用文本嵌入 ada-002（版本 2）模型時，陣列長度可達 8,191 個標記。

當我問它用的是哪個型號時，它告訴我它用的是不同版本。 為什麼會這樣？

Azure OpenAI 模型無法正確辨識執行的模型是預期中的行為。

為什麼會這樣？

最終，模型會根據你的問題進行下一個代幣預測。 模型本身沒有原生功能可以查詢目前執行的模型版本來回答你的問題。 回答這個問題，你可以直接到 Microsoft Foundry>Deployments 或 Models + endpoints>，查詢模型名稱欄位，確認目前與某個部署名稱相關聯的模型。

「你正在執行哪個模型？」或「OpenAI 最新的模型是什麼？」這些問題，產生的品質與問模型今天天氣狀況相似。 它可能會回傳正確結果，但純粹是機率。 單靠模型本身，除了訓練資料之外，並無其他真實世界的資訊。 以GPT-4為例，截至2023年8月，底層訓練資料僅涵蓋至2021年9月。 GPT-4 直到 2023 年 3 月才推出，因此除非 OpenAI 發布帶有更新訓練資料的新版本，或是針對這些特定問題進行微調的新版本，否則 GPT-4 通常會回應 GPT-3 是 OpenAI 最新的模型版本。

如果你想幫助基於 GPT 的模型準確回應「你正在運行哪個模型？」這個問題，你需要透過像是提示工程技術提供資訊給模型，例如修改模型的系統訊息、檢索增強生成（RAG）（這是Azure OpenAI 在你的資料上使用的技術，會在查詢時將即時更新的資訊注入系統訊息中），或透過微調，你可以根據模型版本微調特定版本的模型，以特定方式回答該問題。

想了解更多 GPT 模型的訓練與運作方式，我們建議觀看 Andrej Apathy 在 Build 2023 關於 GPT 現況的演講。

我該如何讓模型用特定語言回應？

確保你的提示清楚且具體地說明語言要求。 如果問題持續，可以考慮加入更多上下文或重新表述提示，以強化語言指令。

範例提示：

• 「請用英文且只用英文回應。」
• 「請用英文回答以下問題：弗雷斯諾的天氣如何？」

我問模型的知識截止時間，它給的答案和 Azure OpenAI 模型頁面上的答案不同。 為什麼會這樣？

這是預期中的行為。 模型無法回答關於自己的問題。 如果你想知道模型訓練資料的知識截止時間，請參考 模型頁面。

我問了模型一個關於最近發生的事情的問題，在知識截止前，它答錯了。 為什麼會這樣？

這是預期中的行為。 首先，不能保證每一個近期事件都包含在模型的訓練資料中。 即使訓練資料中包含資訊，若不使用像檢索增強生成（RAG）這類額外技術來幫助模型回應紮根，仍有可能出現無根基的反應。 Azure OpenAI 的 use your data feature 以及 Bing Chat 都使用了 Azure OpenAI 模型結合檢索增強生成技術，以協助更好地支持模型回應。

某一資訊在訓練資料中出現的頻率，也會影響模型以特定方式回應的可能性。

如果問模型最近改變了什麼，比如「誰是紐西蘭總理？」，很可能會得到捏造的回答 Jacinda Ardern。 然而，當問模型「什麼時候 Jacinda Ardern 辭去首相職務？」通常能給出準確的回應，顯示訓練資料至少涵蓋到 2023 年 1 月。

因此，雖然可以用問題來探測模型的訓練資料知識門檻，但模型 頁面 是查詢模型知識門檻的最佳場所。

我該在哪裡取得舊有模型的價格資訊，這些模型已不再提供給新部署？

舊有價格資訊可透過可下載的PDF檔案取得。 其他型號請參考 官方定價頁面。

我該如何修正 InternalServerError - 500 錯誤 - 因模型生成了無效的 Unicode 輸出而無法完成創建？

你可以將提示溫度降到低於 1，並確保使用具有重試邏輯的客戶端，來減少這些錯誤的發生。 重新嘗試請求通常會成功回應。

我該如何修復伺服器錯誤（500）：意外特殊標記

這是已知的問題。 你可以將提示溫度降到低於 1，並確保使用具有重試邏輯的客戶端，來減少這些錯誤的發生。 重新嘗試請求通常會成功回應。

如果將溫度降到低於1仍無法降低此錯誤頻率，另一個替代方案是將存在感/頻率懲罰及logit偏誤設為預設值。 在某些情況下，設定 top_p 為非預設值較低的值可能有助於鼓勵模型避免抽樣機率較低的代幣。

我們注意到與未完成的 API 呼叫相關的收費，狀態代碼為 400。 為什麼失敗的 API 呼叫會產生收費？

如果服務執行處理，即使狀態碼不成功（不是200），你也會被收費。 常見的例子包括因內容過濾器導致的 400 錯誤，或因逾時而產生的 408 錯誤。當以 status 200 接收到 finish_reason 並且 content_filter 時，也會產生相關費用。 在此情況下，提示詞本身沒有問題，但模型產生的完成項目被偵測到違反了內容過濾規則，導致完成項目被過濾。 如果服務不執行處理，你不會被收費。 例如，因認證產生 401 錯誤，或因超過 速率限制而產生的 429 錯誤。

所有 Azure OpenAI 模型都支援「聊天完成 API」的參數「max_completion_tokens」嗎？

不，所有Azure OpenAI 模型都不支援 max_completion_tokens。 此參數不支援較舊型號如 GPT-4（turbo-2024-04-09）。

獲取 Azure OpenAI 服務 存取權

我要如何取得 Azure OpenAI 的存取權限？

存取大多數 Azure OpenAI 模型不需要有限存取註冊表。 欲了解更多，請參閱 Azure OpenAI 有限存取頁面。

我的訪客帳號已經獲得了 Azure OpenAI 資源的存取權，但我無法在 [Microsoft Foundry 入口網站](https://ai.azure.com/?cid=learnDocs). 使用該資源。 我該如何啟用存取權限？

這是使用 Microsoft Foundry 預設登入體驗時預期的行為。

要從已獲授權存取 Azure OpenAI 資源的訪客帳號存取 Microsoft Foundry：

1. 開啟一個私人瀏覽器會話，然後導向 https://ai.azure.com。
2. 與其立即輸入訪客帳號憑證，不如選擇 Sign-in options
3. 現在選擇 「登入組織」
4. 輸入授權你訪客帳號存取 Azure OpenAI 資源的組織網域名稱。
5. 現在請用你的訪客帳號登入。

你現在應該可以透過 Microsoft Foundry 入口網站 存取該資源。

或者，如果你已登入 Azure 入口網站，從 Azure OpenAI 資源的「概覽」窗格中，你可以選擇 前往 Microsoft Foundry，以適當的組織內容自動登入。

了解更多資訊及在哪裡提問

我在哪裡可以閱讀 Azure OpenAI 的最新更新？

每月更新請參考我們的 「最新資訊」頁面。

我在哪裡可以接受訓練，開始學習並建立 Azure OpenAI 相關技能？

請參考我們的 OpenAI Azure介紹課程。

我在哪裡可以發問並查看其他常見問題的答案？

• 我們建議在Microsoft 問與答發問。
• 或者，你也可以在 Stack Overflow 上發問。

我該去哪裡尋求 Azure OpenAI 客服支援？

你可以在 support 與幫助選項指南 中了解 Azure OpenAI 的所有支援選項。

模型與微調

有哪些型號可供選擇？

請參閱Azure OpenAI 模型可用性指南。

我可以在哪裡查詢該型號在哪個地區有售？

請參閱 Azure OpenAI model 可用性指南 了解區域可用性。

Azure OpenAI 中的服務等級協議（SLA）是什麼？

我們確實提供所有資源的可用性SLA，也為Provisioned-Managed部署提供延遲SLA。 欲了解更多關於Azure OpenAI 服務服務等級協議（SLA）的資訊，請參閱線上服務服務水準協議（SLA）頁面。

我該如何啟用微調功能？ 在 [Microsoft Foundry portal]（https://ai.azure.com/?cid=learnDocs). 中建立自訂模型時會顯示為灰色。

要成功使用微調功能，你需要被指派 Azure AI 使用者角色。 即使是擁有高階服務管理員權限的人，也仍需明確設定這個帳號才能使用微調功能。 欲了解更多資訊，請參閱 基於角色的存取控制指引。

基礎模型和微調模型有什麼差別？

基礎模型是指尚未針對特定使用情境進行客製化或微調的模型。 微調模型是基礎模型的客製化版本，模型權重會根據一組獨特的提示來訓練。 經過精細調整的模型能讓你在更廣泛的任務上取得更好成果，而不必在完成提示中提供詳細的情境學習範例。 欲了解更多，請參閱我們的 微調指南。

我最多能製作多少微調模型？

100

為什麼我的微調模型部署會被刪除？

若一個客製化（微調）模型部署超過 15 天，期間未進行任何完成或聊天完成的呼叫，該部署將自動刪除（且該部署不再產生額外主機費用）。 底層的客製化模型仍然可用，且可隨時重新部署。 想了解更多，請參考 操作指南文章。

我該如何部署使用 REST API 的模型？

目前有兩種不同的 REST API 允許模型部署。 若使用最新模型部署功能，例如在部署時指定模型版本，例如文本嵌入-ada-002 版本 2，請使用 部署 - 建立或更新 REST API 呼叫。

我可以用配額來增加模型的最大代幣上限嗎？

不，配額每分鐘代幣（TPM）分配與模型的最大輸入代幣限制無關。 模型輸入標記的限制在 模型表 中定義，且不受 TPM 變更影響。

具備視覺的 GPT-4 渦輪

我可以上傳什麼類型的檔案？

我們目前支援 PNG（.png）、JPEG（.jpeg 和 .jpg）、WEBP（.webp）以及非動畫 GIF（.gif）。

我能上傳的圖片大小有限制嗎？

是的，我們限制每張圖片上傳 50 MB。

我可以刪除我上傳的圖片嗎？

不，我們會在模型處理後自動刪除圖片。

GPT-4 Turbo 搭配 Vision 的速率限制是如何運作的？

我們以代幣層級處理圖片，因此每張圖片都會計入你每分鐘代幣數量（TPM）的限制。 有關計算每張圖片標記數的公式，請參閱概覽中的 圖片標記部分 。

GPT-4 Turbo with Vision 能理解影像元資料嗎？

不，模型不會接收影像元資料。

如果我的影像不清楚會怎樣？

如果影像模糊或不清楚，模型會盡力去解讀。 然而，結果可能不那麼準確。 一個不錯的經驗法則是，如果一般人無法在低解析度或高解析度模式看到影像中的資訊，那麼模型也無法理解。

GPT-4 Turbo 搭配視覺有哪些已知限制？

請參閱GPT-4 Turbo with Vision概念指南的 限制 章節。

我用 GPT-4 Turbo 視覺模型時，總是收到截斷的回應。 為什麼會這樣？

預設情況下，GPT-4 vision-preview 和 GPT-4 turbo-2024-04-09 的值為 max_tokens 16。 取決於您的請求，這個數值通常過低，可能導致回覆被截斷。 為了解決這個問題，可以在聊天完成 API 請求中傳遞較大 max_tokens 的值。 GPT-4o 預設為 4096 max_tokens。

助理

你會儲存助理 API 中使用的資料嗎？

是的。 與聊天完成 API 不同，Azure OpenAI 助理是一個有狀態的 API，意即它會保留資料。 助理 API 中儲存兩種資料：

• 有狀態實體：在 Assistant 使用期間建立的執行緒、訊息與運行。
• 檔案：在助理設定時上傳或作為訊息的一部分。

這些資料存放在哪裡？

資料儲存在一個由 Microsoft 管理的安全儲存帳戶中，該帳號邏輯上是分開的。

這些資料會儲存多久？

除非你明確刪除這些資料，否則所有已使用的資料都會保留在這個系統中。 使用帶有你想刪除的執行緒 ID 的 delete 函數。 在助理遊樂場中清除執行程式並不會刪除執行緒，但當使用刪除功能刪除執行緒時，這些執行緒將不會在執行緒頁面中列出。

我可以帶自己的資料儲存庫來搭配助理使用嗎？

不。 目前 Assistants 僅支援上傳到 Assistants 管理儲存的本地檔案。 你不能將私人儲存帳號用於助理。

助理功能是否支援客戶管理的金鑰加密（CMK）？

目前我們在助理中支援 CMK 的執行緒與檔案。

我的資料會被 Microsoft 用於訓練模型嗎？

不。 Microsoft 不會使用資料來訓練模型。 更多資訊請參閱 負責任 AI 文件 。

資料在地理上存放在哪裡？

Azure OpenAI 助理的端點是區域性的，資料會儲存在與端點相同的區域內。 欲了解更多資訊，請參閱 Azure 資料駐留文件。

助理費用如何收費？

• 你所使用的基礎模型的推論成本（包括輸入與輸出）適用於每個助理（例如 gpt-4-0125）。 如果您建立了多個虛擬助理，將會為每個虛擬助理所附的基礎模型收取費用。
• 如果你啟用了 Code Interpreter 工具。 例如，如果你的助理同時在兩個不同執行緒呼叫 Code Interpreter，這會產生兩個 Code Interpreter 會話，每個都會收費。 每個會話預設為一小時的啟用時間，這表示如果你的使用者在同一串中持續向 Code Interpreter 下達指令長達一小時，你只需支付一次這筆費用。
• 檔案搜尋依據所使用的向量儲存方式計費。

欲了解更多資訊，請參閱 價格頁面。

使用助理有沒有額外的價格或配額限制？

不。 所有 配額 都適用於使用有助理的模型。

助理 API 是否支援非 Azure 的 OpenAI 模型？

助理 API 僅支援 Azure OpenAI 模型。

助理 API 普遍可用嗎？

助理 API 目前處於公開預覽階段。 請定期造訪我們的 「最新消息 」頁面，隨時掌握最新產品更新。

有哪些範例或其他資源可以幫助我了解助理？

請參閱概念性操作指南文章，了解如何開始並使用助手。 你也可以在 GitHub 上查看 Azure OpenAI 助理的程式碼範例。

網頁應用程式

我該如何自訂我已發佈的網頁應用程式？

你可以在 Azure 入口網站自訂你已發布的網頁應用程式。 已發佈網頁應用程式的原始碼為 可於 GitHub 取得，您可以在那裡找到更改應用程式前端的資訊，以及建置與部署應用程式的說明。

當我再次從 [Microsoft Foundry 入口]部署應用程式時，我的網頁應用程式會被覆蓋嗎？（https://ai.azure.com/?cid=learnDocs)?

更新應用程式時，你的應用程式程式碼不會被覆寫。 應用程式將更新為使用 Azure OpenAI 資源、Azure AI 搜尋服務索引（如果你的資料上有使用 Azure OpenAI），以及在 Microsoft Foundry 入口網站中選擇的模型設定，外觀或功能不會有任何變動。

使用您的資料

Azure OpenAI 與你的資料有何關聯？

Azure OpenAI 對你的資料是 Azure OpenAI 的一項功能，幫助組織利用指定資料來源產生客製化的洞察、內容與搜尋。 它結合 Azure OpenAI 中 OpenAI 模型的功能，能以自然語言提供更準確且相關的使用者查詢回應。 Azure OpenAI 可以與客戶現有的應用程式和工作流程整合，提供對於關鍵績效指標的見解，並與使用者進行無縫互動。

我該如何存取您的資料中的 Azure OpenAI？

所有 Azure OpenAI 客戶皆可透過 Microsoft Foundry 入口 和 Rest API，於您的資料上使用 Azure OpenAI。

你的 Azure OpenAI 支援哪些資料來源？

Azure OpenAI 在你的資料上支援從 Azure AI 搜尋服務、Azure Blob 儲存體 的擷取，以及上傳本地檔案。 你可以參考 conceptual article 和 quickstart 來了解更多有關 Azure OpenAI 的資訊。

使用 Azure OpenAI 處理你的資料需要多少費用？

當你對資料使用 Azure OpenAI 時，使用 Azure AI 搜尋服務、Azure Blob 儲存體、Azure Web App Service、語意搜尋和 OpenAI 模型時，會產生費用。 使用 Microsoft Foundry 入口網站 的「您的資料」功能不會額外付費。

我該如何自訂或自動化索引建立流程？

你可以自己用 GitHub 提供的 腳本來製作索引。 使用這個腳本會建立一個 Azure AI 搜尋服務 索引，包含所有需要的資訊，幫助你更好地利用資料，並將文件拆解成易於管理的區塊。 請參閱包含資料準備程式碼的 README 檔案，了解如何執行。

我該如何更新我的索引？

你可以排程自動索引刷新，或是將額外資料上傳到你的Azure Blob 容器，並在建立新索引時將其作為資料來源。 新的索引會包含你容器中的所有資料。

你的資料中 Azure OpenAI 支援哪些檔案類型？

請參閱 「使用你的資料 」以獲得更多支援檔案類型的資訊。

Azure OpenAI 是否支援你的資料中的負責任 AI？

是的，Azure 上的 OpenAI 可與您的資料一起運行 是 Azure OpenAI 的一部分，並且能使用 Azure OpenAI 中的 模型。 Azure OpenAI 的 內容過濾 及濫用監控功能仍然適用於 Azure OpenAI。 欲了解更多資訊，請參閱 Azure OpenAI 模型的負責任 AI 實務概述，以取得關於如何在您的資料上負責任地使用 Azure OpenAI 的額外指引。

系統訊息有代幣限制嗎？

是的，系統訊息的代幣上限是 400。 如果系統訊息超過 400 個代幣，超過前 400 個代幣後的代幣將被忽略。 此限制僅適用於 Azure OpenAI on your data 功能。

Azure OpenAI 在您的資料上是否支援函式呼叫？

你資料上的 Azure OpenAI 目前不支援函式呼叫。

查詢語言和資料來源語言需要相同嗎？

你必須用與資料相同的語言發送查詢。 你的資料可以用Azure AI 搜尋服務支援的任何語言。

如果我的 Azure AI 搜尋服務 資源啟用語意搜尋，是否會自動套用於 Azure OpenAI 在您的資料上 [Microsoft Foundry portal] https://ai.azure.com/?cid=learnDocs)?

當你選擇「Azure AI 搜尋服務」作為資料來源時，可以選擇套用語意搜尋。 如果你選擇「Azure Blob Container」或「上傳檔案」作為資料來源，就可以像平常一樣建立索引。 接著你用「Azure AI 搜尋服務」選項重新輸入資料，選擇相同的索引並套用語意搜尋。 接著，你將能透過語意搜尋在你的數據上進行交談。

我在索引資料時要如何加入向量嵌入？

當你選擇「Azure Blob Container」、「Azure AI 搜尋服務」或「Upload files」作為資料來源時，你也可以選擇 Ada 嵌入模型部署來用於資料擷取。 這將建立一個帶有向量嵌入的 Azure AI 搜尋服務 索引。

為什麼我加入嵌入模型後，索引建立還是失敗了？

若將嵌入添加到您的索引時失敗，可能是因為您部署的 Ada 嵌入模型速率限制過低，或者因為文件集規模過大。 你可以使用GitHub提供的腳本手動建立帶有嵌入的索引。

客戶版權承諾

我該如何取得客戶版權承諾的保障？

客戶著作權承諾條款將納入2023年12月1日的Microsoft產品條款中，描述Microsoft有義務為客戶對抗與輸出內容相關的第三方智慧財產權主張。 若索賠主題為由 Azure OpenAI（或其他允許客戶配置安全系統的受保護產品）產生的輸出內容，則要獲得保障，客戶必須在交付輸出內容的產品中實施 Azure OpenAI 文件中所需的所有緩解措施。 所需的緩解措施在此有 記錄，並 持續更新。 對於新的服務、功能、模型或使用案例，新的 CCC 需求將發布，並於該服務、功能、模型或使用案例上線時或之後生效。 否則，客戶將有六個月的時間從發表日起實施新的緩解措施，以維持CCC的保障。 若客戶提出理賠，需證明符合相關要求。 這些緩解措施是針對允許用戶配置安全系統（包括 Azure OpenAI 服務）的涵蓋產品所必需;但不影響使用其他涵蓋產品的客戶的保障。

下一步

• Azure OpenAI 配額與限制
• Azure OpenAI：有什麼新消息
• Azure OpenAI 快速入門

Azure OpenAI 不會用客戶資料來重新訓練模型。 欲了解更多資訊，請參閱 Azure OpenAI 資料、隱私與安全指南。

我們目前的 API 允許最多 10 個自訂標頭，這些標頭會經過管線傳遞並回傳。 我們注意到部分客戶現在超過標頭數，導致 HTTP 431 錯誤。 這個錯誤沒有解決方法，除了減少標頭容量。 未來的 API 版本中，我們將不再傳遞自訂標頭。 我們建議客戶未來系統架構不要依賴自訂標頭。

Azure OpenAI 由最新版本的 OpenAI Python函式庫（版本>=1.0） 支援。 不過，重要的是要注意，使用 openai migrate 遷移程式碼庫並不被支援，且不適用於針對 Azure OpenAI 的程式碼。

Azure OpenAI 為客戶提供先進的語言 AI，採用最新的 OpenAI 模型，並具備 Azure 的安全性與企業承諾。 Azure OpenAI 與 OpenAI 共同開發 API，確保相容性及雙方順利銜接。

透過 Azure OpenAI，客戶在運行與 OpenAI 相同的模型的同時，也能享有 Microsoft Azure 的安全功能。

是的，Azure OpenAI 支援 VNETs 和私有端點。 欲了解更多，請參閱 虛擬網路指南。

過去新增使用案例的流程需要客戶重新申請服務。 現在，我們推出了一個新流程，讓你能快速為服務新增使用情境。 此流程遵循 Azure OpenAI 中既定的有限存取程序。 現有客戶可以在這裡證明所有新的使用案例。 請注意，只要你想用該服務做原本沒申請的新用途，這都是必須的。

這個錯誤通常發生在你嘗試將一批文字嵌入單一 API 請求中的陣列時。 目前 Azure OpenAI 僅支援多輸入的嵌入向量陣列，針對 text-embedding-ada-002 版本 2 模型。 此模型版本支援每個 API 請求最多包含 16 個輸入的陣列。 使用文本嵌入 ada-002（版本 2）模型時，陣列長度可達 8,191 個標記。

Azure OpenAI 模型無法正確辨識執行的模型是預期中的行為。

為什麼會這樣？

最終，模型會根據你的問題進行下一個代幣預測。 模型本身沒有原生功能可以查詢目前執行的模型版本來回答你的問題。 回答這個問題，你可以直接到 Microsoft Foundry>Deployments 或 Models + endpoints>，查詢模型名稱欄位，確認目前與某個部署名稱相關聯的模型。

「你正在執行哪個模型？」或「OpenAI 最新的模型是什麼？」這些問題，產生的品質與問模型今天天氣狀況相似。 它可能會回傳正確結果，但純粹是機率。 單靠模型本身，除了訓練資料之外，並無其他真實世界的資訊。 以GPT-4為例，截至2023年8月，底層訓練資料僅涵蓋至2021年9月。 GPT-4 直到 2023 年 3 月才推出，因此除非 OpenAI 發布帶有更新訓練資料的新版本，或是針對這些特定問題進行微調的新版本，否則 GPT-4 通常會回應 GPT-3 是 OpenAI 最新的模型版本。

如果你想幫助基於 GPT 的模型準確回應「你正在運行哪個模型？」這個問題，你需要透過像是提示工程技術提供資訊給模型，例如修改模型的系統訊息、檢索增強生成（RAG）（這是Azure OpenAI 在你的資料上使用的技術，會在查詢時將即時更新的資訊注入系統訊息中），或透過微調，你可以根據模型版本微調特定版本的模型，以特定方式回答該問題。

想了解更多 GPT 模型的訓練與運作方式，我們建議觀看 Andrej Apathy 在 Build 2023 關於 GPT 現況的演講。

確保你的提示清楚且具體地說明語言要求。 如果問題持續，可以考慮加入更多上下文或重新表述提示，以強化語言指令。

範例提示：

• 「請用英文且只用英文回應。」
• 「請用英文回答以下問題：弗雷斯諾的天氣如何？」

這是預期中的行為。 模型無法回答關於自己的問題。 如果你想知道模型訓練資料的知識截止時間，請參考 模型頁面。

這是預期中的行為。 首先，不能保證每一個近期事件都包含在模型的訓練資料中。 即使訓練資料中包含資訊，若不使用像檢索增強生成（RAG）這類額外技術來幫助模型回應紮根，仍有可能出現無根基的反應。 Azure OpenAI 的 use your data feature 以及 Bing Chat 都使用了 Azure OpenAI 模型結合檢索增強生成技術，以協助更好地支持模型回應。

某一資訊在訓練資料中出現的頻率，也會影響模型以特定方式回應的可能性。

如果問模型最近改變了什麼，比如「誰是紐西蘭總理？」，很可能會得到捏造的回答 Jacinda Ardern。 然而，當問模型「什麼時候 Jacinda Ardern 辭去首相職務？」通常能給出準確的回應，顯示訓練資料至少涵蓋到 2023 年 1 月。

因此，雖然可以用問題來探測模型的訓練資料知識門檻，但模型 頁面 是查詢模型知識門檻的最佳場所。

舊有價格資訊可透過可下載的PDF檔案取得。 其他型號請參考 官方定價頁面。

你可以將提示溫度降到低於 1，並確保使用具有重試邏輯的客戶端，來減少這些錯誤的發生。 重新嘗試請求通常會成功回應。

這是已知的問題。 你可以將提示溫度降到低於 1，並確保使用具有重試邏輯的客戶端，來減少這些錯誤的發生。 重新嘗試請求通常會成功回應。

如果將溫度降到低於1仍無法降低此錯誤頻率，另一個替代方案是將存在感/頻率懲罰及logit偏誤設為預設值。 在某些情況下，設定 top_p 為非預設值較低的值可能有助於鼓勵模型避免抽樣機率較低的代幣。

如果服務執行處理，即使狀態碼不成功（不是200），你也會被收費。 常見的例子包括因內容過濾器導致的 400 錯誤，或因逾時而產生的 408 錯誤。當以 status 200 接收到 finish_reason 並且 content_filter 時，也會產生相關費用。 在此情況下，提示詞本身沒有問題，但模型產生的完成項目被偵測到違反了內容過濾規則，導致完成項目被過濾。 如果服務不執行處理，你不會被收費。 例如，因認證產生 401 錯誤，或因超過 速率限制而產生的 429 錯誤。

不，所有Azure OpenAI 模型都不支援 max_completion_tokens。 此參數不支援較舊型號如 GPT-4（turbo-2024-04-09）。

存取大多數 Azure OpenAI 模型不需要有限存取註冊表。 欲了解更多，請參閱 Azure OpenAI 有限存取頁面。

這是使用 Microsoft Foundry 預設登入體驗時預期的行為。

要從已獲授權存取 Azure OpenAI 資源的訪客帳號存取 Microsoft Foundry：

1. 開啟一個私人瀏覽器會話，然後導向 https://ai.azure.com。
2. 與其立即輸入訪客帳號憑證，不如選擇 Sign-in options
3. 現在選擇 「登入組織」
4. 輸入授權你訪客帳號存取 Azure OpenAI 資源的組織網域名稱。
5. 現在請用你的訪客帳號登入。

你現在應該可以透過 Microsoft Foundry 入口網站 存取該資源。

或者，如果你已登入 Azure 入口網站，從 Azure OpenAI 資源的「概覽」窗格中，你可以選擇 前往 Microsoft Foundry，以適當的組織內容自動登入。

每月更新請參考我們的 「最新資訊」頁面。

請參考我們的 OpenAI Azure介紹課程。

• 我們建議在Microsoft 問與答發問。
• 或者，你也可以在 Stack Overflow 上發問。

你可以在 support 與幫助選項指南 中了解 Azure OpenAI 的所有支援選項。

請參閱Azure OpenAI 模型可用性指南。

請參閱 Azure OpenAI model 可用性指南 了解區域可用性。

我們確實提供所有資源的可用性SLA，也為Provisioned-Managed部署提供延遲SLA。 欲了解更多關於Azure OpenAI 服務服務等級協議（SLA）的資訊，請參閱線上服務服務水準協議（SLA）頁面。

要成功使用微調功能，你需要被指派 Azure AI 使用者角色。 即使是擁有高階服務管理員權限的人，也仍需明確設定這個帳號才能使用微調功能。 欲了解更多資訊，請參閱 基於角色的存取控制指引。

基礎模型是指尚未針對特定使用情境進行客製化或微調的模型。 微調模型是基礎模型的客製化版本，模型權重會根據一組獨特的提示來訓練。 經過精細調整的模型能讓你在更廣泛的任務上取得更好成果，而不必在完成提示中提供詳細的情境學習範例。 欲了解更多，請參閱我們的 微調指南。

100

若一個客製化（微調）模型部署超過 15 天，期間未進行任何完成或聊天完成的呼叫，該部署將自動刪除（且該部署不再產生額外主機費用）。 底層的客製化模型仍然可用，且可隨時重新部署。 想了解更多，請參考 操作指南文章。

目前有兩種不同的 REST API 允許模型部署。 若使用最新模型部署功能，例如在部署時指定模型版本，例如文本嵌入-ada-002 版本 2，請使用 部署 - 建立或更新 REST API 呼叫。

不，配額每分鐘代幣（TPM）分配與模型的最大輸入代幣限制無關。 模型輸入標記的限制在 模型表 中定義，且不受 TPM 變更影響。

我們目前支援 PNG（.png）、JPEG（.jpeg 和 .jpg）、WEBP（.webp）以及非動畫 GIF（.gif）。

是的，我們限制每張圖片上傳 50 MB。

不，我們會在模型處理後自動刪除圖片。

我們以代幣層級處理圖片，因此每張圖片都會計入你每分鐘代幣數量（TPM）的限制。 有關計算每張圖片標記數的公式，請參閱概覽中的 圖片標記部分 。

不，模型不會接收影像元資料。

如果影像模糊或不清楚，模型會盡力去解讀。 然而，結果可能不那麼準確。 一個不錯的經驗法則是，如果一般人無法在低解析度或高解析度模式看到影像中的資訊，那麼模型也無法理解。

請參閱GPT-4 Turbo with Vision概念指南的 限制 章節。

預設情況下，GPT-4 vision-preview 和 GPT-4 turbo-2024-04-09 的值為 max_tokens 16。 取決於您的請求，這個數值通常過低，可能導致回覆被截斷。 為了解決這個問題，可以在聊天完成 API 請求中傳遞較大 max_tokens 的值。 GPT-4o 預設為 4096 max_tokens。

是的。 與聊天完成 API 不同，Azure OpenAI 助理是一個有狀態的 API，意即它會保留資料。 助理 API 中儲存兩種資料：

• 有狀態實體：在 Assistant 使用期間建立的執行緒、訊息與運行。
• 檔案：在助理設定時上傳或作為訊息的一部分。

資料儲存在一個由 Microsoft 管理的安全儲存帳戶中，該帳號邏輯上是分開的。

除非你明確刪除這些資料，否則所有已使用的資料都會保留在這個系統中。 使用帶有你想刪除的執行緒 ID 的 delete 函數。 在助理遊樂場中清除執行程式並不會刪除執行緒，但當使用刪除功能刪除執行緒時，這些執行緒將不會在執行緒頁面中列出。

不。 目前 Assistants 僅支援上傳到 Assistants 管理儲存的本地檔案。 你不能將私人儲存帳號用於助理。

目前我們在助理中支援 CMK 的執行緒與檔案。

不。 Microsoft 不會使用資料來訓練模型。 更多資訊請參閱 負責任 AI 文件 。

Azure OpenAI 助理的端點是區域性的，資料會儲存在與端點相同的區域內。 欲了解更多資訊，請參閱 Azure 資料駐留文件。

• 你所使用的基礎模型的推論成本（包括輸入與輸出）適用於每個助理（例如 gpt-4-0125）。 如果您建立了多個虛擬助理，將會為每個虛擬助理所附的基礎模型收取費用。
• 如果你啟用了 Code Interpreter 工具。 例如，如果你的助理同時在兩個不同執行緒呼叫 Code Interpreter，這會產生兩個 Code Interpreter 會話，每個都會收費。 每個會話預設為一小時的啟用時間，這表示如果你的使用者在同一串中持續向 Code Interpreter 下達指令長達一小時，你只需支付一次這筆費用。
• 檔案搜尋依據所使用的向量儲存方式計費。

欲了解更多資訊，請參閱 價格頁面。

不。 所有 配額 都適用於使用有助理的模型。

助理 API 僅支援 Azure OpenAI 模型。

助理 API 目前處於公開預覽階段。 請定期造訪我們的 「最新消息 」頁面，隨時掌握最新產品更新。

請參閱概念性操作指南文章，了解如何開始並使用助手。 你也可以在 GitHub 上查看 Azure OpenAI 助理的程式碼範例。

你可以在 Azure 入口網站自訂你已發布的網頁應用程式。 已發佈網頁應用程式的原始碼為 可於 GitHub 取得，您可以在那裡找到更改應用程式前端的資訊，以及建置與部署應用程式的說明。

更新應用程式時，你的應用程式程式碼不會被覆寫。 應用程式將更新為使用 Azure OpenAI 資源、Azure AI 搜尋服務索引（如果你的資料上有使用 Azure OpenAI），以及在 Microsoft Foundry 入口網站中選擇的模型設定，外觀或功能不會有任何變動。

Azure OpenAI 對你的資料是 Azure OpenAI 的一項功能，幫助組織利用指定資料來源產生客製化的洞察、內容與搜尋。 它結合 Azure OpenAI 中 OpenAI 模型的功能，能以自然語言提供更準確且相關的使用者查詢回應。 Azure OpenAI 可以與客戶現有的應用程式和工作流程整合，提供對於關鍵績效指標的見解，並與使用者進行無縫互動。

所有 Azure OpenAI 客戶皆可透過 Microsoft Foundry 入口 和 Rest API，於您的資料上使用 Azure OpenAI。

Azure OpenAI 在你的資料上支援從 Azure AI 搜尋服務、Azure Blob 儲存體 的擷取，以及上傳本地檔案。 你可以參考 conceptual article 和 quickstart 來了解更多有關 Azure OpenAI 的資訊。

當你對資料使用 Azure OpenAI 時，使用 Azure AI 搜尋服務、Azure Blob 儲存體、Azure Web App Service、語意搜尋和 OpenAI 模型時，會產生費用。 使用 Microsoft Foundry 入口網站 的「您的資料」功能不會額外付費。

你可以自己用 GitHub 提供的 腳本來製作索引。 使用這個腳本會建立一個 Azure AI 搜尋服務 索引，包含所有需要的資訊，幫助你更好地利用資料，並將文件拆解成易於管理的區塊。 請參閱包含資料準備程式碼的 README 檔案，了解如何執行。

你可以排程自動索引刷新，或是將額外資料上傳到你的Azure Blob 容器，並在建立新索引時將其作為資料來源。 新的索引會包含你容器中的所有資料。

請參閱 「使用你的資料 」以獲得更多支援檔案類型的資訊。

是的，Azure 上的 OpenAI 可與您的資料一起運行 是 Azure OpenAI 的一部分，並且能使用 Azure OpenAI 中的 模型。 Azure OpenAI 的 內容過濾 及濫用監控功能仍然適用於 Azure OpenAI。 欲了解更多資訊，請參閱 Azure OpenAI 模型的負責任 AI 實務概述，以取得關於如何在您的資料上負責任地使用 Azure OpenAI 的額外指引。

是的，系統訊息的代幣上限是 400。 如果系統訊息超過 400 個代幣，超過前 400 個代幣後的代幣將被忽略。 此限制僅適用於 Azure OpenAI on your data 功能。

你資料上的 Azure OpenAI 目前不支援函式呼叫。

你必須用與資料相同的語言發送查詢。 你的資料可以用Azure AI 搜尋服務支援的任何語言。

當你選擇「Azure AI 搜尋服務」作為資料來源時，可以選擇套用語意搜尋。 如果你選擇「Azure Blob Container」或「上傳檔案」作為資料來源，就可以像平常一樣建立索引。 接著你用「Azure AI 搜尋服務」選項重新輸入資料，選擇相同的索引並套用語意搜尋。 接著，你將能透過語意搜尋在你的數據上進行交談。

當你選擇「Azure Blob Container」、「Azure AI 搜尋服務」或「Upload files」作為資料來源時，你也可以選擇 Ada 嵌入模型部署來用於資料擷取。 這將建立一個帶有向量嵌入的 Azure AI 搜尋服務 索引。

若將嵌入添加到您的索引時失敗，可能是因為您部署的 Ada 嵌入模型速率限制過低，或者因為文件集規模過大。 你可以使用GitHub提供的腳本手動建立帶有嵌入的索引。

客戶著作權承諾條款將納入2023年12月1日的Microsoft產品條款中，描述Microsoft有義務為客戶對抗與輸出內容相關的第三方智慧財產權主張。 若索賠主題為由 Azure OpenAI（或其他允許客戶配置安全系統的受保護產品）產生的輸出內容，則要獲得保障，客戶必須在交付輸出內容的產品中實施 Azure OpenAI 文件中所需的所有緩解措施。 所需的緩解措施在此有 記錄，並 持續更新。 對於新的服務、功能、模型或使用案例，新的 CCC 需求將發布，並於該服務、功能、模型或使用案例上線時或之後生效。 否則，客戶將有六個月的時間從發表日起實施新的緩解措施，以維持CCC的保障。 若客戶提出理賠，需證明符合相關要求。 這些緩解措施是針對允許用戶配置安全系統（包括 Azure OpenAI 服務）的涵蓋產品所必需;但不影響使用其他涵蓋產品的客戶的保障。

下一步

• Azure OpenAI 配額與限制
• Azure OpenAI：有什麼新消息
• Azure OpenAI 快速入門