Azure OpenAI 服務常見問題集

Azure OpenAI 不會使用客戶資料來重新訓練模型。 如需詳細資訊，請參閱 Azure OpenAI 資料、隱私權和安全性指南。

我們目前的 API 最多允許 10 個自訂標頭，這些標頭會透過管線傳遞並傳回。 我們注意到目前有一些客戶已超過此標頭數量，進而導致 HTTP 431 錯誤。 除了減少標頭數量外，沒有其他針對此錯誤的解決方案。 在未來的 API 版本中，我們不會再透過自訂標頭進行傳遞。 我們建議客戶在未來的系統架構中不依賴自訂標頭。

最新版本的 OpenAI Python 程式庫 (版本>=1.0) 支援 Azure OpenAI。 不過，請務必注意，不支援使用 openai migrate 移轉程式碼基底，而且不適用於以 Azure OpenAI 為目標的程式碼。

GPT-4 Turbo 預覽版是 gpt-4 (1106-preview) 模型。 若要部署此模型，請在 [部署] 底下，選取模型 [gpt-4]。 針對 [模型版本]，請選取 [1106-preview]。 若要檢查此模型可於哪些區域使用，請參閱模型頁面。

Azure OpenAI 支援最新的 GPT-4 模型。 同時支援 GPT-4 和 GPT-4-32K。

Azure OpenAI 服務可為客戶提供具有 OpenAI GPT-3、Codex 及 DALL-E 模型的進階語言 AI，並享有 Azure 的安全性和企業承諾。 Azure OpenAI 使用 OpenAI 共同開發 API，以確保相容性，並且能夠在兩個 API 之間順暢轉換。

透過 Azure OpenAI，客戶可享有 Microsoft Azure 的安全性功能，同時執行與 OpenAI 相同的模型。

是，作為 Azure AI 服務的一部分，Azure OpenAI 支援 VNET 和私人端點。 若要深入了解，請查詢 Azure AI 服務虛擬網路指導。

否，GPT-4 是由 OpenAI 設計成多模式，但目前僅支援文字輸入和輸出。

先前，新增使用案例的流程需要客戶重新申請服務。 現在，我們推出新的流程，讓您快速新增使用案例以使用服務。 此流程遵循 Azure AI 服務內已建立的有限存取流程。 現有的客戶可以在這裡證明任何和所有新的使用案例。 請注意，每當您要針對原本未申請的新使用案例使用服務時，都需要這麼做。

此錯誤通常發生在嘗試傳送一批文字以將單一 API 要求內嵌為陣列時。 Azure OpenAI 目前僅支援具有 text-embedding-ada-002 版本 2 模型的多個輸入的內嵌陣列。 此模型版本支援每個 API 要求最多 16 個輸入組成的陣列。 使用 text-embedding-ada-002 (版本 2) 模型時，陣列長度最多可達 8,191 個語彙基元。

請查看我們的提示工程簡介。 雖然這些模型功能強大，但其行為也很容易受到使用者提供的提示影響。 這可讓提示建構成為開發的重要技能。 閱讀完簡介的內容後，請查看進階提示工程技術的相關文章。

使用 Azure OpenAI Studio 的預設登入體驗時，這是預期的行為。

若要從已授與 Azure OpenAI 資源存取權的來賓帳戶存取 Azure OpenAI Studio：

1. 請開啟 InPrivate 瀏覽器工作階段，瀏覽至 https://oai.azure.com。
2. 不要立即輸入您的來賓帳戶認證，而是選取 Sign-in options
3. 現在，選取 [登入組織]
4. 輸入授與來賓帳戶存取 Azure OpenAI 資源的組織網域名稱。
5. 現在，使用您的來賓帳戶認證登入。

您現在應能透過 Azure OpenAI Studio 存取資源。

或者，如果您是從 Azure OpenAI 資源的 [概觀] 窗格登入 Azure 入口網站，您可以選取 [前往 Azure OpenAI Studio] 以使用適當的組織內容自動登入。

Azure OpenAI 模型 (包括 GPT-4) 無法正確識別正在執行的模型，乃屬預期內的行為。

為何這有關係？

模型終究是透過執行下一個語彙基元預測，來回應您的問題。 模型沒有任何原生能力可以查詢目前正在執行的模型版本，以回答您的問題。 若要得到這個問題的答案，您隨時可以前往 [Azure OpenAI Studio]>[管理]>[部署]>，並查詢模型名稱資料行，以確認目前與指定部署名稱相關聯的模型。

「你正在執行哪個模型？」或「OpenAI 的最新模型為何？」這類問題，會產生類似於詢問模型今天天氣如何的品質結果。 模型可能會傳回正確的結果，但純粹是偶然的。 就模型本身而言，除了其訓練/訓練資料的內容外，並沒有真實世界的資訊。 就 GPT-4 案例而言，時至 2023 年 8 月，其基礎訓練資料最新也只到 2021 年 9 月。 GPT-4 直到 2023 年 3 月才發行。因此，除非 OpenAI 發行具有更新訓練資料的新版本，或經過微調以回答這些特定問題的新版本，否則回應 GPT-3 是 OpenAI 的最新模型版本仍屬 GPT-4 的預期行為。

如果您想要協助基於 GPT 的模型正確回應「你正在執行哪個模型？」的問題，您必須透過模型系統訊息的提示工程技術向模型提供該資訊；利用擷取擴增生成 (RAG)，也就是 Azure OpenAI 自有資料用來在查詢時將最新資料插入系統訊息中的技術；或透過微調，以微調模型的特定版本，使其根據模型版本，以某種特定方式回答該問題。

若要深入了解 GPT 模型的訓練及運作機制，建議您觀看 Andrej Karpathy 在 Build 2023 中關於 GPT 狀態的演講。

這是預期行為。 模型無法回答關於自己的問題。 如果您想要知道模型訓練資料的知識截斷點是何時，請查詢模型頁面。

這是預期行為。 首先，不保證每個最近的事件都包含在模型訓練資料中。 即使該資訊是訓練資料的一部分，若不使用擷取擴增生成 (RAG) 等其他技術協助界定模型的回應，也都有可能出現未被界定的回應。 Azure OpenAI 的使用自有資料功能和 Bing Chat 都使用與擷取擴增生成結合的 Azure OpenAI 模型，以協助進一步界定模型回應。

訓練資料中出現特定資訊片段的頻率，也可能會影響模型以特定方式回應的可能性。

詢問最新的 GPT-4 Turbo 預覽版模型，有關最近改變的某些事情，如「紐西蘭總理是誰？」，可能會產生捏造的回應 Jacinda Ardern。 然而，問模型「Jacinda Ardern 何時辭去首相？」則較容易產生精確的回應，這表示訓練資料知識至少更新到 2023 年 1 月。

雖然可以透過問題來探查模型，以猜測其訓練資料知識截斷點，但仍建議在模型頁面確認模型的知識截斷點。

舊版定價資訊可透過可下載的 PDF 檔案取得。 針對所有其他模型，請查詢官方定價頁面。

您可以將提示的溫度降到小於 1，並確保使用具有重試邏輯的用戶端，以最小化這些錯誤的發生次數。 重新嘗試要求通常會得到成功的回應。

如果服務執行處理，即使您的狀態代碼顯示未成功 (不是代碼 200)，仍會向您收費。 此情況常見的範例包括：內容篩選或輸入限制所造成的錯誤代碼 400，或因逾時而發生的錯誤代碼 408。 當收到 status 200 且 finish_reason 為 content_filter 時，也會產生費用。 在此情況下，提示沒有任何問題，但偵測到模型所產生的結果違反內容篩選規則，因此導致結果遭到篩選。 如果服務未執行處理，則不會向您收費。 例如，因為驗證導致的錯誤代碼 401，或超過速率限制導致的錯誤代碼 429。

存取大部分的 Azure OpenAI 模型都不需要有限存取權註冊表單。 若要深入了解，請參閱 Azure OpenAI 有限存取權頁面。

若要了解每月更新，請參閱我們的新功能頁面。

請參閱我們的 Azure OpenAI 訓練課程簡介。

• 我們建議在 Microsoft Q&A 上張貼問題。
• 或者，您可以在 Stack Overflow 上張貼問題。

Azure OpenAI 是 Azure AI 服務的一部分。 您可以在支援和協助選項指南中了解 Azure AI 服務的所有支援選項。

請參閱 Azure OpenAI 模型可用性指南。

如需區域可用性，請參閱 Azure OpenAI 模型可用性指南。

為了成功存取微調，您需要指派認知服務 OpenAI 參與者。 即使是具有高階服務管理員權限的人員，仍然需要明確設定此帳戶才能存取微調。 如需詳細資訊，請參閱角色型存取控制指引 (機器翻譯)。

基本模型是未針對特定使用案例自訂或微調的模型。 微調模型是基本模型的自訂版本，其中模型的權數會以一組唯一的提示來訓練。 微調模型可讓您在更多工作上達到更好的結果，而不需要在完成提示中提供詳細的情境中學習範例。 若要深入了解，請檢閱我們的微調指南。

100

我們目前沒有定義的 API 回應時間服務等級協定 (SLA)。 如需 Azure OpenAI 服務的 SLA 詳細資訊，請參閱線上服務的服務等級協定 (SLA) 頁面。

如果自訂 (微調) 模型的部署超過 15 天，且在此期間未對其進行結果或聊天結果呼叫，則將自動刪除部署 (針對該部署，不會產生進一步的代管費用)。 基礎自訂模型將維持可用狀態，且可以隨時重新部署。 若要深入了解，請參閱操作說明文章。

目前有兩個不同的 REST API 允許模型部署。 針對最新的模型部署功能，例如在部署期間為 text-embedding-ada-002 版本 2 等模型指定模型版本的功能，請使用部署 - 建立或更新 REST API 呼叫。

不可以，每分鐘的配額語彙基元 (TPM) 配置與模型的最大輸入語彙基元無關。 模型輸入語彙基元限制是在模型資料表中定義，而且不會受 TPM 變更的影響。

不可以，我們目前不支援微調 GPT-4 的影像功能。

不可以，您可以使用 dall-e-3 來產生影像，並以 gpt-4-visual-preview 理解影像。

我們目前支援 PNG (.png)、JPEG (.jpeg 和 .jpg)、WEBP (.webp) 和非動畫 GIF (.gif)。

是，我們將每個影像的上傳大小限制為 20 MB。

不可以，我們會在模型處理完您的影像後自動為您刪除。

我們會在語彙基元層級處理影像，因此我們處理的每個影像都會計入您的每分鐘語彙基元 (TPM) 限制。 如需用來判斷每個影像語彙基元計數的公式詳細資料，請參閱概觀中的影像語彙基元章節。

不能，模型不會接收影像中繼資料。

如果影像模棱兩可或不清楚，模型會盡其最大努力進行解譯。 不過，結果可能較不精確。 有一個實用的經驗法則，即普通人類如果無法在低/高解析度模式中使用的解析度看到影像中的資訊，則模型也無法。

請參閱包含視覺功能的 GPT-4 Turbo 概念指南中的限制章節。

根據預設，GPT-4 vision-preview 和 GPT-4 turbo-2024-04-09 的 max_tokens 值為 16。 根據您的要求，此值通常太低，可能導致回應被截斷。 若要解決此問題，請在您的聊天結果 API 要求中傳遞較大的 max_tokens 值。 GPT-4o 預設為 4096 個 max_tokens。

是。 與聊天結果 API 不同，Azure OpenAI Assistants 是具狀態 API，這表示其會保留資料。 Assistants API 中儲存的資料類型有兩種：

• 具狀態實體：在 Assistants 使用期間建立的對話、訊息和執行。
• 檔案：在 Assistants 設定期間或在訊息中上傳。

資料會儲存在依邏輯分隔，並由 Microsoft 管理的安全儲存體帳戶中。

使用的所有資料都會保存在此系統中，除非您明確刪除此資料。 請使用 delete 函式，並提供您要刪除之對話的對話識別碼。 清除 Assistants 遊樂場中的執行不會刪除對話，但若使用 delete 函式刪除對話，對話就不會在對話頁面中列出。

否。 目前，Assistants 僅支援上傳至 Assistants 管理之儲存體的本機檔案。 您無法透過您的私人儲存體帳戶使用 Assistants。

目前，Assistants 中的對話和檔案支援 CMK。 如需此功能的可用區域，請參閱新增功能頁面。

否。 資料不會用於 Microsoft，也不用於訓練模型。 如需詳細資訊，請參閱負責任 AI 文件。

Azure OpenAI Assistants 端點是區域性的，且資料會儲存在與端點相同的區域中。 如需詳細資訊，請參閱 Azure 資料落地文件。

• 您用於每個助理的基本模型 (例如 gpt-4-0125) 推斷成本 (輸入和輸出)。 如果您建立多個助理，則會針對連結至每個助理的基本模型收費。
• 如果您已啟用程式碼解讀器工具。 例如，如果您的助理在兩個不同的對話中同時呼叫程式碼解讀器，這會建立兩個程式碼解讀器工作階段，並分別收費。 預設情況下，每個工作階段的作用時間為一小時，這表示如果您的使用者在同一對話中持續向程式碼解讀器發出指令長達一小時，您只需支付一次這筆費用。
• 檔案搜尋會根據所使用的向量儲存體來計費。

如需詳細資訊，請參閱價格網頁。

否。 透過 Assistants 使用模型，均適用配額。

Assistants API 僅支援 Azure OpenAI 模型。

Assistants API 目前為公開預覽版。 請定期瀏覽新增功能頁面，以隨時了解最新的產品更新。

如需入門和使用 Assistants 的相關資訊，請參閱概念、快速入門、操作說明文章。 您也可以查看 GitHub 上的 Azure OpenAI Assistants 程式碼範例。

您可以在 Azure 入口網站中自訂已發佈的 Web 應用程式。 已發佈的 Web 應用程式原始程式碼可在 GitHub 上取得，您可以在其中找到變更應用程式前端的相關資訊，以及建置及部署應用程式的指示。

更新應用程式時，不會覆寫您的應用程式程式碼。 應用程式會更新為使用 Azure OpenAI 資源、Azure AI 搜尋服務索引 (如果在 Azure OpenAI 使用自有資料) 以及在 Azure OpenAI Studio 中選取的模型設定，而不會對外觀及功能進行任何變更。

以自有資料為基礎的 Azure OpenAI 是 Azure OpenAI 服務的一項功能，可協助組織使用其指定的資料來源產生自訂深入解析、內容和搜尋。 而且可與 Azure OpenAI 中的 OpenAI 模型功能搭配使用，以自然語言提供更精確的相關回應給使用者查詢。 以自有資料為基礎的 Azure OpenAI 可以與客戶現有的應用程式和工作流程整合、提供關鍵效能指標的深入解析，並可順暢地與使用者互動。

所有 Azure OpenAI 客戶都可以透過 Azure AI Studio 和 Rest API 使用以自有資料為基礎的 Azure OpenAI。

在 Azure OpenAI 使用自有資料支援從 Azure AI 搜尋服務、Azure Blob 儲存體擷取，以及上傳本機檔案。 您可以透過概念文章和快速入門深入了解以自有資料為基礎的 Azure OpenAI。

在 Azure OpenAI 使用自有資料時，使用 Azure AI 搜尋服務、Azure Blob 儲存體、Azure Web App 服務、語意搜尋和 OpenAI 模型會產生費用。 在 Azure AI Studio 中使用「自有資料」功能不需要額外費用。

您可以使用 GitHub 上提供的指令碼自行準備索引。 使用此指令碼會建立 Azure AI 搜尋服務索引，其中包含更妥善運用自有資料所需的全部資訊，並將文件細分為可管理的區塊。 如需執行方法的詳細資料，請參閱具有資料準備程式碼的讀我檔案。

您可以將索引自動重新整理排程，或將額外資料上傳至您的 Azure Blob 容器，並用作建立新索引時的資料來源。 新的索引會包含容器中的所有資料。

如需支援檔案類型的詳細資訊，請參閱使用您的資料。

是，以自有資料為基礎的 Azure OpenAI 是 Azure OpenAI 服務的一部分，可與 Azure OpenAI 中可用的模型搭配使用。 Azure OpenAI 的內容篩選和濫用監視功能仍適用。 如需詳細資訊，請參閱適用於 Azure OpenAI 模型的負責任 AI 做法概觀和 Azure OpenAI 的透明度資訊，以取得在 Azure OpenAI 負責任地使用自有資料的其他指導。

是，系統訊息的語彙基元上限為 400。 如果系統訊息超過 400 個語彙基元，則會忽略前 400 個語彙基元之後的其餘語彙基元。 這項限制僅適用於 Azure OpenAI 自有資料功能。

在 Azure OpenAI 使用自有資料目前不支援函式呼叫。

您必須以相同語言的資料傳送查詢。 您的資料可以是 Azure AI 搜尋服務支援的任何語言。

當您選取 [Azure AI 搜尋服務] 作為資料來源時，您可以選擇套用語意搜尋。 如果選取 [Azure Blob 容器] 或 [上傳檔案] 作為資料來源，您可以像往常一樣建立索引。 之後，可使用 [Azure AI 搜尋服務] 選項重新內嵌資料，以選取相同的索引，並套用語意搜尋。 然後，您便準備好使用套用語意搜尋的資料聊天。

當您選取 [Azure Blob 容器]、[Azure AI 搜尋服務] 或 [上傳檔案] 作為資料來源時，您也可以選取 Ada 內嵌模型部署，以在內嵌資料時使用。 這會建立具有向量內嵌的 Azure AI 搜尋服務索引。

如果 Ada 內嵌模型部署的速率限制太低，或您有一組非常大的文件，則索引建立可能會失敗。 您可以使用 GitHub 上提供的這個指令碼，手動建立具有內嵌的索引。

客戶著作權承諾是在 2023 年 12 月 1 日加入 Microsoft 產品條款中的條款，描述 Microsoft 有義務針對與輸出內容相關的特定第三方智慧財產權索賠保護客戶。 如果索賠的主體是從 Azure OpenAI 服務 (或允許客戶設定安全系統的任何其他承保產品) 生成的輸出內容，則客戶必須已在提供輸出內容的供應項目中實施 Azure OpenAI 服務文件要求的所有風險降低措施，才能納入保險範圍。 必要的風險降低措施記載於此處，並持續更新。 對於新的服務、功能、模型或使用案例，新的 CCC 要求會在該等服務、功能、模型或使用案例發行當下或之後生效。 否則，客戶自發行之日起，有六個月的時間可實行新的風險降低措施，以維持 CCC 保險。 如果客戶提出索賠，客戶必須證明其遵守相關要求。 可讓客戶設定安全系統的承保產品必須實行風險降低措施，包括 Azure OpenAI 服務；而這不會影響使用其他承保產品的客戶保險狀態。

下一步

• Azure OpenAI 配額和限制
• Azure OpenAI 新功能
• Azure OpenAI 快速入門