規劃管理 Azure OpenAI 服務的成本

本文說明如何規劃和管理 Azure OpenAI 服務的成本。 部署服務之前,請使用 Azure 定價計算機來預估 Azure OpenAI 的成本。 稍後,當您部署 Azure 資源時,請檢閱預估成本。 開始使用 Azure OpenAI 資源之後,請使用成本管理功能來設定預算並監視成本。

您也可以檢閱預測的成本,並找出支出趨勢,以找出您可能想要採取行動的區域。Azure OpenAI 服務的成本只是 Azure 帳單中每月成本的一部分。 雖然本文與規劃和管理 Azure OpenAI 的成本有關,但您需支付 Azure 訂用帳戶中使用的所有 Azure 服務和資源費用,包括第三方服務。

必要條件

成本管理中的成本分析支援大部分的 Azure 帳戶類型,但並非全部。 若要檢視所支援帳戶類型的完整清單,請參閱了解成本管理資料。 若要檢視成本資料,您至少需要 Azure 帳戶的讀取存取權。 如需 Azure 成本管理資料的存取權指派相關資訊,請參閱指派資料的存取權

使用 Azure OpenAI 之前估計成本

使用 Azure 定價計算機來預估使用 Azure OpenAI 的成本。

瞭解 Azure OpenAI 完整計費模型

Azure OpenAI 服務會在 Azure 基礎結構上執行,以在部署新資源時產生成本。 可能會產生其他基礎結構成本。 下列各節說明如何向 Azure OpenAI 服務收費。

基底序列和 Codex 序列模型

Azure OpenAI 基礎系列和 Codex 系列模型會依 1,000 個語彙基元收費。 成本會根據您選擇的模型系列而有所不同:Ada、Babbage、Curie、Davinci 或 Code-Cushman。

Azure OpenAI 模型藉由將文字分解成令牌來了解和處理文字。 如需參考,每個語彙基元大約是一般英文文字的四個字元。

輸入和輸出都會產生權杖成本。 例如,假設您有 1,000 個令牌 JavaScript 程式代碼範例,要求您 Azure OpenAI 模型轉換成 Python。 針對所傳送的初始輸入要求,您大約需要支付 1,000 個令牌,而針對回應總共 2,000 個令牌而收到的輸出則多收取 1,000 個令牌。

在實務上,針對這種類型的完成呼叫,令牌輸入/輸出不會完全是 1:1。 從某個程式設計語言轉換成另一種程式設計語言,可能會根據許多因素產生較長或較短的輸出。 其中一個這類因素是指派給 max_tokens 參數的值。

基底數列和 Codex 系列微調的模型

Azure OpenAI 微調模型會根據三個因素收費:

  • 訓練時數
  • 裝載時數
  • 每 1,000 個語彙基元的推斷

裝載時數成本很重要,因為部署微調的模型之後,不論您是否主動使用它,都會持續產生每小時成本。 密切監視微調的模型成本。

重要

部署自定義模型之後,如果部署隨時保持非使用中狀態超過15天,則會刪除部署。 如果模型在 15 天前部署超過 15 天,且在連續 15 天期間內未進行聊天完成或聊天完成呼叫,則自定義模型的 部署會處於非 作用中狀態。

刪除非使用中部署並不會刪除或影響基礎自定義模型,而且可以隨時重新部署自定義模型。

每個已部署的自定義(微調)模型都會產生每小時裝載成本,無論是否已對模型進行完成或聊天完成呼叫。 .

Azure OpenAI 服務可能累積的其他成本

啟用將數據傳送至 Azure 監視器記錄和警示等功能,會產生這些服務的額外成本。 這些成本會顯示在這些其他服務和訂用帳戶層級,但當範圍僅限 Azure OpenAI 資源時不會顯示。

搭配 Azure OpenAI 服務使用 Azure 預付款

您可以使用 Azure 預付款點數支付 Azure OpenAI 服務費用。 不過,您無法使用 Azure 預付款點數來支付第三方產品和服務的費用,包括 Azure Marketplace 中找到的產品和服務。

Azure OpenAI 服務中的 HTTP 錯誤回應碼和計費狀態

如果服務執行處理,即使狀態代碼未成功(不是 200),您仍可能需要付費。 例如,由於內容篩選或輸入限制而發生 400 錯誤,或因逾時而發生 408 錯誤。

如果服務未執行處理,則不會向您收費。 例如,401 錯誤是因為驗證或 429 錯誤,因為超過速率限制。

監視成本

當您搭配 Azure OpenAI 使用 Azure 資源時,便會產生費用。 Azure 資源使用量單位成本會依時間間隔而有所不同,例如秒、分鐘、小時和天,或單位使用量,例如位元組和 MB。 一旦 Azure OpenAI 使用開始,就會產生成本,而且您可以在成本分析中看到成本。

當您使用成本分析時,您可以在圖表和數據表中檢視不同時間間隔的 Azure OpenAI 成本。 一些範例包括依日期、目前和先前月份,以及年度。 您也可以根據預算和預測成本來檢視成本。 切換至更長時間的檢視,有助於找出費用趨勢。 您可以看到發生超支的位置。 如果您已建立預算,還可以輕鬆地查看已超出預算的位置。

若要在成本分析中檢視 Azure OpenAI 成本:

  1. 登入 Azure 入口網站。
  2. 選取其中一個 Azure OpenAI 資源。
  3. 在 [資源管理] 下選取 [成本分析]
  4. 根據預設,成本分析的範圍是個別的 Azure OpenAI 資源。

Azure OpenAI 資源範圍的成本分析儀錶板螢幕快照。

若要了解構成該成本的細目,它可協助將 [群組依據] 修改[計量],並將圖表類型切換為 [折線]。 您現在可以看到,針對此特定資源,成本的來源來自三個不同的模型系列,其中包含 代表大部分成本的 Text-Davinci Token

成本分析儀錶板的螢幕快照,其群組已設定為計量。

請務必瞭解評估與 Azure OpenAI 相關聯的成本時的範圍。 如果您的資源是相同資源群組的一部分,您可以在該層級設定成本分析範圍,以瞭解對成本的影響。 如果您的資源分散到多個資源群組,您可以將範圍設定為訂用帳戶層級。

在較高層級的範圍時,您通常需要新增更多篩選,以專注於 Azure OpenAI 使用量。 在訂用帳戶層級的範圍時,您會看到許多其他資源,您可能不在 Azure OpenAI 成本管理的內容中。 當您在訂用帳戶層級設定範圍時,建議您流覽至成本管理服務底下的完整成本分析工具

以下是如何使用 成本分析工具 查看訂用帳戶或資源群組累積成本的範例:

  1. 在頂端 Azure 搜尋列中搜尋 成本管理 ,以流覽至完整的服務體驗,其中包括更多選項,例如建立預算。
  2. 如有需要,請選取 [範圍:] 未指向您想要分析的資源群組或訂用帳戶。
  3. 在左側,選取 [報告 + 分析>成本分析]。
  4. 在 [ 所有檢視] 索引卷標上,選取 [ 累積成本]。

顯示如何存取累積成本的成本分析儀錶板螢幕快照。

成本分析儀錶板會顯示根據您為 [範圍] 所指定專案所分析的累積成本。

成本分析儀錶板的螢幕快照,其範圍設定為訂用帳戶。

如果您嘗試依服務新增篩選,您會發現清單中找不到 Azure OpenAI。 之所以發生這種情況,是因為 Azure OpenAI 與 Azure AI 服務的子集共通,其中服務等級篩選條件是 認知服務。 如果您想要查看訂用帳戶中的所有 Azure OpenAI 資源,而不需要其他類型的 Azure AI 服務資源,請改為範圍設定為 服務層級:Azure OpenAI

醒目提示服務層級的成本分析儀錶板螢幕快照。

建立預算

您可以建立 預算 來管理成本,並建立 警示 ,通知項目關係人支出異常和超支風險。 警示是以支出為基礎 (相較於預算和成本閾值)。 您可以建立 Azure 訂用帳戶和資源群組的預算和警示。 它們可作為整體成本監視策略的一部分。

如果您想要監視中存在更多粒度,您可以使用 Azure 中特定資源或服務的篩選條件來建立預算。 篩選器可協助確保您不會意外建立新的資源,而需要支付更多的費用。 如需有關建立預算時可用篩選選項的詳細資訊,請參閱群組和篩選選項

重要

雖然 OpenAI 有一個硬性限制的選項,可防止您超過預算,但 Azure OpenAI 目前不提供這項功能。 您可以從動作群組開始自動化,作為預算通知的一部分,以採取更進階的動作,但這需要您進行額外的自定義開發。

匯出成本資料

您也可以 將成本數據 匯出至記憶體帳戶,當您需要其他人執行額外的數據分析以節省成本時,這很有説明。 例如,財務小組可以使用 Excel 或 Power BI 來分析資料。 您可以根據每日、每週或每月排程來匯出成本,並設定自訂日期範圍。 我們建議將成本數據匯出為擷取成本數據集的方式。

下一步