Claude 模型配額與速率限制

Microsoft Foundry 中的 Claude 模型配額與速率限制決定每個模型可處理多少流量。 本參考文獻說明部署如何共享配額、提示快取如何影響令牌計費,以及每種 Azure 訂閱類型的預設限制。

Claude 配額範圍

Microsoft Foundry 在訂閱層級管理 Claude 模型配額。 資源與區域共享配額,而非分別分配。

  • 同一訂閱中所有相同模型和版本的 Global Standard 部署,皆共用一個跨所有區域的配額集區。
  • 所有在訂閱中部署相同型號與版本的資料區域標準,皆從每個資料區域內的共享配額池中抽取,例如美國資料區域。

關於一般配額管理指引,請參閱 Microsoft Foundry 模型配額與限制。

速率限制測量

Claude 模型對每個模型使用以下速率限制測量:

  • 每分鐘請求數(RPM)衡量 請求數量。
  • 未快取輸入標記每分鐘(ITPM)衡量 未從提示快取讀取的輸入標記。
  • 輸出代幣每分鐘(OTPM)衡量 模型產生的代幣數量。

快取感知 ITPM

對大多數 Claude 模型而言,只有未快取的輸入標記才會計入 ITPM 限制。 這些代幣包括:

  • 輸入標記:請求中最後快取中斷點(未快取輸入)之後的標記。
  • 快取建立輸入標記:寫入 5 分鐘或 1 小時提示快取的標記。

Tip

總輸入標記數為輸入標記、快取建立輸入標記與快取讀取輸入標記(從快取讀取的標記)的總和。 不過, 快取讀取輸入標記 不計入 ITPM。 OTPM 也不算入 ITPM。

欲了解更多關於速率限制與提示快取的資訊,請參閱 Claude API 文件中的速率限制。

依訂閱類型預設速率限制

你的 Azure 訂閱類型決定了預設的速率限制。 版本 2:託管於 Azure 與版本 1:託管於 Anthropic 基礎設施欄位,顯示每個模型與部署類型組合是否支援配額配置。 是 的表示組合支援配額分配,但預設數值限制可能是零。 不行 表示該組合不支援該部署類型的配額分配。 RPM、ITPM 和 OTPM 欄位顯示預設容量。

按用量付費

型號 部署類型 版本 2:託管於 Azure 版本 1:託管在 Anthropic 基礎架構上 轉速 ITPM OTPM
claude-fable-5-1 全域標準 N/A 是的 0 0 0
克勞德寓言-5 全域標準 N/A 是的 0 0 0
克勞德俳句-5-5 全域標準 是的 是的 40 40,000 8,000
克勞德俳句-5-5 資料區標準(美國) 是的 N/A 40 40,000 8,000
克勞德作品-5-5 全域標準 是的 是的 40 40,000 8,000
克勞德作品-5-5 資料區標準(美國) 是的 N/A 40 40,000 8,000
克勞德作品-5 全域標準 是的 是的 40 40,000 8,000
克勞德作品-5 資料區標準(美國) 是的 N/A 40 40,000 8,000
克勞德作品-4-8 全域標準 是的 是的 40 40,000 8,000
克勞德作品-4-8 資料區標準(美國) 是的 N/A 40 40,000 8,000
克勞德作品4-7 全域標準 N/A 是的 40 40,000 8,000
克勞德作品4-6 全域標準 N/A 是的 40 40,000 8,000
克勞德作品4-5 全域標準 N/A 是的 40 40,000 8,000
克勞德十四行詩 5-5 全域標準 是的 是的 40 40,000 8,000
克勞德十四行詩 5-5 資料區標準(美國) 是的 N/A 40 40,000 8,000
claude-sonnet-5 全域標準 是的 是的 40 40,000 8,000
claude-sonnet-5 資料區標準(美國) 是的 N/A 40 40,000 8,000
claude-sonnet-4-6 全域標準 N/A 是的 80 80,000 16,000
克勞德十四行詩-第4-5首 全域標準 N/A 是的 80 80,000 16,000
克勞德俳句-4-5 全域標準 是的 是的 80 80,000 16,000

配額檢查與增加申請

Foundry 入口網站的 配額 頁面會顯示你訂閱時可用的配額。

若要申請超出預設限額的配額,請提交 配額增加申請表。 配額增加申請會個別評估,且不保證會被批准。

速率限制錯誤處理

當應用程式超過速率限制時,API 會回傳 HTTP 429 回應。 實施指數退讓、降低請求頻率或代幣使用率,當預設限制不符合你的工作負載需求時,再請求更多配額。

關於部署或呼叫 Claude 模型時可能遇到的其他錯誤,請參見 故障排除 Claude 模型部署。