自動調整 AI 服務限制

本文提供客戶如何在 Azure AI 服務資源上存取較高速率限制的指導。

概觀

每個 Azure AI 服務資源都有預先設定的靜態呼叫速率（每秒交易），以限制客戶在特定時間範圍內對後端服務進行並行呼叫的數目。 根據近乎即時的資源使用量計量和後端服務容量計量，自動調整功能會自動增加/減少客戶資源的速率限制。

開始使用自動調整功能

預設會針對每個新資源停用這項功能。 請遵循這些指示來將其啟用。

Azure 入口網站

移至 Azure 入口網站的資源頁面，然後選取左窗格中的 [概觀] 索引標籤。 在 [基本資訊] 區段下，尋找 [自動調整] 行，然後選取連結以檢視 [自動調整設定] 窗格並啟用此功能。

Azure CLI

在您建立資源之後執行此命令：

az resource update --namespace Microsoft.CognitiveServices --resource-type accounts --set properties.dynamicThrottlingEnabled=true --resource-group {resource-group-name} --name {resource-name}

常見問題集

啟用自動調整功能是否表示我的資源永遠不會再次節流？

否，您仍可能會收到 429 超出速率限制的錯誤。 如果應用程式觸發尖峰，且資源回報 429 回應，自動調整將會檢查可用的容量預測區段，以查看目前的容量是否可以容納速率限制增加，並在五分鐘內回應。

如果可用的容量足以增加，自動調整將會逐漸增加資源的速率限制上限。 如果您繼續以高速率呼叫資源，導致更多 429 節流，則 TPS 速率會隨著時間持續增加。 如果此動作持續一小時以上，您應該會達到目前可供該資源使用的最大速率 (最多 1000 TPS)。

如果可用的容量不足以增加，自動調整功能會等候五分鐘，然後再檢查一次。

如果我需要較高的預設速率限制，該怎麼辦？

根據預設，Azure AI 服務資源的預設速率限制為 10 TPS。 如果您需要較高的預設 TPS，請遵循 Azure 入口網站中資源頁面上的 [新增支援要求] 連結，以提交票證。 請記得在要求中包含業務理由。

這項功能是否會增加 Azure 支出？

Azure AI 服務價格尚未變更，且可在這裡查看。 我們只會針對向 Azure AI 服務 API 所做成功呼叫計費。 不過，增加的呼叫速率限制表示將完成更多交易，而且您可能會收到較高額的帳單。

請注意潛在錯誤及其結果。 如果用戶端應用程式中的錯誤 (bug) 導致其每秒呼叫服務數百次，這可能會導致較高的帳單，而成本在固定速率限制下會比較有限。 這種錯誤是您的責任。 我們強烈建議您在使用自動調整功能之前，針對具有固定速率限制的資源執行開發和用戶端更新測試。

如果我寧願限制費率，而不是無法預測支出，是否可以停用此功能？

是，您可以透過 Azure 入口網站或 CLI 停用自動調整功能，並返回預設呼叫速率限制設定。 如果先前已針對較高的預設 TPS 核准資源，則會回到該速率。 變更最多可能需要五分鐘才會生效。

哪些服務支援自動調整功能？

自動調整功能會在下列服務中提供：

• Azure AI 服務多金鑰
• Azure AI 視覺
• 語言 (僅適用於情感分析、關鍵片語擷取、具名實體辨識，以及健康情況的文字分析)
• 異常偵測器
• 內容仲裁
• 自訂視覺預測
• 沉浸式閱讀程式
• LUIS
• 計量建議程式
• 個人化服務工具
• QnAMaker
• 文件智慧

我可以使用免費訂用帳戶測試此功能嗎？

否，免費層訂用帳戶無法使用自動調整功能。

下一步

• 規劃和管理 Azure AI 服務的成本。
• 透過 Azure 成本管理將雲端投資最佳化。
• 了解如何避免非預期成本。
• 參加成本管理引導式學習課程。