你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

自动缩放 AI 服务限制

本文提供有关客户如何访问其 Azure AI 服务资源的更高速率限制的指导。

概述

每个 Azure AI 服务资源都有一个预先配置的静态调用速率（每秒事务数），这限制了客户在给定时间范围内可对后端服务发出的并发调用数。 自动缩放功能可根据准实时的资源使用量指标和后端服务容量指标自动提高/降低客户资源的速率限制。

自动缩放功能入门

默认情况下，已针对每个新资源禁用此功能。 可按照下面的说明启用此功能。

Azure 门户

在 Azure 门户中转到你的资源的页面，然后在左侧窗格中选择“概述”选项卡。 在“概要”部分下找到“自动缩放”行，然后选择用于查看“自动缩放设置”窗格并启用该功能的链接。

Azure CLI

创建资源后，运行以下命令：

az resource update --namespace Microsoft.CognitiveServices --resource-type accounts --set properties.dynamicThrottlingEnabled=true --resource-group {resource-group-name} --name {resource-name}

常见问题

启用自动缩放功能是否意味着我的资源永远不再会受到限制？

不是，你可能仍会收到 429 错误，这表示超过速率限制。 如果应用程序触发了峰值，并且资源报告 429 响应，则自动缩放将检查可用容量预测部分，以确定当前容量是否可以适应速率限制的提高并在五分钟内做出响应。

如果可用容量足以应对限制的提高，则自动缩放将逐渐提高资源的速率上限。 如果继续以较高速率调用资源，导致出现更多的 429 限制错误，则 TPS 速率将持续不断地增大。 如果此操作持续一小时或更长时间，则会达到该资源在当时可用的最大速率（最大 1000 TPS）。

如果可用容量不足以应对限制的提高，则自动缩放功能将等待五分钟，然后再次检查。

如果需要更高的默认速率限制，该怎么办？

默认情况下，Azure AI 服务资源的默认速率限制为 10 TPS。 如果需要更高的默认 TPS，请在 Azure 门户中的资源页上使用“新建支持请求”链接提交票证。 请记得在请求中包含业务理由。

此功能是否会增加 Azure 支出？

Azure AI 服务定价没有变化，可在此处访问定价。 我们只对成功的 Azure AI 服务 API 调用计费。 但是，提高调用速率限制意味着会完成更多事务，因此你支付的费用可能更高。

请注意潜在错误及其后果。 如果客户端应用程序中的 bug 导致它每秒调用服务数百次，则可能会导致费用大大增加，而在固定速率限制下成本会受到更多限制。 此类错误由你负责处理。 我们强烈建议在使用自动缩放功能之前，针对存在固定速率限制的资源执行开发和客户端更新测试。

如果我宁愿限制速率，而不希望支出不可预测，我是否可以禁用此功能？

是的，可以通过 Azure 门户或 CLI 禁用自动缩放功能，并恢复默认的调用速率限制设置。 如果先前已批准对你的资源使用更高的默认 TPS，则会恢复到该速率。 更改最长可能需要五分钟才能生效。

哪些服务支持自动缩放功能？

自动缩放功能可用于以下服务：

• Azure AI 服务多密钥
• Azure AI 视觉
• 语言（仅适用于情绪分析、关键短语提取、命名实体识别和运行状况文本分析）
• 异常检测器
• 内容审查器
• 自定义视觉（预测）
• 沉浸式阅读器
• LUIS
• 指标顾问
• 个性化体验创建服务
• QnAMaker
• 文档智能

是否可以使用免费订阅来测试此功能？

否，自动缩放功能不适用于免费层订阅。

后续步骤

• 计划和管理 Azure AI 服务的成本。
• 使用 Azure 成本管理优化云投资。
• 了解如何防止意外成本。
• 参与成本管理引导式学习课程。