培训
认证
Microsoft Certified: Azure AI Fundamentals - Certifications
展示与 Microsoft Azure 软件和服务开发相关的基本 AI 概念,以创建 AI 解决方案。
你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
本文提供有关客户如何访问其 Azure AI 服务资源的更高速率限制的指导。
每个 Azure AI 服务资源都有一个预先配置的静态调用速率(每秒事务数),这限制了客户在给定时间范围内可对后端服务发出的并发调用数。 自动缩放功能可根据准实时的资源使用量指标和后端服务容量指标自动提高/降低客户资源的速率限制。
默认情况下,已针对每个新资源禁用此功能。 可按照下面的说明启用此功能。
在 Azure 门户中转到你的资源的页面,然后在左侧窗格中选择“概述”选项卡。 在“概要”部分下找到“自动缩放”行,然后选择用于查看“自动缩放设置”窗格并启用该功能的链接。
不是,你可能仍会收到 429
错误,这表示超过速率限制。 如果应用程序触发了峰值,并且资源报告 429
响应,则自动缩放将检查可用容量预测部分,以确定当前容量是否可以适应速率限制的提高并在五分钟内做出响应。
如果可用容量足以应对限制的提高,则自动缩放将逐渐提高资源的速率上限。 如果继续以较高速率调用资源,导致出现更多的 429
限制错误,则 TPS 速率将持续不断地增大。 如果此操作持续一小时或更长时间,则会达到该资源在当时可用的最大速率(最大 1000 TPS)。
如果可用容量不足以应对限制的提高,则自动缩放功能将等待五分钟,然后再次检查。
默认情况下,Azure AI 服务资源的默认速率限制为 10 TPS。 如果需要更高的默认 TPS,请在 Azure 门户中的资源页上使用“新建支持请求”链接提交票证。 请记得在请求中包含业务理由。
Azure AI 服务定价没有变化,可在此处访问定价。 我们只对成功的 Azure AI 服务 API 调用计费。 但是,提高调用速率限制意味着会完成更多事务,因此你支付的费用可能更高。
请注意潜在错误及其后果。 如果客户端应用程序中的 bug 导致它每秒调用服务数百次,则可能会导致费用大大增加,而在固定速率限制下成本会受到更多限制。 此类错误由你负责处理。 我们强烈建议在使用自动缩放功能之前,针对存在固定速率限制的资源执行开发和客户端更新测试。
是的,可以通过 Azure 门户或 CLI 禁用自动缩放功能,并恢复默认的调用速率限制设置。 如果先前已批准对你的资源使用更高的默认 TPS,则会恢复到该速率。 更改最长可能需要五分钟才能生效。
自动缩放功能可用于以下服务:
否,自动缩放功能不适用于免费层订阅。
培训
认证
Microsoft Certified: Azure AI Fundamentals - Certifications
展示与 Microsoft Azure 软件和服务开发相关的基本 AI 概念,以创建 AI 解决方案。