你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
Azure AI Foundry 的模型路由器是一种可部署的 AI 聊天模型,经过训练以选择最佳大型语言模型(LLM),以实时响应给定的提示。 通过评估查询复杂性、成本和性能等因素,它会智能地将请求路由到最合适的模型。 因此,它可以提供高性能,并尽可能地节省计算成本,将所有功能整合为一个模型进行部署。
为什么使用模型路由器?
模型路由器智能地为给定提示选择最佳基础模型,以优化成本,同时保持质量。 当模型足够用于任务时,会使用更小、更便宜的模型,但更大型且更昂贵的模型可用于更复杂的任务。 此外,推理模型可用于需要复杂推理的任务,否则使用非推理模型。 模型路由器提供单个部署和聊天体验,该体验结合了所有基础聊天模型的最佳功能。
版本控制
每个版本的模型路由器都与一组特定的基础模型及其版本相关联。 此集是固定的 - 只有较新版本的模型路由器才能公开新的基础模型。
如果在部署步骤中选择 自动更新 (请参阅 “管理模型”),则当新版本可用时,模型路由器模型会自动更新。 发生这种情况时,基础模型集也会更改,这可能会影响模型的整体性能和成本。
基础模型
模型路由器版本 | 基础模型(版本) |
---|---|
2025-05-19 |
GPT-4.1 (2025-04-14 )GPT-4.1-mini ( 2025-04-14 )GPT-4.1-nano ( 2025-04-14 ) o4-mini ( 2025-04-16 ) |
局限性
资源限制
有关模型路由器的区域可用性和部署类型,请参阅“ 模型 ”页。
技术限制
有关速率限制信息,请参阅配额和限制。
注释
“ 模型 ”页上列出的上下文窗口限制是最小基础模型的限制。 其他基础模型与较大的上下文窗口兼容,这意味着仅当提示被路由到正确的模型时,具有较大上下文的 API 调用才会成功,否则调用将失败。 若要缩短上下文窗口,可以执行以下作之一:
- 在将提示传递给模型之前汇总提示
- 将提示截断为更相关的部分
- 使用文档嵌入并让聊天模型检索相关部分:请参阅 Azure AI 搜索
模型路由器接受 启用了视觉的聊天 的图像输入(所有基础模型都可以接受图像输入),但路由决策仅基于文本输入。
模型路由器不处理音频输入。
计费信息
使用模型路由器时,只需为使用的基础模型付费,因为它们用于响应提示。 模型路由函数本身不会产生任何额外费用。
可以在 Azure 门户中监视模型路由器部署的成本。