你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

导入语言模型 API

适用于：所有 API 管理层级

可以将 OpenAI 兼容的语言模型终结点导入 API 管理实例，或将不兼容的模型导入为直通 API。 例如，管理自托管 LLM，或者在 Foundry Tools 之外的推理提供程序上托管的 LLM。 使用 AI 网关策略和其他 API 管理功能来简化集成，提高可观测性，并增强对模型终结点的控制。

详细了解如何在 API 管理中管理 AI API：

语言模型 API 类型

API 管理支持两种语言模型 API 类型。 选择与模型部署匹配的选项，该选项确定客户端如何调用 API 以及请求如何路由到 AI 服务。

  • OpenAI 兼容 - 与 OpenAI API 兼容的语言模型终结点。 示例包括 Hugging Face（文本生成推理 TGI） 和 Google Gemini API。

    API 管理配置聊天完成终结点。

  • 直通模式 - 语言模型接口与 OpenAI 的 API 不兼容。 示例包括 Amazon Bedrock 或其他提供商中部署的模型。

    API 管理为常见的 HTTP 谓词配置通配符操作。 客户端可以将路径追加到通配符作，API 管理会将请求传递给后端。

先决条件

使用门户导入语言模型 API

导入 LLM API 会自动配置：

  • 将请求定向到 LLM 终结点的 后端 资源和 set-backend-service 策略。
  • （可选）使用访问密钥进行访问（作为机密 命名值进行保护）。
  • （可选）用于监视和管理 API 的策略。

导入语言模型 API：

  1. 在 Azure 门户中，转到 API 管理实例。

  2. 在左侧菜单中的 API 下，选择 API>+ 添加 API。

  3. 在 “定义新 API”下，选择 “语言模型 API”。

    在门户中创建与 OpenAI 兼容的 API 的屏幕截图。

  4. 在 “配置 API ”选项卡上：

    1. 输入显示名称和说明（可选）。
    2. 输入 LLM API URL。
    3. 选择要与 API 关联的一个或多个 产品 （可选）。
    4. 在 Path 中，追加路径以访问 LLM API。
    5. 选择 “创建 OpenAI API ”或 “创建直通 API”。 请参阅 语言模型 API 类型。
    6. 输入授权标头名称和 API 密钥（如果需要）。
    7. 选择“下一步”。

    门户中语言模型 API 配置的屏幕截图。

  5. 在 “管理令牌使用 ”选项卡上，输入以下策略的设置或接受默认值：

  6. 在 “应用语义缓存 ”选项卡上，输入策略的设置或接受默认设置以优化性能并减少延迟：

  7. 在 AI 内容安全性选项卡上，输入设置或接受默认设置以配置Azure AI Content Safety以阻止不安全内容：

  8. 选择“审核”。

  9. 验证后，选择“ 创建”。

API 管理会创建 API 并配置 LLM 端点的操作。 默认情况下，API 需要 API 管理订阅。

测试 LLM API

在测试控制台中验证 LLM API。

  1. 选择创建的 API。

  2. 选择“测试”选项卡。

  3. 选择与模型部署兼容的操作。 参数和标头的字段将被显示。

  4. 输入参数和标头。 根据操作，根据需要配置或更新请求正文。

    注释

    测试控制台会自动添加一个 Ocp-Apim-Subscription-Key 标头（使用内置的 全访问订阅），该标头提供对每个 API 的访问权限。 若要显示它，请选择 HTTP 请求旁边的“眼睛”图标。

  5. 选择发送。

    测试成功后，后端返回数据，包括令牌使用情况指标以监视语言模型消耗。

相关内容

  • 上次更新时间为