通过

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

发出 Azure OpenAI 令牌使用量的指标

  • 项目

适用于：所有 API 管理层级

azure-openai-emit-token-metric 策略通过 Azure OpenAI 服务 API 向 Application Insights 发送有关大型语言模型令牌使用量的指标。 令牌计数指标包括：令牌总数、提示令牌和完成令牌。

注意

按照策略声明中提供的顺序设置策略的元素和子元素。 详细了解如何设置或编辑 API 管理策略。

先决条件

策略语句

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

属性

属性 说明 必须 默认值
命名空间 一个字符串。 指标的命名空间。 不允许使用策略表达式。 否 API 管理
value 以双精度表示的指标的值。 允许使用策略表达式。 否 1

元素

元素 说明 必需
维度 为指标中包含的每个维度添加一个或多个此类元素。 是

维度属性

属性 说明 必须 默认值
name 字符串或策略表达式。 维度的名称。 是 空值
value 字符串或策略表达式。 维度的值。 如果 name 与一个默认维度匹配，则只能省略。 如果是这样，则按维度名称提供值。 否 空值

无需值即可使用的默认维度名称

  • API ID
  • Operation ID
  • 产品 ID
  • 用户 ID
  • 订阅 ID
  • 位置
  • 网关 ID

使用情况

使用注意事项

  • 每个策略定义可以多次使用此策略。
  • 最多可以为此策略配置 10 个自定义定义。
  • 使用门户从 Azure OpenAI 服务添加 API 时，可以选择配置此策略。

示例

以下示例会将 Azure OpenAI 令牌计数指标发送到 Application Insights，同时发送用户 ID、客户端 IP 和 API ID 作为维度。

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="User ID" />
            <dimension name="Client IP" value="@(context.Request.IpAddress)" />
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

相关内容

有关使用策略的详细信息，请参阅：