共用方式為

發出計量以取用 Azure OpenAI 權杖

  • 發行項

適用於：所有 APIM 階層

azure-openai-emit-token-metric 原則會透過 Azure OpenAI 服務 API 將計量傳送至 Application Insights，以取用大型語言模型權杖。 權杖計數計量包括：權杖總數、提示權杖和完成權杖。

注意

請依照原則陳述式中提供的順序，來設定原則的元素和子元素。 深入了解如何設定或編輯 APIM 原則。

必要條件

原則陳述式

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

屬性

屬性 描述 必要 預設值
命名空間 字串。 計量的命名空間。 不允許使用原則運算式。 No API 管理
value 以雙精度浮點數表示的計量值。 允許使用原則運算式。 No 1

元素

元素 描述 必要
維度 為自訂計量中包含的每個維度新增一或多個這些元素。 Yes

維度屬性

屬性 描述 必要 預設值
NAME 字串或原則運算式。 維度的名稱。 Yes N/A
value 字串或原則運算式。 維度的值。 只有在 name 符合其中一個預設維度時，才能省略。 若是如此，則會根據維度名稱提供值。 No N/A

無需值即可使用的預設維度名稱

  • API 識別碼
  • 作業識別碼
  • 產品識別碼
  • 使用者識別碼
  • 訂用帳戶識別碼
  • Location
  • 閘道識別碼

使用方式

使用量注意事項

  • 每個原則定義可以使用此原則多次。
  • 您最多可以為此原則設定10 個自訂定義。
  • 使用入口網站從 Azure OpenAI 服務新增 API 時，可以選擇性地設定此原則。

範例

下列範例會將 Azure OpenAI 權杖計數計量傳送至 Application Insights，以及使用者識別碼、用戶端 IP 以及 API 識別碼即維度。

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="User ID" />
            <dimension name="Client IP" value="@(context.Request.IpAddress)" />
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

相關內容

如需使用原則的詳細資訊，請參閱：