Bagikan melalui

Memancarkan metrik untuk konsumsi token Azure OpenAI

  • Artikel

BERLAKU UNTUK: Semua tingkatAN API Management

Kebijakan ini azure-openai-emit-token-metric mengirimkan metrik kustom ke Application Insights tentang konsumsi token model bahasa besar melalui AZURE OpenAI Service API. Metrik jumlah token meliputi: Token Total, Token Prompt, dan Token Penyelesaian.

Catatan

Tetapkan elemen kebijakan dan elemen turunan dalam urutan yang disediakan dalam pernyataan kebijakan. Pelajari lebih lanjut cara mengatur atau mengedit kebijakan API Management.

Model Layanan Azure OpenAI yang didukung

Kebijakan ini digunakan dengan API yang ditambahkan ke API Management dari Azure OpenAI Service dari jenis berikut:

Tipe API Model yang didukung
Penyelesaian obrolan gpt-3.5

gpt-4
Penyelesaian gpt-3.5-turbo-instruct
Penyematan text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002

Untuk informasi lebih lanjut, lihat Model Azure OpenAI Service.

Batas metrik kustom

Azure Monitor memberlakukan batas penggunaan untuk metrik kustom yang dapat memengaruhi kemampuan Anda untuk memancarkan metrik dari API Management. Misalnya, Azure Monitor saat ini menetapkan batas 10 kunci dimensi per metrik, dan batas 50.000 total rangkaian waktu aktif per wilayah dalam langganan (dalam periode 12 jam).

Batas ini memiliki implikasi berikut untuk mengonfigurasi metrik kustom dalam kebijakan API Management seperti emit-metric atau azure-openai-emit-token-metric:

  • Anda dapat mengonfigurasi maksimum 10 dimensi kustom per kebijakan.

  • Jumlah rangkaian waktu aktif yang dihasilkan oleh kebijakan dalam periode 12 jam adalah produk dari jumlah nilai unik dari setiap dimensi yang dikonfigurasi selama periode tersebut. Misalnya, jika tiga dimensi kustom dikonfigurasi dalam kebijakan, dan setiap dimensi memiliki 10 nilai yang mungkin dalam periode tersebut, kebijakan akan berkontribusi 1.000 (10 x 10 x 10) rangkaian waktu aktif.

  • Jika Anda mengonfigurasi kebijakan dalam beberapa instans API Management yang berada di wilayah yang sama dalam langganan, semua instans dapat berkontribusi pada batas rangkaian waktu aktif regional.

Pelajari selengkapnya tentang batasan dan pertimbangan desain untuk metrik kustom di Azure Monitor.

Prasyarat

Pernyataan kebijakan

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Atribut

Atribut Deskripsi Wajib diisi Nilai default
namespace String . Namespace metrik. Ekspresi kebijakan tidak diizinkan. No API Management

Elemen

Elemen Deskripsi Wajib diisi
dimensi Tambahkan satu atau beberapa elemen ini untuk setiap dimensi yang disertakan dalam metrik. Ya

atribut dimensi

Atribut Deskripsi Wajib diisi Nilai default
nama String atau ekspresi kebijakan. Nama dimensi. Ya T/A
value String atau ekspresi kebijakan. Nilai dimensi. Hanya dapat dihilangkan jika name cocok dengan salah satu dimensi default. Jika demikian, nilai disediakan berdasarkan nama dimensi. No T/A

Nama dimensi default yang dapat digunakan tanpa nilai

  • ID API
  • ID Operasi
  • ID Produk
  • Id Pengguna
  • ID Langganan
  • Lokasi
  • ID Gateway

Penggunaan

Catatan penggunaan

  • Kebijakan ini dapat digunakan beberapa kali per definisi kebijakan.
  • Anda dapat mengonfigurasi paling banyak 10 dimensi kustom untuk kebijakan ini.
  • Kebijakan ini dapat dikonfigurasi secara opsional saat menambahkan API dari Layanan Azure OpenAI menggunakan portal.
  • Jika tersedia, nilai di bagian penggunaan respons dari Azure OpenAI Service API digunakan untuk menentukan metrik token.
  • Titik akhir Azure OpenAI tertentu mendukung streaming respons. Ketika stream diatur ke true dalam permintaan API untuk mengaktifkan streaming, metrik token diperkirakan.

Contoh

Contoh berikut mengirimkan metrik jumlah token Azure OpenAI ke Application Insights bersama dengan ID API sebagai dimensi kustom.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Konten terkait

Untuk informasi selengkapnya tentang bekerja dengan kebijakan, lihat: