Memancarkan metrik untuk konsumsi token Azure OpenAI

BERLAKU UNTUK: Semua tingkatAN API Management

Kebijakan ini azure-openai-emit-token-metric mengirimkan metrik ke Application Insights tentang konsumsi token model bahasa besar melalui API Layanan Azure OpenAI. Metrik jumlah token meliputi: Token Total, Token Prompt, dan Token Penyelesaian.

Catatan

Tetapkan elemen kebijakan dan elemen turunan dalam urutan yang disediakan dalam pernyataan kebijakan. Pelajari lebih lanjut cara mengatur atau mengedit kebijakan API Management.

Prasyarat

• Satu atau beberapa API Layanan Azure OpenAI harus ditambahkan ke instans API Management Anda. Untuk informasi selengkapnya, lihat Menambahkan Azure OpenAI Service API ke Azure API Management.
• Instans API Management Anda harus terintegrasi dengan Application insights. Untuk informasi selengkapnya, lihat Cara mengintegrasikan Azure API Management dengan Azure Application Insights.
• Aktifkan pengelogan Application Insights untuk API Azure OpenAI Anda.
• Aktifkan metrik kustom dengan dimensi di Application Insights. Untuk informasi selengkapnya, lihat Memancarkan metrik kustom.

Pernyataan kebijakan

<azure-openai-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</azure-openai-emit-token-metric>

Atribut

Atribut	Deskripsi	Wajib diisi	Nilai default
namespace	String . Namespace metrik. Ekspresi kebijakan tidak diizinkan.	No	API Management
value	Nilai metrik yang dinyatakan sebagai ganda. Ekspresi kebijakan diizinkan.	No	1

Elemen

Elemen	Deskripsi	Wajib diisi
dimensi	Tambahkan satu atau beberapa elemen ini untuk setiap dimensi yang disertakan dalam metrik.	Ya

atribut dimensi

Atribut	Deskripsi	Wajib diisi	Nilai default
nama	String atau ekspresi kebijakan. Nama dimensi.	Ya	T/A
value	String atau ekspresi kebijakan. Nilai dimensi. Hanya dapat dihilangkan jika name cocok dengan salah satu dimensi default. Jika demikian, nilai disediakan berdasarkan nama dimensi.	No	T/A

Nama dimensi default yang dapat digunakan tanpa nilai

• ID API
• ID Operasi
• ID Produk
• Id Pengguna
• ID Langganan
• Lokasi
• ID Gateway

Penggunaan

• Bagian kebijakan: masuk
• Cakupan kebijakan: global, ruang kerja, produk, API, operasi
• Gateway: klasik, v2

Catatan penggunaan

• Kebijakan ini dapat digunakan beberapa kali per definisi kebijakan.
• Anda dapat mengonfigurasi paling banyak 10 definisi kustom untuk kebijakan ini.
• Kebijakan ini dapat dikonfigurasi secara opsional saat menambahkan API dari Layanan Azure OpenAI menggunakan portal.

Contoh

Contoh berikut mengirimkan metrik jumlah token Azure OpenAI ke Application Insights bersama dengan ID Pengguna, IP Klien, dan ID API sebagai dimensi.

<policies>
  <inbound>
      <azure-openai-emit-token-metric
            namespace="AzureOpenAI">   
            <dimension name="User ID" />
            <dimension name="Client IP" value="@(context.Request.IpAddress)" />
            <dimension name="API ID" />
        </azure-openai-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Kebijakan terkait

• Pembuatan Log
• kebijakan emit-metric
• kebijakan azure-openai-token-limit

Konten terkait

Untuk informasi selengkapnya tentang bekerja dengan kebijakan, lihat:

• Tutorial: Mengubah dan melindungi API Anda
• Referensi Kebijakan untuk daftar lengkap pernyataan kebijakan dan pengaturannya
• Ekspresi kebijakan
• Mengatur atau mengedit kebijakan
• Menggunakan kembali konfigurasi kebijakan
• Repositori cuplikan kebijakan
• Kebijakan penulis menggunakan Microsoft Copilot untuk Azure