Referensi data pemantauan Azure OpenAI

Artikel ini berisi semua informasi referensi pemantauan untuk layanan ini.

Untuk detail tentang data yang dapat Anda kumpulkan untuk Azure OpenAI di Microsoft Foundry Models dan cara menggunakannya, lihat Monitor Azure OpenAI.

Metrik

Bagian ini mencantumkan semua metrik platform yang dikumpulkan secara otomatis untuk layanan ini. Metrik ini juga merupakan bagian dari daftar global metrik platform all yang didukung dalam Azure Monitor.

Untuk informasi tentang retensi metrik, lihat Azure Monitor Ringkasan metrik.

Metrik yang didukung untuk Microsoft. Layanan/akun Kognitif

Pantau metrik terpenting untuk Azure OpenAI. Kemudian dalam artikel ini, Anda menemukan daftar yang lebih panjang dari semua metrik yang tersedia untuk namespace layanan ini, yang berisi detail selengkapnya tentang metrik dalam daftar yang lebih pendek ini. Silakan lihat daftar berikut untuk informasi tanggal-up-toterbanyak. Tim Azure sedang berupaya me-refresh tabel di bagian berikut.

Important

Jangan bingung metrik di bagian ini dengan metrik lama Latency yang tercantum di bawah Cognitive Services - Permintaan HTTP nanti di artikel ini. Metrik Latency lama tidak dirancang untuk beban kerja OpenAI Azure dan menghasilkan hasil yang menyesatkan saat digunakan untuk mendiagnosis latensi OpenAI Azure. Untuk pemantauan latensi OpenAI Azure, gunakan Time to Response (AzureOpenAITimeToResponse), Time to Last Byte (AzureOpenAITTLTInMS), Time Between Tokens (AzureOpenAINormalizedTBTInMS), atau Normalized Time to First Byte (AzureOpenAINormalizedTTFTInMS). Untuk panduan tentang menafsirkan metrik ini, lihat Performa dan latensi.

  • Permintaan Azure OpenAI
  • Token Aktif
  • Token Penyelesaian yang Dihasilkan
  • Jam Pelatihan FineTuned yang Diproses
  • Token Inferensi yang Diproses
  • Token Permintaan yang Diproses
  • Pemanfaatan yang dikelola yang disediakan V2
  • Prompt Tingkat Pencocokan Cache Token
  • Waktu untuk Respons
  • Waktu Antar Token
  • Waktu ke Byte Terakhir
  • Waktu yang Dinormalisasi ke Byte Pertama
  • Token per Detik

Anda juga dapat memantau metrik Keamanan Konten yang digunakan layanan terkait lainnya.

  • Volume Yang Diblokir
  • Volume Berbahaya Terdeteksi
  • Jumlah Pengguna Potensial Penyalahgunaan
  • Acara Sistem Keselamatan
  • Total Volume Dikirim untuk Pemeriksaan Keamanan

Note

Metrik Pemanfaatan yang dikelola yang disediakan sekarang tidak digunakan lagi dan tidak lagi direkomendasikan. Metrik ini digantikan oleh metrik Utilisasi V2 yang dikelola yang disediakan . Token per Detik, Waktu respons, dan Waktu Antar Token saat ini tidak tersedia untuk penyebaran Standar.

Referensi cepat: Metrik utama berdasarkan kasus penggunaan

Gunakan tabel ini untuk menemukan metrik yang tepat untuk sasaran pemantauan tertentu. Untuk panduan menyeluruh tentang menafsirkan metrik ini, lihat Performa dan latensi.

Saya ingin memantau... Gunakan metrik ini Nama REST API
Waktu respons keseluruhan Waktu ke Byte Terakhir AzureOpenAITTLTInMS
Responsivitas token pertama (streaming) Waktu untuk Respons AzureOpenAITimeToResponse
Kecepatan pembuatan token Waktu Antar Token AzureOpenAINormalizedTBTInMS
Efisiensi token pertama dinormalisasi oleh ukuran prompt Waktu yang Dinormalisasi ke Byte Pertama AzureOpenAINormalizedTTFTInMS
Volume token keluaran per permintaan Token Penyelesaian yang Dihasilkan GeneratedTokens
Volume token input per permintaan Token Permintaan yang Diproses ProcessedPromptTokens
Pemanfaatan kapasitas PTU Pemanfaatan yang dikelola yang disediakan V2 AzureOpenAIProvisionedManagedUtilizationV2
Meminta volume dan kesalahan Permintaan Azure OpenAI AzureOpenAIRequests

Tip

Selalu pasangkan metrik latensi dengan metrik jumlah token. Peningkatan latensi tanpa peningkatan token yang sesuai mungkin mengindikasikan masalah nyata. Peningkatan latensi dengan peningkatan token proporsional adalah perilaku yang diharapkan.

Warning

Metrik di bawah Cognitive Services - HTTP Requests nanti dalam artikel ini adalah metrik Cognitive Services lama dan tidak dirancang untuk beban kerja OpenAI Azure. Secara khusus, metrik Latency dalam kategori tersebut tidak sama dengan metrik latensi OpenAI Azure (waktu untuk merespons, waktu hingga byte terakhir, waktu antara token, waktu yang dinormalisasi hingga byte pertama). Menggunakan metrik Latency lama untuk pemecahan masalah OpenAI Azure menghasilkan hasil yang menyesatkan. Gunakan metrik Azure OpenAI yang tercantum di bagian ini sebagai gantinya.

Tabel berikut mencantumkan metrik yang tersedia untuk Microsoft. Jenis sumber daya CognitiveServices/accounts.

  • Semua kolom mungkin tidak ada di setiap tabel.
  • Beberapa kolom mungkin berada di luar area tampilan halaman. Pilih Perluas tabel untuk melihat semua kolom yang tersedia.

Judul tabel

  • Kategori - Grup atau klasifikasi metrik.
  • Metric - Nama tampilan metrik seperti yang muncul di portal Azure.
  • Nama di REST API - Nama metrik seperti yang dirujuk dalam REST API.
  • Satuan - Satuan ukuran.
  • Agregasi - Jenis agregasi default. Nilai yang valid: Rata-rata (Rata-rata), Minimum (Min), Maksimum (Maks), Total (Jumlah), Jumlah.
  • Dimensi - Dimensi tersedia untuk metrik.
  • Butiran - WaktuInterval di mana metrik diambil sampelnya. Misalnya, PT1M menunjukkan bahwa metrik diambil sampelnya setiap menit, PT30M setiap 30 menit, PT1H setiap jam, dan seterusnya.
  • DS Export- Apakah metrik dapat diekspor ke Azure Monitor Log melalui pengaturan diagnostik. Untuk informasi tentang mengekspor metrik, lihat Membuat pengaturan diagnostik di Azure Monitor.

Kategori: Azure OpenAI - Permintaan HTTP

Metrik Nama di REST API Metrik platform tingkat lanjut Unit Aggregation Dimensi Granul Waktu DS Ekspor
Azure OpenAI AvailabilityRate

Persentase ketersediaan dengan perhitungan berikut: (Total Panggilan - Kesalahan Server)/Total Panggilan. Kesalahan Server mencakup respons >HTTP =500.
AzureOpenAIAvailabilityRate No Persen Minimum, Maksimum, Rata-rata ApiName, , OperationName, RegionStreamType, ModelDeploymentName, ModelName,ModelVersion PT1M No
Azure Permintaan OpenAI

Jumlah panggilan yang dilakukan ke Azure OpenAI API selama periode waktu tertentu. Berlaku untuk penyebaran PTU, PTU-Managed, dan Bayar sesuai pemakaian. Untuk perincian permintaan API, Anda dapat menambahkan filter atau menerapkan pemisahan berdasarkan dimensi berikut: ModelDeploymentName, ModelName, ModelVersion, StatusCode (berhasil, clienterrors, kesalahan server), IsSpillover untuk informasi spillover, ServiceTier, StreamType (Permintaan streaming vs non-streaming) dan operasi.
AzureOpenAIRequests No Count Jumlah (Total) ApiName, , OperationName, RegionStreamTypeModelDeploymentNameModelName, , , ModelVersionStatusCodeIsSpilloverServiceTierRequestServiceTierResponse PT1M Yes

Kategori: Azure OpenAI - Latensi

Metrik Nama di REST API Metrik platform tingkat lanjut Unit Aggregation Dimensi Granul Waktu DS Ekspor
Waktu Antara Token

Untuk permintaan streaming; tingkat pembuatan token model, diukur dalam milidetik. Berlaku untuk penyebaran PTU, dikelola PTU, dan Bayar sesuai pemakaian.
AzureOpenAINormalizedTBTInMS No Milisekon Maksimum, Minimum, Rata-rata Region, , ModelDeploymentNameModelName, ModelVersion, , ServiceTierRequest,ServiceTierResponse PT1M Yes
Waktu yang Dinormalisasi ke Byte Pertama

Untuk permintaan streaming dan non-streaming; waktu yang dibutuhkan untuk byte pertama data respons untuk diterima setelah permintaan dibuat oleh model, dinormalisasi oleh token. Berlaku untuk penyebaran PTU, dikelola PTU, dan Bayar sesuai pemakaian.
AzureOpenAINormalizedTTFTInMS No Milisekon Maksimum, Minimum, Rata-rata Region, , ModelDeploymentNameModelName, ModelVersion, , ServiceTierRequest,ServiceTierResponse PT1M Yes
Waktu untuk Menanggapi

Ukuran latensi (responsif) yang direkomendasikan untuk permintaan streaming. Berlaku untuk penyebaran PTU, dikelola PTU, dan Bayar sesuai pemakaian. Dihitung sebagai waktu yang dibutuhkan untuk respons pertama muncul setelah pengguna mengirim perintah, seperti yang diukur oleh gateway API. Jumlah ini meningkat seiring bertambahnya ukuran prompt dan/atau berkurang ukuran hit cache. Untuk perincian waktu ke metrik respons, Anda dapat menambahkan filter atau menerapkan pemisahan berdasarkan dimensi berikut: ModelDeploymentName, ModelName, dan ModelVersion.

Catatan: metrik ini adalah perkiraan karena latensi yang diukur sangat bergantung pada beberapa faktor, termasuk panggilan bersamaan dan pola beban kerja secara keseluruhan. Selain itu, ini tidak memperhitungkan latensi sisi klien apa pun yang mungkin ada antara klien Anda dan titik akhir API. Silakan lihat pencatatan Anda sendiri untuk pelacakan latensi yang optimal.
AzureOpenAITimeToResponse No Milisekon Minimum, Maksimum, Rata-rata ApiName, OperationName, Region, StreamType, ModelDeploymentName, ModelName, ModelVersion, StatusCode, ServiceTierRequest, ServiceTierResponse PT1M Yes
Token Per Detik

Menghitung kecepatan pembuatan untuk respons model Azure OpenAI tertentu. Total token yang dihasilkan dibagi dengan waktu untuk menghasilkan token, dalam hitungan detik. Berlaku untuk penyebaran PTU, dikelola PTU, dan Bayar sesuai pemakaian.
AzureOpenAITokenPerSecond No Count Maksimum, Minimum, Rata-rata Region, , ModelDeploymentNameModelName, ModelVersion, , ServiceTierRequest,ServiceTierResponse PT1M Yes
Waktu untuk Byte Terakhir

Untuk permintaan streaming dan non-streaming; waktu yang dibutuhkan untuk byte terakhir data respons diterima setelah permintaan dibuat oleh model. Berlaku untuk penyebaran PTU, dikelola PTU, dan Bayar sesuai pemakaian.
AzureOpenAITTLTInMS No Milisekon Maksimum, Minimum, Rata-rata Region, , ModelDeploymentNameModelName, ModelVersion, , ServiceTierRequest,ServiceTierResponse PT1M Yes

Kategori: Azure OpenAI - Penggunaan

Metrik Nama di REST API Metrik platform tingkat lanjut Unit Aggregation Dimensi Granul Waktu DS Ekspor
Token Aktif

Total token dikurangi token yang di-cache selama periode waktu tertentu. Berlaku untuk penyebaran yang dikelola PTU dan PTU. Gunakan metrik ini untuk memahami pemanfaatan berbasis TPS atau TPM untuk PTU dan bandingkan dengan tolok ukur untuk TPS atau TPM target untuk skenario Anda. Untuk perincian permintaan API, Anda dapat menambahkan filter atau menerapkan pemisahan berdasarkan dimensi berikut: ModelDeploymentName, ModelName, dan ModelVersion.
ActiveTokens No Count Minimum, Maksimum, Rata-rata, Total (Jumlah) Region, , ModelDeploymentNameModelName, ModelVersion, , ServiceTierRequest,ServiceTierResponse PT1M Yes
Token Penyelesaian Audio

Jumlah token prompt audio yang dihasilkan (output) pada model OpenAI. Berlaku untuk penyebaran model yang dikelola PTU dan Pay-as-you-go.
AudioCompletionTokens No Count Jumlah (Total) ModelDeploymentName, ModelName, , ModelVersionRegion PT1M Yes
Token Prompt Audio

Jumlah token prompt audio yang diproses (input) pada model OpenAI. Berlaku untuk penyebaran model yang dikelola PTU dan Pay-as-you-go.
AudioPromptTokens No Count Jumlah (Total) ModelDeploymentName, ModelName, , ModelVersionRegion PT1M Yes
Prompt Tingkat Pencocokan Cache Token

Persentase token prompt yang masuk ke cache. Berlaku untuk penyebaran yang dikelola PTU dan PTU.
AzureOpenAIContextTokensCacheMatchRate No Persen Minimum, Maksimum, Rata-rata Region, ModelDeploymentName, , ModelNameModelVersion PT1M No
Pemanfaatan yang dikelola yang disediakan (tidak digunakan lagi)

Pemanfaatan % untuk penyebaran yang dikelola dengan ketentuan, dihitung sebagai (PTU yang digunakan / PTU yang disebarkan) x 100. Ketika pemanfaatan lebih besar dari atau sama dengan 100%, panggilan dibatasi dan kode kesalahan 429 dikembalikan. Untuk memecah metrik ini, Anda dapat menambahkan filter atau menerapkan pemisahan berdasarkan dimensi berikut: ModelDeploymentName, ModelName, ModelVersion, dan StreamType (Permintaan streaming vs non-streaming)
AzureOpenAIProvisionedManagedUtilization No Persen Minimum, Maksimum, Rata-rata Region, StreamType, , ModelDeploymentName, ModelNameModelVersion PT1M No
Pemanfaatan yang dikelola yang disediakan V2

Pemanfaatan % untuk penyebaran yang dikelola dengan ketentuan, dihitung sebagai (PTU yang digunakan / PTU yang disebarkan) x 100. Ketika pemanfaatan lebih besar dari atau sama dengan 100%, panggilan dibatasi dan kode kesalahan 429 dikembalikan. Untuk memecah metrik ini, Anda dapat menambahkan filter atau menerapkan pemisahan berdasarkan dimensi berikut: ModelDeploymentName, ModelName, ModelVersion, dan StreamType (Permintaan streaming vs non-streaming)
AzureOpenAIProvisionedManagedUtilizationV2 No Persen Minimum, Maksimum, Rata-rata Region, StreamType, , ModelDeploymentName, ModelNameModelVersion PT1M No
Jam Pelatihan FineTuned yang Diproses

Jumlah jam pelatihan yang diproses pada model OpenAI FineTuned
FineTunedTrainingHours No Count Jumlah (Total) ApiName, ModelDeploymentName, , FeatureName, UsageChannelRegion PT1M Yes
Token Penyelesaian yang Dihasilkan

Jumlah token yang dihasilkan (output) dari model OpenAI. Berlaku untuk penyebaran PTU, dikelola PTU, dan Bayar sesuai pemakaian. Untuk merinci metrik ini, Anda dapat menambahkan filter atau menerapkan pemisahan berdasarkan dimensi berikut: ModelDeploymentName dan ModelName.
GeneratedTokens No Count Jumlah (Total) ApiName, , ModelDeploymentName, FeatureNameUsageChannel, RegionModelVersionServiceTierRequest,ServiceTierResponse PT1M Yes
Token Prompt yang Diproses

Jumlah token prompt yang diproses (input) pada model OpenAI. Berlaku untuk penyebaran PTU, dikelola PTU, dan Bayar sesuai pemakaian. Untuk merinci metrik ini, Anda dapat menambahkan filter atau menerapkan pemisahan berdasarkan dimensi berikut: ModelDeploymentName dan ModelName.
ProcessedPromptTokens No Count Jumlah (Total) ApiName, , ModelDeploymentName, FeatureNameUsageChannel, RegionModelVersionServiceTierRequest,ServiceTierResponse PT1M Yes
Detik API Realtime yang Digunakan

RealtimeAPI jumlah detik yang digunakan
RealtimeUsageTime No Count Jumlah (Total) Region, ModelDeploymentName PT1M Yes
Token Inferensi yang Diproses

Jumlah token inferensi yang diproses pada model OpenAI. Dihitung sebagai token prompt (input) ditambah token yang dihasilkan (output). Berlaku untuk penyebaran PTU, dikelola PTU, dan Bayar sesuai pemakaian. Untuk merinci metrik ini, Anda dapat menambahkan filter atau menerapkan pemisahan berdasarkan dimensi berikut: ModelDeploymentName dan ModelName.
TokenTransaction No Count Jumlah (Total) ApiName, , ModelDeploymentName, FeatureNameUsageChannel, RegionModelVersionServiceTierRequest,ServiceTierResponse PT1M Yes

Kategori: Cognitive Services - Permintaan HTTP

Metrik Nama di REST API Metrik platform tingkat lanjut Unit Aggregation Dimensi Granul Waktu DS Ekspor
Panggilan Yang Diblokir

Jumlah panggilan yang melebihi tarif atau batas kuota. Jangan gunakan untuk layanan Azure OpenAI.
BlockedCalls No Count Jumlah (Total) ApiName, OperationName, , RegionRatelimitKey PT1M Yes
Kesalahan Klien

Jumlah panggilan dengan kesalahan sisi klien (kode respons HTTP 4xx). Jangan gunakan untuk layanan Azure OpenAI.
ClientErrors No Count Jumlah (Total) ApiName, OperationName, , RegionRatelimitKey PT1M Yes
Data Masuk

Ukuran data masuk dalam byte. Jangan gunakan untuk layanan Azure OpenAI.
DataIn No Bytes Jumlah (Total) ApiName, , OperationNameRegion PT1M Yes
Data Kirim

Ukuran data keluar dalam byte. Jangan gunakan untuk layanan Azure OpenAI.
DataOut No Bytes Jumlah (Total) ApiName, , OperationNameRegion PT1M Yes
Latency

Latensi dalam milidetik. Jangan gunakan untuk layanan Azure OpenAI.
Latency No Milisekon Average ApiName, OperationName, , RegionRatelimitKey PT1M Yes
Ratelimit

Batas laju saat ini dari kunci batas laju. Jangan gunakan untuk layanan Azure OpenAI.
Ratelimit No Count Jumlah (Total) Region, RatelimitKey PT1M Yes
Kesalahan Server

Jumlah panggilan dengan kesalahan internal layanan (kode respons HTTP 5xx). Jangan gunakan untuk layanan Azure OpenAI.
ServerErrors No Count Jumlah (Total) ApiName, OperationName, , RegionRatelimitKey PT1M Yes
Panggilan Berhasil

Jumlah panggilan yang berhasil. Jangan gunakan untuk layanan Azure OpenAI.
SuccessfulCalls No Count Jumlah (Total) ApiName, OperationName, , RegionRatelimitKey PT1M Yes
Total Panggilan

Jumlah total panggilan. Jangan gunakan untuk layanan Azure OpenAI.
TotalCalls No Count Jumlah (Total) ApiName, OperationName, , RegionRatelimitKey PT1M Yes
Total Kesalahan

Jumlah total panggilan dengan respons kesalahan (kode respons HTTP 4xx atau 5xx). Jangan gunakan untuk layanan Azure OpenAI.
TotalErrors No Count Jumlah (Total) ApiName, OperationName, , RegionRatelimitKey PT1M Yes
Total Panggilan Token

Jumlah total panggilan token.
TotalTokenCalls No Count Jumlah (Total) ApiName, , OperationNameRegion PT1M Yes

Kategori: Layanan Kognitif - SLI

Metrik Nama di REST API Metrik platform tingkat lanjut Unit Aggregation Dimensi Granul Waktu DS Ekspor
AvailabilityRate

Persentase ketersediaan dengan perhitungan berikut: (Total Panggilan - Kesalahan Server)/Total Panggilan. Kesalahan Server mencakup respons >HTTP =500. Jangan gunakan untuk layanan Azure OpenAI.
SuccessRate No Persen Minimum, Maksimum, Rata-rata ApiName, OperationName, , RegionRatelimitKey PT1M No

Kategori: Pemahaman Konten - Penggunaan

Metrik Nama di REST API Metrik platform tingkat lanjut Unit Aggregation Dimensi Granul Waktu DS Ekspor
Transaksi dengan Pengenalan Wajah

Jumlah panggilan API yang dilakukan ke layanan Face
FaceApiTransactions No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Menit Audio yang Diproses

Menit audio yang diproses
ProcessedAudioMinutes No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Halaman Yang Diproses

Jumlah halaman dokumen yang diproses
ProcessedDocumentPages No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Gambar yang Diproses

Jumlah gambar yang diproses
ProcessedImageCount No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Menit Video yang Diproses

Menit video yang diproses
ProcessedVideoMinutes No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Token

Jumlah token yang digunakan
Tokens No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes

Kategori: ContentSafety - Risiko & Keamanan

Metrik Nama di REST API Metrik platform tingkat lanjut Unit Aggregation Dimensi Granul Waktu DS Ekspor
Volume Berbahaya Terdeteksi

Jumlah panggilan yang dilakukan ke Azure OpenAI API dan terdeteksi berbahaya (model blok dan mode anotasi) oleh filter konten yang diterapkan selama periode waktu tertentu. Anda dapat menambahkan filter atau menerapkan pemisahan berdasarkan dimensi berikut: ModelDeploymentName, ModelName, dan TextType.
RAIHarmfulRequests No Count Jumlah (Total) Region, , ModelDeploymentName, ModelNameModelVersion, ApiNameTextTypeCategory,Severity PT1M Yes
Volume Yang Diblokir

Jumlah panggilan yang dilakukan ke Azure OpenAI API dan ditolak oleh filter konten yang diterapkan selama periode waktu tertentu. Anda dapat menambahkan filter atau menerapkan pemisahan berdasarkan dimensi berikut: ModelDeploymentName, ModelName, dan TextType.
RAIRejectedRequests No Count Jumlah (Total) Region, , ModelDeploymentName, ModelNameModelVersion, ApiName, TextType,Category PT1M Yes
Acara Sistem Keselamatan

Peristiwa sistem untuk pemantauan risiko & keselamatan. Anda dapat menambahkan filter atau menerapkan pemisahan berdasarkan dimensi berikut: EventType.
RAISystemEvent No Count Average Region, EventType PT1M Yes
Total Volume Dikirim Untuk Pemeriksaan Keamanan

Jumlah panggilan yang dilakukan ke Azure OpenAI API dan terdeteksi oleh filter konten yang diterapkan selama periode waktu tertentu. Anda dapat menambahkan filter atau menerapkan pemisahan berdasarkan dimensi berikut: ModelDeploymentName, ModelName.
RAITotalRequests No Count Jumlah (Total) Region, ModelDeploymentName, , ModelName, ModelVersionApiName PT1M Yes

Kategori: ContentSafety - Penggunaan

Metrik Nama di REST API Metrik platform tingkat lanjut Unit Aggregation Dimensi Granul Waktu DS Ekspor
Jumlah Panggilan untuk Moderasi Gambar

Jumlah panggilan untuk moderasi gambar.
ContentSafetyImageAnalyzeRequestCount No Count Jumlah (Total) ApiVersion PT1M Yes
Jumlah Panggilan untuk Moderasi Teks

Jumlah panggilan untuk moderasi teks.
ContentSafetyTextAnalyzeRequestCount No Count Jumlah (Total) ApiVersion PT1M Yes

Kategori: Bahasa - Pekerjaan

Metrik Nama di REST API Metrik platform tingkat lanjut Unit Aggregation Dimensi Granul Waktu DS Ekspor
Durasi Pekerjaan (Pratinjau)

Catatan: nilai ini sangat bergantung pada ukuran input, jumlah dokumen, dan kompleksitas tugas. Ini adalah nilai agregat di semua tugas pekerjaan.
JobDuration No Milisekon Minimum, Maksimum, Rata-rata JobStatus, JobType PT1M Yes

Kategori: Router Model

Metrik Nama di REST API Metrik platform tingkat lanjut Unit Aggregation Dimensi Granul Waktu DS Ekspor
Jumlah Fallback Router Model

Jumlah permintaan yang memerlukan fallback ke model alternatif.
ModelRouterFallbackCount No Count Jumlah (Total) ModelDeploymentName, ModelName, , RegionRouterMode PT1M Yes
Latensi Router Model

Waktu yang diambil oleh router model untuk membuat keputusan perutean.
ModelRouterLatency No Milisekon Minimum, Maksimum, Rata-rata ModelDeploymentName, ModelName, , RegionRouterMode PT1M Yes
Permintaan Router Model

Jumlah total permintaan yang diproses oleh router model.
ModelRouterRequests No Count Jumlah (Total) ModelDeploymentName, ModelName, , RegionRouterMode PT1M Yes
Model Router Source Model Fallback

Jumlah permintaan di mana model pertama yang dicoba gagal, menyebabkan fallback ke model lain.
ModelRouterSourceModelFallback No Count Jumlah (Total) ModelDeploymentName, ModelName, , Region, RouterModeSourceModelName PT1M Yes
Permintaan Router Model Berhasil

Jumlah permintaan yang berhasil dirutekan tanpa kesalahan.
ModelRouterSuccessfulRequests No Count Jumlah (Total) ModelDeploymentName, ModelName, , RegionRouterMode PT1M Yes

Kategori: Model - Permintaan HTTP

Metrik Nama di REST API Metrik platform tingkat lanjut Unit Aggregation Dimensi Granul Waktu DS Ekspor
Tingkat Ketersediaan Model

Persentase ketersediaan dengan perhitungan berikut: (Total Panggilan - Kesalahan Server)/Total Panggilan. Kesalahan Server mencakup respons >HTTP =500.
ModelAvailabilityRate No Persen Minimum, Maksimum, Rata-rata Region, ModelDeploymentName, , ModelNameModelVersion PT1M No
Permintaan Model

Jumlah panggilan yang dilakukan ke API model selama periode waktu tertentu. Berlaku untuk penyebaran PTU, PTU-Managed, dan Bayar sesuai pemakaian.
ModelRequests No Count Jumlah (Total) ApiName, , OperationName, RegionStreamTypeModelDeploymentNameModelName, , , ModelVersionStatusCodeIsSpilloverServiceTierRequestServiceTierResponse PT1M Yes

Kategori: Model - Latensi

Metrik Nama di REST API Metrik platform tingkat lanjut Unit Aggregation Dimensi Granul Waktu DS Ekspor
Waktu Antar Token

Tingkat pembuatan token model, diukur dalam milidetik. Berlaku untuk penyebaran yang dikelola PTU dan PTU. Untuk permintaan non-streaming, nilai ini adalah perkiraan.
NormalizedTimeBetweenTokens No Milisekon Maksimum, Minimum, Rata-rata ApiName, , OperationName, RegionStreamType, ModelDeploymentName, ModelName,ModelVersion PT1M Yes
Waktu yang Dinormalisasi ke Byte Pertama

Waktu yang dibutuhkan untuk byte pertama data respons untuk diterima setelah permintaan dibuat oleh model, dinormalisasi oleh token. Berlaku untuk penyebaran PTU, dikelola PTU, dan Bayar sesuai pemakaian. Untuk permintaan non-streaming, nilai ini adalah perkiraan.
NormalizedTimeToFirstToken No Milisekon Maksimum, Minimum, Rata-rata ApiName, , OperationName, RegionStreamType, ModelDeploymentName, ModelName,ModelVersion PT1M Yes
Waktu untuk Byte Terakhir

Waktu yang dibutuhkan untuk byte terakhir data respons diterima setelah permintaan dibuat oleh model. Berlaku untuk penyebaran PTU, dikelola PTU, dan Bayar sesuai pemakaian. Untuk permintaan non-streaming, nilai ini adalah perkiraan.
TimeToLastByte No Milisekon Maksimum, Minimum, Rata-rata ApiName, , OperationName, RegionStreamType, ModelDeploymentName, ModelName,ModelVersion PT1M Yes
Waktu untuk Menanggapi

Ukuran latensi (responsif) yang direkomendasikan. Berlaku untuk penyebaran yang dikelola PTU dan PTU. Dihitung sebagai waktu yang dibutuhkan untuk respons pertama muncul setelah pengguna mengirim perintah, seperti yang diukur oleh gateway API. Jumlah ini meningkat seiring bertambahnya ukuran prompt dan/atau berkurang ukuran hit cache. Untuk perincian waktu ke metrik respons, Anda dapat menambahkan filter atau menerapkan pemisahan berdasarkan dimensi berikut: ModelDeploymentName, ModelName, dan ModelVersion.

Catatan: metrik ini adalah perkiraan karena latensi yang diukur sangat bergantung pada beberapa faktor, termasuk panggilan bersamaan dan pola beban kerja secara keseluruhan. Selain itu, ini tidak memperhitungkan latensi sisi klien apa pun yang mungkin ada antara klien Anda dan titik akhir API. Untuk permintaan non-streaming, nilai ini adalah perkiraan. Silakan lihat pencatatan Anda sendiri untuk pelacakan latensi yang optimal.
TimeToResponse No Milisekon Minimum, Maksimum, Rata-rata ApiName, , OperationName, RegionStreamType, ModelDeploymentNameModelNameModelVersion,StatusCode PT1M Yes
Token Per Detik

Menghitung kecepatan pembuatan untuk respons model tertentu. Total token yang dihasilkan dibagi dengan waktu untuk menghasilkan token, dalam hitungan detik. Berlaku untuk penyebaran yang dikelola PTU dan PTU. Untuk permintaan non-streaming, nilai ini adalah perkiraan.
TokensPerSecond No Count Maksimum, Minimum, Rata-rata ApiName, , OperationName, RegionStreamType, ModelDeploymentName, ModelName,ModelVersion PT1M Yes

Kategori: Model - Penggunaan

Metrik Nama di REST API Metrik platform tingkat lanjut Unit Aggregation Dimensi Granul Waktu DS Ekspor
Halaman Yang Diannotasi

Jumlah total halaman yang diproses dengan anotasi. Berlaku untuk penyebaran PTU, PTU-Managed, dan Bayar sesuai pemakaian.
AnnotatedPages No Count Jumlah (Total) ApiName, Region, , ModelDeploymentName, ModelNameModelVersion PT1M Yes
Token Input Audio

Jumlah token prompt audio yang diproses (input) pada model OpenAI. Berlaku untuk penyebaran model yang dikelola PTU.
AudioInputTokens No Count Jumlah (Total) ModelDeploymentName, ModelName, , ModelVersionRegion PT1M Yes
Token Output Audio

Jumlah token prompt audio yang dihasilkan (output) pada model OpenAI. Berlaku untuk penyebaran model yang dikelola PTU.
AudioOutputTokens No Count Jumlah (Total) ModelDeploymentName, ModelName, , ModelVersionRegion PT1M Yes
Meminta token dibaca dari cache

Jumlah total token yang dibaca dari cache. Berlaku untuk penyebaran model Anthropic. Muncul di bagian penggunaan respons sebagai cache_read_input_tokens
cacheReadInputTokens No Count Jumlah (Total) ApiName, , RegionModelDeploymentName, ModelName, , ModelVersion,ContextLength PT1M Yes
Token prompt yang ditulis ke cache (TTL 1 jam)

Jumlah token prompt yang digunakan untuk membuat entri 1 jam. Berlaku untuk penyebaran model Anthropic. Muncul di bagian penggunaan respons sebagai cache_creation.ephemeral_1h_input_tokens
ephemeral1hInputTokens No Count Jumlah (Total) ApiName, , RegionModelDeploymentName, ModelName, , ModelVersion,ContextLength PT1M Yes
Token prompt yang ditulis ke cache (TTL 5 menit)

Jumlah token prompt yang digunakan untuk membuat entri cache 5 menit. Berlaku untuk penyebaran model Anthropic. Muncul di bagian penggunaan respons sebagai cache_creation.ephemeral_5m_input_tokens
ephemeral5mInputTokens No Count Jumlah (Total) ApiName, , RegionModelDeploymentName, ModelName, , ModelVersion,ContextLength PT1M Yes
Estimasi Biaya Model Foundry (Pratinjau)

Estimasi biaya USD penggunaan model untuk akun ini. Hanya berlaku untuk model Foundry. Nilai ini adalah perkiraan dan bukan faktur atau biaya yang ditagih.
FoundryModelEstimatedCost No Tidak disebutkan Jumlah (Total) ProjectId, ModelDeploymentName, , ModelName, ModelVersionRegion PT1M No
Gambar yang Dihasilkan

Jumlah total gambar yang dihasilkan. Berlaku untuk penyebaran PTU, PTU-Managed, dan Bayar sesuai pemakaian.
GeneratedImages No Count Jumlah (Total) ApiName, Region, , ModelDeploymentName, ModelNameModelVersion PT1M Yes
Token Masukan

Jumlah token prompt yang diproses (input) pada model. Berlaku untuk penyebaran PTU, PTU-Managed, dan Bayar sesuai pemakaian.
InputTokens No Count Jumlah (Total) ApiName, Region, , ModelDeploymentName, ModelNameModelVersion PT1M Yes
Output Token

Jumlah token yang dihasilkan (output) dari model OpenAI. Berlaku untuk penyebaran PTU, PTU-Managed, dan Bayar sesuai pemakaian.
OutputTokens No Count Jumlah (Total) ApiName, Region, , ModelDeploymentName, ModelNameModelVersion PT1M Yes
Pemanfaatan yang Dialokasikan

Pemanfaatan % untuk penyebaran yang dikelola dengan ketentuan, dihitung sebagai (PTU yang digunakan / PTU yang disebarkan) x 100. Ketika pemanfaatan lebih besar dari atau sama dengan 100%, panggilan dibatasi dan kode kesalahan 429 dikembalikan.
ProvisionedUtilization No Persen Minimum, Maksimum, Rata-rata Region, ModelDeploymentName, , ModelNameModelVersion PT1M No
Total Halaman

Jumlah total halaman yang diproses. Berlaku untuk penyebaran PTU, PTU-Managed, dan Bayar sesuai pemakaian.
TotalPages No Count Jumlah (Total) ApiName, Region, , ModelDeploymentName, ModelNameModelVersion PT1M Yes
Total Token

Jumlah token inferensi yang diproses pada model. Dihitung sebagai token prompt (input) ditambah token yang dihasilkan (output). Berlaku untuk penyebaran PTU, PTU-Managed, dan Bayar sesuai pemakaian.
TotalTokens No Count Jumlah (Total) ApiName, Region, , ModelDeploymentName, ModelNameModelVersion PT1M Yes

Kategori: SpeechServices - Penggunaan

Metrik Nama di REST API Metrik platform tingkat lanjut Unit Aggregation Dimensi Granul Waktu DS Ekspor
Batch Detik Audio Ditranskripsi

Jumlah batch detik yang ditranskripsi
AudioSecondsBatchTranscribed No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Audio Detik Batch Whisper Ditranskripsi

Jumlah detik bisikan batch yang ditranskripsi
AudioSecondsBatchWhisperTranscribed No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Detik Audio Ditranskripsi Cepat

Jumlah detik yang cepat ditranskripsi
AudioSecondsFastTranscribed No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Detik Audio Bisikan Cepat Ditranskripsi

Bisikan cepat jumlah detik yang ditranskripsi
AudioSecondsFastWhisperTranscribed No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Detik Audio Ditranskripsi

Jumlah detik yang ditranskripsi
AudioSecondsTranscribed No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Detik Audio Diterjemahkan

Jumlah detik yang diterjemahkan
AudioSecondsTranslated No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Detik Hosting Model Avatar

Jumlah Detik.
AvatarModelHostingSeconds No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Detik Pelatihan Model Avatar

Jumlah Detik.
AvatarModelTrainingSeconds No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Jam Hosting Model Pidato

Jumlah jam hosting model ucapan
SpeechModelHostingHours No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Karakter yang Disintesis

Jumlah Karakter.
SynthesizedCharacters No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Detik Video Disintesis

Jumlah detik disintesis
VideoSecondsSynthesized No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Token Input Audio Langsung Suara

Jumlah token input audio, tidak termasuk token yang di-cache.
VoiceLiveAudioInputTokens No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Token Output Audio Langsung Suara

Jumlah token output audio.
VoiceLiveAudioOutputTokens No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Token Input Audio Cache Suara Langsung

Jumlah token input audio yang di-cache.
VoiceLiveCachedAudioInputTokens No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Token Input Teks Cache Suara Langsung

Jumlah token input teks yang di-cache.
VoiceLiveCachedTextInputTokens No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Token Input Teks Langsung Suara

Jumlah token input teks, tidak termasuk token yang di-cache.
VoiceLiveTextInputTokens No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Token Output Teks Langsung Suara

Jumlah token output teks.
VoiceLiveTextOutputTokens No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Jam Hosting Model Suara

Jumlah jam.
VoiceModelHostingHours No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Notulen Pelatihan Model Suara

Jumlah menit.
VoiceModelTrainingMinutes No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes

Kategori: Layanan Penerjemah - Penggunaan

Metrik Nama di REST API Metrik platform tingkat lanjut Unit Aggregation Dimensi Granul Waktu DS Ekspor
Karakter Dokumen Diterjemahkan

Jumlah karakter dalam permintaan terjemahan dokumen.
DocumentCharactersTranslated No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Karakter Kustom Dokumen Diterjemahkan

Jumlah karakter dalam permintaan terjemahan dokumen kustom.
DocumentCustomCharactersTranslated No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Karakter Sinkronisasi Dokumen Diterjemahkan

Jumlah karakter dalam permintaan terjemahan dokumen (sinkron).
OneDocumentCharactersTranslated No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Sinkronisasi Dokumen Karakter Kustom Diterjemahkan

Jumlah karakter dalam permintaan terjemahan dokumen kustom (sinkron).
OneDocumentCustomCharactersTranslated No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Karakter Teks Diterjemahkan

Jumlah karakter dalam permintaan terjemahan teks masuk.
TextCharactersTranslated No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Teks Karakter Kustom Diterjemahkan

Jumlah karakter dalam permintaan terjemahan teks kustom yang masuk.
TextCustomCharactersTranslated No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Karakter yang Dilatih Teks

Jumlah karakter yang dilatih menggunakan terjemahan teks.
TextTrainedCharacters No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Detik Aplikasi Translator Pro

Jumlah detik penggunaan Aplikasi Translator Pro.
TranslatorProAppSeconds No Seconds Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes

Kategori: Penggunaan

Metrik Nama di REST API Metrik platform tingkat lanjut Unit Aggregation Dimensi Granul Waktu DS Ekspor
Computer Vision Transaksi

Jumlah Transaksi Computer Vision
ComputerVisionTransactions No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Waktu Pelatihan Penglihatan Kustom

Waktu pelatihan Visi Kustom
CustomVisionTrainingTime No Seconds Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Transaksi Visi Kustom

Jumlah transaksi prediksi Custom Vision
CustomVisionTransactions No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Gambar Wajah Dilatih

Jumlah gambar yang dilatih. 1.000 gambar dilatih per transaksi.
FaceImagesTrained No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Wajah Tersimpan

Jumlah wajah yang disimpan, prorata setiap hari. Jumlah wajah yang disimpan dilaporkan setiap hari.
FacesStored No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Transaksi dengan Pengenalan Wajah

Jumlah panggilan API yang dilakukan ke layanan Face
FaceTransactions No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Gambar Tersimpan

Jumlah gambar Custom Vision yang disimpan.
ImagesStored No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Peristiwa yang Dipelajari

Jumlah peristiwa yang dipelajari.
LearnedEvents No Count Jumlah (Total) IsMatchBaseline, , ModeRunId PT1M Yes
Permintaan Ucapan LUIS

Jumlah permintaan pemahaman ucapan LUIS ke maksud
LUISSpeechRequests No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Permintaan Teks LUIS

Jumlah permintaan teks LUIS
LUISTextRequests No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Imbalan yang Sesuai

Jumlah hadiah yang cocok.
MatchedRewards No Count Jumlah (Total) Mode, RunId PT1M Yes
Peristiwa yang Tidak Diaktifkan

Jumlah acara yang dilewati.
NonActivatedEvents No Count Jumlah (Total) Mode, RunId PT1M Yes
Hadiah yang Diamati

Jumlah hadiah yang diamati.
ObservedRewards No Count Jumlah (Total) Mode, RunId PT1M Yes
Karakter yang Diproses

Jumlah Karakter yang diproses oleh Immersive Reader.
ProcessedCharacters No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Catatan Teks Kesehatan yang Diproses

Jumlah catatan teks kesehatan yang diproses
ProcessedHealthTextRecords No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Gambar yang Diproses

Jumlah gambar yang diproses
ProcessedImages No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Halaman Yang Diproses

Jumlah halaman yang diproses
ProcessedPages No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Catatan Teks yang Diproses

Jumlah Catatan Teks.
ProcessedTextRecords No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Catatan Teks QA

Jumlah rekaman teks yang diproses
QuestionAnsweringTextRecords No Count Jumlah (Total) ApiName, FeatureName, , UsageChannelRegion PT1M Yes
Total Peristiwa

Jumlah acara.
TotalEvents No Count Jumlah (Total) Mode, RunId PT1M Yes
Total Transaksi (Tidak Digunakan lagi)

Jumlah total transaksi.
TotalTransactions No Count Jumlah (Total) <tidak ada> PT1M Yes

Dimensi metrik

Untuk informasi tentang dimensi metrik, lihat Metrik multidimensi.

Layanan ini memiliki dimensi berikut yang terkait dengan metriknya.

  • ApiName
  • NamaFitur
  • ModelDeploymentName
  • ModelName
  • ModelVersion
  • Nama Operasi
  • Wilayah
  • Status Kode
  • StreamType
  • UsageChannel

Catatan sumber daya

Bagian ini mencantumkan jenis log sumber daya yang dapat Anda kumpulkan untuk layanan ini. Bagian ini menarik dari daftar jenis kategori log semua log sumber daya yang didukung di Azure Monitor.

Log sumber daya yang didukung untuk Microsoft. Layanan/akun Kognitif

Kategori Biaya ekspor Tabel catatan log Mendukung paket log dasar Mendukung transformasi waktu penyerapan Contoh pertanyaan
Audit No AzureDiagnostics

Log dari beberapa sumber daya Azure.

No No
AzureOpenAIRequestUsage Yes AzureDiagnostics

Log dari beberapa sumber daya Azure.

No No
ManagedNetworkEvent Yes AzureDiagnostics

Log dari beberapa sumber daya Azure.

No No
RequestResponse No AzureDiagnostics

Log dari beberapa sumber daya Azure.

No No
Jejak No AzureDiagnostics

Log dari beberapa sumber daya Azure.

No No

Tabel Log Azure Monitor

Bagian ini mencantumkan tabel Log Azure Monitor yang relevan dengan layanan ini, yang tersedia untuk kueri oleh Log Analytics menggunakan kueri Kusto. Tabel berisi data log sumber daya dan mungkin lebih banyak lagi tergantung pada apa yang dikumpulkan dan dirutekan ke mereka.

Azure OpenAI microsoft.cognitiveservices/accounts

Catatan Aktivitas

Tabel tertaut mencantumkan operasi yang dapat dicatat dalam log aktivitas untuk layanan ini. Operasi ini adalah bagian dari semua kemungkinan operasi penyedia sumber daya dalam log aktivitas.

Untuk informasi selengkapnya tentang skema entri log aktivitas, lihat Skema Log Aktivitas.