Memantau Layanan Azure OpenAI

Artikel
07/12/2024

Jika Anda memiliki aplikasi penting dan proses bisnis yang mengandalkan sumber daya Azure, sebaiknya Anda memantau sumber daya tersebut untuk mengetahui ketersediaan, performa, dan operasinya.

Artikel ini menjelaskan data pemantauan yang dihasilkan oleh Azure OpenAI Service. Azure OpenAI adalah bagian dari layanan Azure AI, yang menggunakan Azure Monitor. Jika Anda tidak terbiasa dengan fitur Azure Monitor yang umum untuk semua layanan Azure yang menggunakan layanan, lihat Memantau sumber daya Azure dengan Azure Monitor.

Dashboard

Azure OpenAI menyediakan dasbor siap pakai untuk setiap sumber daya Azure OpenAI Anda. Untuk mengakses masuk dasbor https://portal.azure.com pemantauan dan memilih panel gambaran umum untuk salah satu sumber daya Azure OpenAI Anda.

Dasbor dikelompokkan ke dalam empat kategori: Permintaan HTTP, Penggunaan Berbasis Token, Pemanfaatan PTU, dan Penyempurnaan

Pengumpulan dan perutean data di Azure Monitor

Azure OpenAI mengumpulkan jenis data pemantauan yang sama dengan sumber daya Azure lainnya. Anda dapat mengonfigurasi Azure Monitor untuk menghasilkan data dalam log aktivitas, log sumber daya, log komputer virtual, dan metrik platform. Untuk informasi selengkapnya, lihat Memantau data dari sumber daya Azure.

Metrik platform dan log aktivitas Azure Monitor dikumpulkan dan disimpan secara otomatis. Data ini dapat dirutekan ke lokasi lain dengan menggunakan pengaturan diagnostik. Log sumber daya Azure Monitor tidak dikumpulkan dan disimpan hingga Anda membuat pengaturan diagnostik lalu merutekan log ke satu atau beberapa lokasi.

Saat membuat pengaturan diagnostik, Anda menentukan kategori log yang akan dikumpulkan. Untuk informasi selengkapnya tentang membuat pengaturan diagnostik dengan menggunakan portal Azure, Azure CLI, atau PowerShell, lihat Membuat pengaturan diagnostik untuk mengumpulkan log dan metrik platform di Azure.

Perlu diingat bahwa menggunakan pengaturan diagnostik dan mengirim data ke Log Azure Monitor memiliki biaya lain yang terkait dengannya. Untuk informasi selengkapnya, lihat Perhitungan dan opsi biaya Log Azure Monitor.

Metrik dan log yang dapat Anda kumpulkan dijelaskan di bagian berikut.

Menganalisis metrik

Anda dapat menganalisis metrik untuk sumber daya Azure OpenAI Service Anda dengan alat Azure Monitor di portal Azure. Dari halaman Gambaran Umum untuk sumber daya Azure OpenAI Anda, pilih Metrik di bawah Pemantauan di panel kiri. Untuk informasi selengkapnya, lihat Mulai menggunakan penjelajah metrik Azure Monitor.

Azure OpenAI memiliki kesamaan dengan subset layanan Azure AI. Untuk daftar semua metrik platform yang dikumpulkan untuk Azure OpenAI dan layanan Azure AI serupa oleh Azure Monitor, lihat Metrik yang didukung untuk Microsoft.CognitiveServices/accounts.

Metrik Cognitive Services

Ini adalah metrik warisan yang umum untuk semua sumber daya Azure AI Services. Kami tidak lagi menyarankan Agar Anda menggunakan metrik ini dengan Azure OpenAI.

Metrik Azure OpenAI

Catatan

Metrik Pemanfaatan yang dikelola yang disediakan sekarang tidak digunakan lagi dan tidak lagi disarankan. Metrik ini telah digantikan oleh metrik Utilisasi V2 yang dikelola yang disediakan.

Tabel berikut ini meringkas subset metrik saat ini yang tersedia di Azure OpenAI.

Metric	Kategori	Agregasi	Deskripsi	Dimensi
`Azure OpenAI Requests`	HTTP	Hitung	Jumlah total panggilan yang dilakukan ke Azure OpenAI API selama jangka waktu tertentu. Berlaku untuk SKU yang dikelola PayGo, PTU, dan PTU.	`ApiName`, ,`ModelDeploymentNameModelName`,`ModelVersion`, `OperationName`, `Region`, `StatusCode`,`StreamType`
`Active Tokens`	Penggunaan	Jumlah total	Total token dikurangi token cache selama jangka waktu tertentu. Berlaku untuk penyebaran yang dikelola PTU dan PTU. Gunakan metrik ini untuk memahami pemanfaatan berbasis TPS atau TPM Anda untuk PTUs dan bandingkan dengan tolok ukur Anda untuk TPS target atau TPM untuk skenario Anda.	`ModelDeploymentName`,`ModelName`,`ModelVersion`
`Generated Completion Tokens`	Penggunaan	Jumlah total	Jumlah token yang dihasilkan (output) dari model Azure OpenAI. Berlaku untuk SKU PayGo, PTU, dan PTU-manged	`ApiName`, ,`ModelDeploymentNameModelName`,`Region`
`Processed FineTuned Training Hours`	Penggunaan	Jumlah total	Jumlah jam pelatihan yang diproses pada model yang disempurnakan Azure OpenAI.	`ApiName`, ,`ModelDeploymentNameModelName`,`Region`
`Processed Inference Tokens`	Penggunaan	Jumlah total	Jumlah token inferensi yang diproses oleh model Azure OpenAI. Dihitung sebagai token perintah (input) + token yang dihasilkan. Berlaku untuk SKU PayGo, PTU, dan PTU-manged.	`ApiName`, ,`ModelDeploymentNameModelName`,`Region`
`Processed Prompt Tokens`	Penggunaan	Jumlah total	Jumlah total token prompt (input) yang diproses pada model Azure OpenAI. Berlaku untuk SKU yang dikelola PayGo, PTU, dan PTU.	`ApiName`, ,`ModelDeploymentNameModelName`,`Region`
`Provision-managed Utilization V2`	HTTP	Tengah	Pemanfaatan yang dikelola provisi adalah persentase pemanfaatan untuk penyebaran terkelola yang disediakan tertentu. Dihitung sebagai (PTUs yang digunakan/PTUs disebarkan)*100. Ketika penggunaan pada atau di atas 100%, panggilan dibatasi dan mengembalikan kode kesalahan 429.	`ModelDeploymentName`,`ModelName`,,`ModelVersion`, `Region`, `StreamType`
`Prompt Token Cache Match Rate`	HTTP	Tengah	Hanya dikelola yang disediakan. Jatah hit cache token prompt dinyatakan sebagai persentase.	`ModelDeploymentName`, , `ModelVersionModelName`,`Region`
`Time to Response`	HTTP	Tengah	Pengukuran latensi (responsivitas) yang direkomendasikan untuk permintaan streaming. Berlaku untuk penyebaran yang dikelola PTU, dan PTU. Metrik ini tidak berlaku untuk penyebaran prabayar standar. Dihitung sebagai waktu yang diperlukan agar respons pertama muncul setelah pengguna mengirim perintah, seperti yang diukur oleh gateway API. Jumlah ini meningkat saat ukuran prompt meningkat dan/atau ukuran hit cache berkurang. Catatan: metrik ini adalah perkiraan karena latensi terukur sangat bergantung pada beberapa faktor, termasuk panggilan bersamaan dan pola beban kerja keseluruhan. Selain itu, ini tidak memperhitungkan latensi sisi klien apa pun yang mungkin ada antara klien Anda dan titik akhir API. Silakan lihat pengelogan Anda sendiri untuk pelacakan latensi yang optimal.	`ModelDepIoymentName`, `ModelName`, dan `ModelVersion`

Mengonfigurasi pengaturan diagnostik

Semua metrik dapat diekspor dengan pengaturan diagnostik di Azure Monitor. Untuk menganalisis data log dan metrik dengan kueri Analitik Log Azure Monitor, Anda perlu mengonfigurasi pengaturan diagnostik untuk sumber daya Azure OpenAI dan ruang kerja Log Analytics Anda.

Dari halaman sumber daya Azure OpenAI Anda, di bawah Pemantauan, pilih Pengaturan diagnostik di panel kiri. Pada halaman Pengaturan diagnostik, pilih Tambahkan pengaturan diagnostik.
Pada halaman Pengaturan diagnostik, konfigurasikan bidang berikut ini:
1. Pilih Kirim ke ruang kerja Analitik Log.
2. Pilih langganan akun Azure Anda.
3. Pilih ruang kerja Analitik Log Anda.
4. Di bawah Log, pilih semuaLog.
5. Di bawah Metrik, pilih AllMetrics.
Masukkan nama pengaturan Diagnostik untuk menyimpan konfigurasi.
Pilih Simpan.

Setelah mengonfigurasi pengaturan diagnostik, Anda dapat bekerja dengan metrik dan data log untuk sumber daya Azure OpenAI di ruang kerja Log Analytics Anda.

Analisis log

Data di Azure Monitor Logs disimpan dalam tabel tempat setiap tabel memiliki rangkaian properti uniknya sendiri.

Semua log sumber daya di Azure Monitor memiliki bidang yang sama diikuti dengan bidang khusus layanan. Untuk informasi tentang skema umum, lihat Skema umum dan khusus layanan untuk log sumber daya Azure.

Log aktivitas adalah jenis log platform di Azure yang memberikan wawasan tentang peristiwa tingkat langganan. Anda dapat melihat log ini secara independen atau merutekannya ke Log Azure Monitor. Di portal Azure, Anda dapat menggunakan log aktivitas di Log Azure Monitor untuk menjalankan kueri kompleks dengan Analitik Log.

Untuk daftar jenis log sumber daya yang tersedia untuk Azure OpenAI dan layanan Azure AI serupa, lihat Operasi penyedia sumber daya Microsoft.CognitiveServices Azure.

Menggunakan kueri Kusto

Setelah menyebarkan model Azure OpenAI, Anda dapat mengirim beberapa panggilan penyelesaian dengan menggunakan lingkungan playground di Azure AI Studio.

Teks apa pun yang Anda masukkan di taman bermain Penyelesaian atau playground Penyelesaian obrolan menghasilkan metrik dan data log untuk sumber daya Azure OpenAI Anda. Di ruang kerja Analitik Log untuk sumber daya, Anda dapat mengkueri data pemantauan dengan menggunakan bahasa kueri Kusto .

Penting

Opsi Buka kueri pada halaman sumber daya Azure OpenAI menelusuri Azure Resource Graph, yang tidak dijelaskan dalam artikel ini. Kueri berikut menggunakan lingkungan kueri untuk Analitik Log. Pastikan untuk mengikuti langkah-langkah dalam Mengonfigurasi pengaturan diagnostik untuk menyiapkan ruang kerja Analitik Log Anda.

Dari halaman sumber daya Azure OpenAI Anda, di bawah Pemantauan di panel kiri, pilih Log.
Pilih ruang kerja Analitik Log yang Anda konfigurasi dengan diagnostik untuk sumber daya Azure OpenAI Anda.
Dari halaman ruang kerja Analitik Log, di bawah Gambaran Umum di panel kiri, pilih Log.

portal Azure menampilkan jendela Kueri dengan kueri sampel dan saran secara default. Anda dapat menutup jendela ini.

Untuk contoh berikut, masukkan kueri Kusto ke wilayah edit di bagian atas jendela Kueri , lalu pilih Jalankan. Hasil kueri ditampilkan di bawah teks kueri.

Kueri Kusto berikut berguna untuk analisis awal data Azure Diagnostics (AzureDiagnostics) tentang sumber daya Anda:

AzureDiagnostics
| take 100
| project TimeGenerated, _ResourceId, Category, OperationName, DurationMs, ResultSignature, properties_s

Kueri ini mengembalikan sampel 100 entri dan menampilkan subset kolom data yang tersedia dalam log. Dalam hasil kueri, Anda bisa memilih panah di samping nama tabel untuk menampilkan semua kolom yang tersedia dan tipe data terkait.

Untuk melihat semua kolom data yang tersedia, Anda bisa menghapus baris | project ... parameter cakupan dari kueri:

AzureDiagnostics
| take 100

Untuk memeriksa data Azure Metrics (AzureMetrics) untuk sumber daya Anda, jalankan kueri berikut:

AzureMetrics
| take 100
| project TimeGenerated, MetricName, Total, Count, Maximum, Minimum, Average, TimeGrain, UnitName

Kueri mengembalikan sampel 100 entri dan menampilkan subset kolom data Metrik Azure yang tersedia:

Catatan

Saat Anda memilih Log Pemantauan>di menu Azure OpenAI untuk sumber daya Anda, Analitik Log terbuka dengan cakupan kueri yang diatur ke sumber daya saat ini. Kueri log yang terlihat hanya menyertakan data dari sumber daya tertentu tersebut. Untuk menjalankan kueri yang menyertakan data dari sumber daya atau data lain dari layanan Azure lainnya, pilih Log dari menu Azure Monitor di portal Azure. Untuk informasi selengkapnya, lihat Cakupan kueri log dan rentang waktu di Azure Monitor Log Analytics untuk detailnya.

Menyiapkan pemberitahuan

Pemberitahuan Azure Monitor secara proaktif memberi tahu Anda ketika kondisi penting ditemukan dalam data pemantauan Anda. Mereka memungkinkan Anda mengidentifikasi dan mengatasi masalah di sistem Anda sebelum pengguna Anda memperhatikannya. Anda dapat mengatur pemberitahuan tentang metrik, log, dan log aktivitas. Berbagai jenis pemberitahuan memiliki manfaat dan kelemahan yang berbeda.

Kebutuhan pemberitahuan setiap organisasi bervariasi dan dapat berubah dari waktu ke waktu. Umumnya, semua pemberitahuan harus dapat ditindak dan memiliki respons tertentu yang dimaksudkan jika pemberitahuan terjadi. Jika pemberitahuan tidak memerlukan respons langsung, kondisi dapat diambil dalam laporan daripada pemberitahuan. Beberapa kasus penggunaan mungkin memerlukan pemberitahuan kapan saja ada kondisi kesalahan tertentu. Dalam kasus lain, Anda mungkin memerlukan pemberitahuan untuk kesalahan yang melebihi ambang batas tertentu untuk periode waktu yang ditentukan.

Kesalahan di bawah ambang batas tertentu sering kali dapat dievaluasi melalui analisis data reguler di Log Azure Monitor. Saat menganalisis data log dari waktu ke waktu, Anda mungkin menemukan bahwa kondisi tertentu tidak terjadi untuk jangka waktu yang diharapkan. Anda dapat melacak kondisi ini dengan menggunakan pemberitahuan. Terkadang tidak adanya peristiwa dalam log sama pentingnya dengan sinyal sebagai kesalahan.

Bergantung pada jenis aplikasi apa yang Anda kembangkan dengan penggunaan Azure OpenAI, Azure Monitor Application Insights mungkin menawarkan lebih banyak manfaat pemantauan di lapisan aplikasi.

Bagikan melalui