Bagikan melalui

Memantau Layanan Azure OpenAI

  • Artikel

Jika Anda memiliki aplikasi penting dan proses bisnis yang mengandalkan sumber daya Azure, sebaiknya Anda memantau sumber daya tersebut untuk mengetahui ketersediaan, performa, dan operasinya.

Artikel ini menjelaskan data pemantauan yang dihasilkan oleh Azure OpenAI Service. Azure OpenAI adalah bagian dari layanan Azure AI, yang menggunakan Azure Monitor. Jika Anda tidak terbiasa dengan fitur Azure Monitor yang umum untuk semua layanan Azure yang menggunakan layanan, lihat Memantau sumber daya Azure dengan Azure Monitor.

Dashboard

Azure OpenAI menyediakan dasbor siap pakai untuk setiap sumber daya Azure OpenAI Anda. Untuk mengakses masuk dasbor https://portal.azure.com pemantauan dan memilih panel gambaran umum untuk salah satu sumber daya Azure OpenAI Anda.

Cuplikan layar yang memperlihatkan dasbor di luar kotak untuk sumber daya Azure OpenAI di portal Azure.

Dasbor dikelompokkan ke dalam empat kategori: Permintaan HTTP, Penggunaan Berbasis Token, Pemanfaatan PTU, dan Penyempurnaan

Pengumpulan dan perutean data di Azure Monitor

Azure OpenAI mengumpulkan jenis data pemantauan yang sama dengan sumber daya Azure lainnya. Anda dapat mengonfigurasi Azure Monitor untuk menghasilkan data dalam log aktivitas, log sumber daya, log komputer virtual, dan metrik platform. Untuk informasi selengkapnya, lihat Memantau data dari sumber daya Azure.

Metrik platform dan log aktivitas Azure Monitor dikumpulkan dan disimpan secara otomatis. Data ini dapat dirutekan ke lokasi lain dengan menggunakan pengaturan diagnostik. Log sumber daya Azure Monitor tidak dikumpulkan dan disimpan hingga Anda membuat pengaturan diagnostik lalu merutekan log ke satu atau beberapa lokasi.

Saat membuat pengaturan diagnostik, Anda menentukan kategori log yang akan dikumpulkan. Untuk informasi selengkapnya tentang membuat pengaturan diagnostik dengan menggunakan portal Azure, Azure CLI, atau PowerShell, lihat Membuat pengaturan diagnostik untuk mengumpulkan log dan metrik platform di Azure.

Perlu diingat bahwa menggunakan pengaturan diagnostik dan mengirim data ke Log Azure Monitor memiliki biaya lain yang terkait dengannya. Untuk informasi selengkapnya, lihat Perhitungan dan opsi biaya Log Azure Monitor.

Metrik dan log yang dapat Anda kumpulkan dijelaskan di bagian berikut.

Menganalisis metrik

Anda dapat menganalisis metrik untuk sumber daya Azure OpenAI Service Anda dengan alat Azure Monitor di portal Azure. Dari halaman Gambaran Umum untuk sumber daya Azure OpenAI Anda, pilih Metrik di bawah Pemantauan di panel kiri. Untuk informasi selengkapnya, lihat Mulai menggunakan penjelajah metrik Azure Monitor.

Azure OpenAI memiliki kesamaan dengan subset layanan Azure AI. Untuk daftar semua metrik platform yang dikumpulkan untuk Azure OpenAI dan layanan Azure AI serupa oleh Azure Monitor, lihat Metrik yang didukung untuk Microsoft.CognitiveServices/accounts.

Metrik Cognitive Services

Ini adalah metrik warisan yang umum untuk semua sumber daya Azure AI Services. Kami tidak lagi menyarankan Agar Anda menggunakan metrik ini dengan Azure OpenAI.

Metrik Azure OpenAI

Catatan

Metrik Pemanfaatan yang dikelola yang disediakan sekarang tidak digunakan lagi dan tidak lagi disarankan. Metrik ini telah digantikan oleh metrik Utilisasi V2 yang dikelola yang disediakan.

Tabel berikut ini meringkas subset metrik saat ini yang tersedia di Azure OpenAI.

Metric Kategori Agregasi Deskripsi Dimensi
Azure OpenAI Requests HTTP Hitung Jumlah total panggilan yang dilakukan ke Azure OpenAI API selama jangka waktu tertentu. Berlaku untuk SKU yang dikelola PayGo, PTU, dan PTU. ApiName, ,ModelDeploymentNameModelName,ModelVersion, OperationName, Region, StatusCode,StreamType
Generated Completion Tokens Penggunaan Jumlah total Jumlah token yang dihasilkan (output) dari model Azure OpenAI. Berlaku untuk SKU PayGo, PTU, dan PTU-manged ApiName, ,ModelDeploymentNameModelName,Region
Processed FineTuned Training Hours Penggunaan Jumlah total Jumlah jam pelatihan yang diproses pada model yang disempurnakan Azure OpenAI. ApiName, ,ModelDeploymentNameModelName,Region
Processed Inference Tokens Penggunaan Jumlah total Jumlah token inferensi yang diproses oleh model Azure OpenAI. Dihitung sebagai token perintah (input) + token yang dihasilkan. Berlaku untuk SKU PayGo, PTU, dan PTU-manged. ApiName, ,ModelDeploymentNameModelName,Region
Processed Prompt Tokens Penggunaan Jumlah total Jumlah total token prompt (input) yang diproses pada model Azure OpenAI. Berlaku untuk SKU yang dikelola PayGo, PTU, dan PTU. ApiName, ,ModelDeploymentNameModelName,Region
Provision-managed Utilization V2 HTTP Rata-rata Pemanfaatan yang dikelola provisi adalah persentase pemanfaatan untuk penyebaran terkelola yang disediakan tertentu. Dihitung sebagai (PTUs yang digunakan/PTUs disebarkan)*100. Ketika penggunaan pada atau di atas 100%, panggilan dibatasi dan mengembalikan kode kesalahan 429. ModelDeploymentName,ModelName,,ModelVersion, Region, StreamType
Prompt Token Cache Match Rate HTTP Rata-rata Hanya dikelola yang disediakan. Jatah hit cache token prompt dinyatakan sebagai persentase. ModelDeploymentName, , ModelVersionModelName,Region
Time to Response HTTP Rata-rata Pengukuran latensi (responsivitas) yang direkomendasikan untuk permintaan streaming. Berlaku untuk penyebaran yang dikelola PTU, dan PTU. Metrik ini tidak berlaku untuk penyebaran prabayar standar. Dihitung sebagai waktu yang diperlukan agar respons pertama muncul setelah pengguna mengirim perintah, seperti yang diukur oleh gateway API. Jumlah ini meningkat saat ukuran prompt meningkat dan/atau ukuran hit cache berkurang. Catatan: metrik ini adalah perkiraan karena latensi terukur sangat bergantung pada beberapa faktor, termasuk panggilan bersamaan dan pola beban kerja keseluruhan. Selain itu, ini tidak memperhitungkan latensi sisi klien apa pun yang mungkin ada antara klien Anda dan titik akhir API. Silakan lihat pengelogan Anda sendiri untuk pelacakan latensi yang optimal. ModelDepIoymentName, ModelName, dan ModelVersion

Mengonfigurasi pengaturan diagnostik

Semua metrik dapat diekspor dengan pengaturan diagnostik di Azure Monitor. Untuk menganalisis data log dan metrik dengan kueri Analitik Log Azure Monitor, Anda perlu mengonfigurasi pengaturan diagnostik untuk sumber daya Azure OpenAI dan ruang kerja Log Analytics Anda.

  1. Dari halaman sumber daya Azure OpenAI Anda, di bawah Pemantauan, pilih Pengaturan diagnostik di panel kiri. Pada halaman Pengaturan diagnostik, pilih Tambahkan pengaturan diagnostik.

    Cuplikan layar yang memperlihatkan cara membuka halaman Pengaturan diagnostik untuk sumber daya Azure OpenAI di portal Azure.

  2. Pada halaman Pengaturan diagnostik, konfigurasikan bidang berikut ini:

    1. Pilih Kirim ke ruang kerja Analitik Log.
    2. Pilih langganan akun Azure Anda.
    3. Pilih ruang kerja Analitik Log Anda.
    4. Di bawah Log, pilih semuaLog.
    5. Di bawah Metrik, pilih AllMetrics.

    Cuplikan layar yang memperlihatkan cara mengonfigurasi pengaturan diagnostik untuk sumber daya Azure OpenAI di portal Azure.

  3. Masukkan nama pengaturan Diagnostik untuk menyimpan konfigurasi.

  4. Pilih Simpan.

Setelah mengonfigurasi pengaturan diagnostik, Anda dapat bekerja dengan metrik dan data log untuk sumber daya Azure OpenAI di ruang kerja Log Analytics Anda.

Analisis log

Data di Azure Monitor Logs disimpan dalam tabel tempat setiap tabel memiliki rangkaian properti uniknya sendiri.

Semua log sumber daya di Azure Monitor memiliki bidang yang sama diikuti dengan bidang khusus layanan. Untuk informasi tentang skema umum, lihat Skema umum dan khusus layanan untuk log sumber daya Azure.

Log aktivitas adalah jenis log platform di Azure yang memberikan wawasan tentang peristiwa tingkat langganan. Anda dapat melihat log ini secara independen atau merutekannya ke Log Azure Monitor. Di portal Azure, Anda dapat menggunakan log aktivitas di Log Azure Monitor untuk menjalankan kueri kompleks dengan Analitik Log.

Untuk daftar jenis log sumber daya yang tersedia untuk Azure OpenAI dan layanan Azure AI serupa, lihat Operasi penyedia sumber daya Microsoft.CognitiveServices Azure.

Menggunakan kueri Kusto

Setelah menyebarkan model Azure OpenAI, Anda dapat mengirim beberapa panggilan penyelesaian dengan menggunakan lingkungan playground di Azure AI Studio.

Cuplikan layar yang memperlihatkan cara menghasilkan penyelesaian untuk sumber daya Azure OpenAI di taman bermain Azure OpenAI Studio.

Teks apa pun yang Anda masukkan di taman bermain Penyelesaian atau playground Penyelesaian obrolan menghasilkan metrik dan data log untuk sumber daya Azure OpenAI Anda. Di ruang kerja Analitik Log untuk sumber daya, Anda dapat mengkueri data pemantauan dengan menggunakan bahasa kueri Kusto .

Penting

Opsi Buka kueri pada halaman sumber daya Azure OpenAI menelusuri Azure Resource Graph, yang tidak dijelaskan dalam artikel ini. Kueri berikut menggunakan lingkungan kueri untuk Analitik Log. Pastikan untuk mengikuti langkah-langkah dalam Mengonfigurasi pengaturan diagnostik untuk menyiapkan ruang kerja Analitik Log Anda.

  1. Dari halaman sumber daya Azure OpenAI Anda, di bawah Pemantauan di panel kiri, pilih Log.

  2. Pilih ruang kerja Analitik Log yang Anda konfigurasi dengan diagnostik untuk sumber daya Azure OpenAI Anda.

  3. Dari halaman ruang kerja Analitik Log, di bawah Gambaran Umum di panel kiri, pilih Log.

    portal Azure menampilkan jendela Kueri dengan kueri sampel dan saran secara default. Anda dapat menutup jendela ini.

Untuk contoh berikut, masukkan kueri Kusto ke wilayah edit di bagian atas jendela Kueri , lalu pilih Jalankan. Hasil kueri ditampilkan di bawah teks kueri.

Kueri Kusto berikut berguna untuk analisis awal data Azure Diagnostics (AzureDiagnostics) tentang sumber daya Anda:

AzureDiagnostics
| take 100
| project TimeGenerated, _ResourceId, Category, OperationName, DurationMs, ResultSignature, properties_s

Kueri ini mengembalikan sampel 100 entri dan menampilkan subset kolom data yang tersedia dalam log. Dalam hasil kueri, Anda bisa memilih panah di samping nama tabel untuk menampilkan semua kolom yang tersedia dan tipe data terkait.

Cuplikan layar yang memperlihatkan hasil kueri Analitik Log untuk data Diagnostik Azure tentang sumber daya Azure OpenAI.

Untuk melihat semua kolom data yang tersedia, Anda bisa menghapus baris | project ... parameter cakupan dari kueri:

AzureDiagnostics
| take 100

Untuk memeriksa data Azure Metrics (AzureMetrics) untuk sumber daya Anda, jalankan kueri berikut:

AzureMetrics
| take 100
| project TimeGenerated, MetricName, Total, Count, Maximum, Minimum, Average, TimeGrain, UnitName

Kueri mengembalikan sampel 100 entri dan menampilkan subset kolom data Metrik Azure yang tersedia:

Cuplikan layar yang memperlihatkan hasil kueri Analitik Log untuk data Metrik Azure tentang sumber daya Azure OpenAI.

Catatan

Saat Anda memilih Log Pemantauan>di menu Azure OpenAI untuk sumber daya Anda, Analitik Log terbuka dengan cakupan kueri yang diatur ke sumber daya saat ini. Kueri log yang terlihat hanya menyertakan data dari sumber daya tertentu tersebut. Untuk menjalankan kueri yang menyertakan data dari sumber daya atau data lain dari layanan Azure lainnya, pilih Log dari menu Azure Monitor di portal Azure. Untuk informasi selengkapnya, lihat Cakupan kueri log dan rentang waktu di Azure Monitor Log Analytics untuk detailnya.

Menyiapkan pemberitahuan

Pemberitahuan Azure Monitor secara proaktif memberi tahu Anda ketika kondisi penting ditemukan dalam data pemantauan Anda. Mereka memungkinkan Anda mengidentifikasi dan mengatasi masalah di sistem Anda sebelum pengguna Anda memperhatikannya. Anda dapat mengatur pemberitahuan tentang metrik, log, dan log aktivitas. Berbagai jenis pemberitahuan memiliki manfaat dan kelemahan yang berbeda.

Kebutuhan pemberitahuan setiap organisasi bervariasi dan dapat berubah dari waktu ke waktu. Umumnya, semua pemberitahuan harus dapat ditindak dan memiliki respons tertentu yang dimaksudkan jika pemberitahuan terjadi. Jika pemberitahuan tidak memerlukan respons langsung, kondisi dapat diambil dalam laporan daripada pemberitahuan. Beberapa kasus penggunaan mungkin memerlukan pemberitahuan kapan saja ada kondisi kesalahan tertentu. Dalam kasus lain, Anda mungkin memerlukan pemberitahuan untuk kesalahan yang melebihi ambang batas tertentu untuk periode waktu yang ditentukan.

Kesalahan di bawah ambang batas tertentu sering kali dapat dievaluasi melalui analisis data reguler di Log Azure Monitor. Saat menganalisis data log dari waktu ke waktu, Anda mungkin menemukan bahwa kondisi tertentu tidak terjadi untuk jangka waktu yang diharapkan. Anda dapat melacak kondisi ini dengan menggunakan pemberitahuan. Terkadang tidak adanya peristiwa dalam log sama pentingnya dengan sinyal sebagai kesalahan.

Bergantung pada jenis aplikasi apa yang Anda kembangkan dengan penggunaan Azure OpenAI, Azure Monitor Application Insights mungkin menawarkan lebih banyak manfaat pemantauan di lapisan aplikasi.

Langkah berikutnya