Catatan
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba masuk atau mengubah direktori.
Akses ke halaman ini memerlukan otorisasi. Anda dapat mencoba mengubah direktori.
Azure Machine Learning menggunakan integrasi dengan Azure Monitor untuk melacak dan memantau metrik dan log untuk endpoint online. Anda dapat melihat metrik dalam bagan, membandingkan metrik di antara titik akhir dan penyebaran, menyematkan metrik ke dasbor portal Azure, mengonfigurasi pemberitahuan, melakukan kueri pada tabel log, dan mengirim log ke target yang didukung. Anda juga dapat menggunakan Application Insights untuk menganalisis peristiwa dari kontainer pengguna.
Metrik: Untuk metrik level endpoint seperti latensi permintaan, permintaan per menit, koneksi baru per detik (new connections per second), dan byte jaringan, Anda dapat menelusuri lebih dalam untuk melihat informasi terperinci di level penyebaran atau level status. Anda juga dapat menelusuri metrik tingkat penyebaran seperti penggunaan CPU/GPU dan penggunaan memori atau disk ke tingkat instans. Di Monitor, Anda dapat melacak metrik ini dalam bagan, dan Anda dapat menyiapkan dasbor dan pemberitahuan untuk analisis lebih lanjut.
Log: Anda dapat mengirim metrik ke ruang kerja Analitik Log, tempat Anda dapat menggunakan sintaks kueri Kusto untuk mengkueri log. Anda juga dapat mengirim metrik ke akun Azure Storage atau Azure Event Hubs untuk diproses lebih lanjut. Untuk lalu lintas, log konsol (kontainer), dan peristiwa yang terkait dengan titik akhir online, Anda dapat menggunakan tabel log khusus. Kueri Kusto mendukung kemampuan analisis kompleks dan bergabungnya beberapa tabel.
Application Insights: Lingkungan yang dikelola termasuk integrasi dengan Application Insights. Anda dapat mengaktifkan atau menonaktifkan integrasi ini saat membuat penyebaran online. Saat Anda mengaktifkannya, metrik dan log bawaan dikirim ke Application Insights. Anda kemudian dapat menggunakan fitur bawaan Application Insights untuk analisis lebih lanjut. Contoh fitur tersebut termasuk metrik langsung, pencarian transaksi, tampilan kegagalan, dan tampilan performa.
Dalam artikel ini, Anda akan mempelajari cara:
- Pilih metode yang tepat untuk melihat dan melacak metrik dan log.
- Lihat metrik untuk titik akhir online Anda.
- Buat dasbor untuk metrik Anda.
- Buat pemberitahuan metrik.
- Lihat log untuk titik akhir online Anda.
- Gunakan Application Insights untuk melacak metrik dan log.
Prasyarat
- Titik Akhir Online Pembelajaran Mesin Azure
- Setidaknya Akses Pembaca pada titik akhir
Menggunakan metrik
Di portal Azure, Anda dapat melihat halaman metrik untuk titik akhir dan penyebaran online.
Mengakses metrik dari studio Azure Pembelajaran Mesin
Cara mudah untuk mengakses halaman metrik adalah melalui tautan yang tersedia di antarmuka pengguna studio Azure Pembelajaran Mesin. Anda dapat menemukan tautan ini di tab Detail di halaman titik akhir. Tautan ini mengarah ke halaman metrik di portal Azure untuk titik akhir atau penyebaran.
Untuk mengakses halaman metrik melalui tautan yang tersedia di studio, lakukan langkah-langkah berikut:
Di Studio Azure Machine Learning, buka ruang kerja Anda.
Di bawah Aset, pilih Endpoint.
Pilih nama titik akhir.
Di bawah Atribut titik akhir, pilih Tampilkan metrik.
Portal terbuka ke halaman metrik titik akhir.
Di Azure Machine Learning Studio, pada halaman endpoint, buka bagian untuk penyebaran, lalu pilih Tampilkan metrik.
Portal terbuka menuju halaman metrik penyebaran.
Mengakses metrik dari portal Azure
Anda dapat melihat metrik untuk titik akhir atau penyebaran di portal Microsoft Azure. Ikuti langkah-langkah ini:
Buka portal Azure.
Buka titik akhir online atau sumber daya penyebaran.
Titik akhir dan penyebaran online adalah sumber daya Azure Resource Manager. Anda dapat menemukannya dengan masuk ke grup sumber daya mereka dan kemudian mencari jenis sumber daya titik akhir online Pembelajaran Mesin dan penyebaran online Pembelajaran Mesin.
Pada halaman sumber daya, di bawah Pemantauan, pilih Metrik.
Metrik yang tersedia
Metrik yang Anda lihat bergantung pada sumber daya yang Anda pilih. Metrik untuk titik akhir online dan penyebaran online diukur secara berbeda.
Metrik di cakupan titik akhir
Untuk informasi tentang metrik yang tersedia di cakupan titik akhir online, lihat Metrik yang didukung untuk Microsoft.MachineLearningServices/workspaces/onlineEndpoints.
Pembatasan Bandwidth
Bandwidth dibatasi jika batas kuota terlampaui untuk titik akhir online terkelola. Untuk informasi selengkapnya tentang batasan untuk titik akhir online, lihat bagian titik akhir online dan titik akhir batch dalam Azure Machine Learning dalam artikel yang membahas kuota dan batasan di Azure Machine Learning. Untuk menentukan apakah permintaan dibatasi:
- Pantau metrik byte jaringan.
- Periksa bidang berikut di trailer respons:
ms-azureml-bandwidth-request-delay-msdanms-azureml-bandwidth-response-delay-ms. Nilai kolom adalah waktu tunda pengaturan batas bandwidth, dalam milidetik.
Untuk informasi selengkapnya, lihat Masalah batas bandwidth.
Metrik di lingkup penyebaran
Untuk informasi tentang metrik yang tersedia di cakupan penyebaran, lihat Metrik yang didukung untuk Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments.
Membuat dasbor dan pemberitahuan
Di Monitor, Anda dapat membuat dasbor dan pemberitahuan yang didasarkan pada metrik.
Membuat dasbor dan memvisualisasikan kueri
Anda dapat membuat dasbor kustom sehingga Anda dapat memvisualisasikan metrik dari beberapa sumber di portal Azure, termasuk metrik untuk titik akhir online Anda. Untuk informasi selengkapnya tentang membuat dasbor dan memvisualisasikan kueri, lihat Membuat dan berbagi dasbor data Analitik Log dan Membuat dasbor KPI kustom menggunakan Application Insights.
Buat peringatan
Anda juga dapat membuat pemberitahuan kustom sehingga Anda menerima pemberitahuan tentang pembaruan status penting ke titik akhir online Anda:
Di portal Azure, buka halaman metrik, lalu pilih Aturan pemberitahuan baru.
Di jendela Pilih sinyal , pilih sinyal yang ingin Anda buat pemberitahuannya, lalu pilih Terapkan.
Di halaman Buat aturan pemberitahuan , masukkan ambang batas, dan edit pengaturan lain yang ingin Anda sesuaikan. Untuk informasi selengkapnya tentang pengaturan aturan pemberitahuan, lihat Mengonfigurasi kondisi aturan pemberitahuan. Lalu pilih Berikutnya: Tindakan.
Di jendela Pilih grup tindakan , buat atau pilih grup tindakan untuk menentukan apa yang terjadi saat pemberitahuan Anda dipicu. Untuk informasi selengkapnya, lihat Mengonfigurasi detail aturan pemberitahuan.
Pilih Tinjau + Buat untuk menyelesaikan pembuatan pemberitahuan Anda.
Menskalakan secara otomatis berdasarkan metrik
Anda dapat mengonfigurasi penyebaran untuk menskalakan secara otomatis berdasarkan metrik. Untuk mengaktifkan fitur skala otomatis, gunakan UI atau kode.
Opsi untuk kode adalah Azure Machine Learning CLI dan Azure Machine Learning SDK untuk Python. Saat menggunakan kode, Anda mengonfigurasi kondisi untuk memicu penskalaan otomatis dengan memberikan nama metrik REST API.
- Untuk nama-nama metrik titik akhir yang digunakan dalam kode, lihatlah nilai-nilai di kolom Nama di REST API dalam tabel di Metrik yang didukung untuk Microsoft.MachineLearningServices/workspaces/onlineEndpoints.
- Untuk mengetahui nama metrik penyebaran yang digunakan dalam kode, lihat nilai dalam kolom Nama di REST API pada tabel yang ada di Metrik yang didukung untuk Microsoft.MachineLearningServices/workspaces/onlineEndpoints/deployments.
Untuk informasi selengkapnya, lihat Pengaturan skala otomatis titik akhir online di Azure Machine Learning.
Menggunakan catatan log
Aktifkan tiga log untuk titik akhir online:
AmlOnlineEndpointTrafficLog: Log lalu lintas ini menyediakan cara bagi Anda untuk memeriksa informasi permintaan ke titik akhir. Log ini berguna dalam kasus berikut:
- Kode respons permintaan bukan 200, dan Anda ingin informasi lebih lanjut. Kolom
ResponseCodeReasondalam log mencantumkan alasannya. Untuk deskripsi kode dan alasan status, lihat Kode status HTTPS di artikel tentang pemecahan masalah titik akhir online. - Anda ingin mencari kode respons dan penyebab respons model Anda untuk suatu permintaan. Kolom
ModelStatusCodedanModelStatusReasonmenyediakan informasi ini. - Anda ingin tahu durasi permintaan. Catatan log memberikan perincian mengenai latensi. Perincian tersebut menunjukkan total durasi, durasi permintaan, durasi respons, dan penundaan yang disebabkan oleh pembatasan jaringan.
- Anda ingin memeriksa jumlah permintaan terbaru yang berhasil dan gagal. Log menyediakan informasi ini.
- Kode respons permintaan bukan 200, dan Anda ingin informasi lebih lanjut. Kolom
AmlOnlineEndpointConsoleLog: Log ini berisi pernyataan bahwa kontainer menulis sebagai output ke konsol. Log ini berguna dalam kasus berikut:
- Kontainer gagal dimulai. Log konsol dapat berguna untuk debugging.
- Anda ingin memantau perilaku kontainer dan memastikan bahwa semua permintaan ditangani dengan benar.
- Anda ingin melacak permintaan dari titik masuk jaringan titik akhir online ke kontainer. Anda dapat menggunakan kueri Analitik Log yang menggabungkan ID permintaan dengan informasi dari log AmlOnlineEndpointConsoleLog dan AmlOnlineEndpointTrafficLog.
- Anda ingin menjalankan analisis performa, misalnya, untuk menentukan waktu yang diperlukan model untuk memproses setiap permintaan.
AmlOnlineEndpointEventLog: Log ini berisi informasi peristiwa tentang siklus hidup kontainer. Saat ini, log menyediakan informasi tentang jenis peristiwa berikut:
Nama Pesan BackOff Penundaan untuk memulai ulang kontainer yang gagal Ditarik Gambar kontainer "<IMAGE_NAME>" sudah ada di mesin Dihentikan Server inferensi dalam kontainer gagal melewati pemeriksaan kelangsungan hidup, akan dimulai ulang. Dibuat Kontainer image-fetcher telah dibuat. Dibuat Kontainer inference-server dibuat Dibuat Model kontainer dibuat dan dipasang KegagalanUjiKehidupan Pemeriksaan keaktifan gagal: <FAILURE_CONTENT> PemeriksaanKesiapanGagal Pemeriksaan kesiapan gagal: <FAILURE_CONTENT> Dimulai Memulai pengambil gambar kontainer Dimulai Memulai server inferensi kontainer Dimulai Memulai penyematan model kontainer Dimatikan Menghentikan server inferensi kontainer Menghentikan Menghentikan pemasangan model kontainer
Mengaktifkan log
Penting
Pengelogan menggunakan fitur Analitik Log Monitor. Jika saat ini Anda tidak memiliki ruang kerja Analitik Log, Anda dapat membuatnya dengan mengikuti langkah-langkah di Membuat ruang kerja.
Di portal Azure, buka grup sumber daya yang berisi titik akhir Anda, lalu pilih titik akhir.
Di bawah Pemantauan, pilih Pengaturan diagnostik, lalu pilih Tambahkan pengaturan diagnostik.
Di jendela Pengaturan diagnostik, masukkan informasi berikut:
- Di samping Nama pengaturan diagnostik, masukkan nama untuk pengaturan Anda.
- Di bawah Log, pilih kategori log yang ingin Anda aktifkan.
- Di bawah Detail tujuan, pilih Kirim ke ruang kerja Analitik Log, lalu pilih langganan dan ruang kerja Analitik Log yang akan digunakan.
Pilih Simpan.
Penting
Diperlukan waktu hingga satu jam agar koneksi ke ruang kerja Analitik Log tersedia. Tunggu satu jam sebelum melanjutkan dengan langkah-langkah di bagian berikutnya.
Log kueri
Kirim permintaan penilaian ke titik akhir untuk membuat entri dalam log.
Buka portal Azure. Untuk membuka log, gunakan salah satu opsi berikut:
- Buka halaman properti untuk endpoint online Anda. Di bawah Pemantauan, pilih Log.
- Buka ruang kerja Analitik Log Anda. Di sebelah kiri, pilih Log.
Tutup jendela Pusat Kueri yang terbuka secara default.
Di bawah Lainnya, klik ganda AmlOnlineEndpointConsoleLog. Jika Anda tidak melihat AmlOnlineEndpointConsoleLog, masukkan nilai tersebut ke dalam bidang pencarian.
Pilih Jalankan.
Contoh kueri
Anda dapat menggunakan contoh kueri berikut. Untuk menampilkan kueri, lakukan langkah-langkah berikut:
Pada halaman Log , pilih Kueri.
Dalam kotak pencarian, masukkan Online endpoint.
Detil kolom log
Tabel berikut ini menyediakan informasi terperinci tentang data yang disimpan di setiap log:
AmlOnlineEndpointTrafficLog (Log Lalu Lintas Titik Akhir Online Aml)
| Properti | Deskripsi |
|---|---|
| Metode | Metode yang diminta klien. |
| Jalur | Jalur yang diminta klien. |
| IdBerlangganan | ID langganan machine learning dari endpoint online. |
| AzureMLWorkspaceId | ID ruang kerja pembelajaran mesin dari titik akhir online. |
| AzureMLWorkspaceName | Nama ruang kerja machine learning untuk endpoint online. |
| Nama Titik Akhir | Nama titik akhir online. |
| NamaPenempatan | Nama dari penyebaran online. |
| Protokol | Protokol permintaan. |
| ResponseCode | Kode respons akhir yang dikembalikan ke klien. |
| AlasanKodeRespons | Alasan kode respons akhir yang dikembalikan ke klien. |
| ModelStatusCode | Kode status respons dari model. |
| AlasanStatusModel | Alasan status respons dari model. |
| RequestPayloadSize | Total byte yang diterima dari klien. |
| ResponsePayloadSize | Jumlah total byte yang dikirim kembali kepada klien. |
| Agen Pengguna (UserAgent) | Header agen pengguna dari permintaan, termasuk komentar tetapi dipotong menjadi maksimal 70 karakter. |
| XRequestId | ID permintaan yang dihasilkan oleh Azure Machine Learning untuk pelacakan internal. |
| XMSClientRequestId | ID pelacakan yang dihasilkan klien. |
| DurasiTotalMs | Durasi dalam milidetik dari waktu mulai permintaan hingga waktu byte respons terakhir dikirim kembali ke klien. Jika klien terputus, durasi dihitung dari waktu mulai hingga klien terputus. |
| LamanyaPermintaanMs | Durasi dalam milidetik dari waktu mulai permintaan hingga byte terakhir permintaan diterima dari klien. |
| ResponseDurationMs | Durasi dalam milidetik dari waktu mulai permintaan hingga saat byte respons pertama dibaca dari model tersebut. |
| RequestThrottlingDelayMs | Penundaan dalam milidetik saat transfer data permintaan akibat pembatasan jaringan. |
| ResponseThrottlingDelayMs | Penundaan dalam milidetik pada transfer data respons karena pembatasan kecepatan jaringan. |
AmlOnlineEndpointConsoleLog
| Properti | Deskripsi |
|---|---|
| TimeGenerated | Stempel waktu UTC pada saat di mana log dihasilkan |
| Nama Operasi | Operasi yang terkait dengan catatan log |
| Id Instansi | ID instans yang menghasilkan catatan log |
| NamaPenempatan | Nama pemutakhiran yang terkait dengan catatan log |
| ContainerName | Nama kontainer tempat log dihasilkan |
| Pesan | Isi log |
Catatan Peristiwa Titik Akhir AmlOnline
| Properti | Deskripsi |
|---|---|
| TimeGenerated | Stempel waktu UTC saat log dihasilkan |
| Nama Operasi | Operasi yang terkait dengan catatan log |
| Id Instansi | ID instans yang menghasilkan catatan log |
| NamaPenempatan | Nama penyebaran yang terkait dengan catatan log |
| Nama | Nama peristiwa |
| Pesan | Isi acara |
Menggunakan Application Insights
Lingkungan terkendali mencakup integrasi dengan Application Insights. Melalui integrasi ini, metrik dan log bawaan dikirim ke Application Insights. Akibatnya, Anda dapat menggunakan fitur bawaan Application Insights untuk analisis lebih lanjut. Contoh fitur tersebut termasuk metrik langsung, pencarian transaksi, tampilan kegagalan, dan tampilan performa.
Untuk informasi selengkapnya, lihat Gambaran umum Application Insights.
Anda dapat mengaktifkan integrasi dengan Application Insights saat membuat penyebaran online di studio. Pada halaman Penyebaran, di bawah diagnostik Application Insights, pilih Diaktifkan.
Saat mengaktifkan Application Insights, Anda dapat melihat grafik pemantauan aktivitas tingkat tinggi untuk titik akhir online terkelola. Di studio, buka halaman titik akhir, lalu pilih tab Pemantauan .
