Memantau kualitas model dan kesehatan titik akhir

Model Serving menyediakan alat canggih untuk memantau kualitas dan kesehatan model dan penyebarannya. Tabel berikut adalah gambaran umum setiap alat pemantauan yang tersedia.

Alat Deskripsi Kegunaan Akses
Log layanan Ephemeral Mengambil aliran stdout dan stderr dari titik akhir penyajian model. Berguna untuk debug selama penyebaran model. Gunakan logging.warning(...) atau logging.error(...) untuk tampilan langsung dalam log. Dapat diakses menggunakan tab Log di UI Penyajian. Log dialirkan secara real time dan dapat diekspor melalui API.
OpenTelemetry untuk model kustom yang melayani titik akhir Menyimpan log sistem standar, log aplikasi kustom, metrik, dan jejak ke tabel Unity Catalog Delta menggunakan OpenTelemetry untuk retensi jangka panjang. Berguna untuk penelusuran kesalahan historis, persyaratan kepatuhan, dan menganalisis masalah produksi menggunakan kueri SQL. Konfigurasikan pengaturan telemetri di Antarmuka Pengguna atau API Penyajian saat membuat titik akhir. Kueri log menggunakan Unity Catalog SQL atau notebook Azure Databricks.
Membangun log Menampilkan output dari proses yang secara otomatis membuat lingkungan Python siap produksi untuk titik akhir penyajian model. Berguna untuk mendiagnosis masalah penyebaran dan dependensi model. Tersedia setelah penyajian model selesai, tercatat di bawah Build logs dalam tab Logs. Log dapat diekspor melalui API. Log ini dipertahankan hingga tiga puluh (30) hari.
Metrik kesehatan titik akhir Memberikan wawasan tentang metrik infrastruktur seperti latensi, tingkat permintaan, tingkat kesalahan, penggunaan CPU, dan penggunaan memori. Penting untuk memahami kinerja dan kesehatan infrastruktur penyajian. Tersedia secara default di Antarmuka Pengguna layanan selama 14 hari terakhir. Data juga dapat dialirkan ke alat pengamatan secara real time.
tabel inferensi dengan dukungan Gateway AI Secara otomatis mencatat permintaan dan respons prediksi online ke dalam tabel Delta yang dikelola oleh Unity Catalog untuk titik akhir yang melayani model kustom, model eksternal, atau beban kerja throughput yang disediakan. Gunakan alat ini untuk memantau dan men-debug kualitas atau respons model, menghasilkan himpunan data pelatihan, atau melakukan audit kepatuhan. Dapat diaktifkan untuk titik akhir penyajian model yang sudah ada dan yang baru saat mengaktifkan fitur Gateway AI menggunakan Antarmuka Pengguna Penyajian atau REST API.

Petunjuk / Saran

Gunakan alat pemantauan ini untuk mengidentifikasi hambatan performa dan mengoptimalkan titik akhir Anda. Untuk strategi pengoptimalan yang komprehensif, lihat Mengoptimalkan titik akhir Model Melayani untuk produksi.

Sumber Daya Tambahan:

  • Last updated on