Memantau kualitas model dan kesehatan titik akhir

Mosaic AI Model Serving menyediakan alat canggih untuk memantau kualitas dan kesehatan model dan penyebarannya. Tabel berikut adalah gambaran umum setiap alat pemantauan yang tersedia.

Alat	Keterangan	Tujuan	Access
Log layanan	stdout Mengambil dan stderr mengalirkan dari model yang melayani titik akhir.	Berguna untuk penelusuran kesalahan selama penyebaran model. Gunakan print(..., flush=true) untuk tampilan langsung dalam log.	Dapat diakses menggunakan tab Log di antarmuka pengguna Penyajian. Log dialirkan secara real time dan dapat diekspor melalui API.
Membangun log	Menampilkan output dari proses yang secara otomatis membuat lingkungan Python siap produksi untuk titik akhir penyajian model.	Berguna untuk mendiagnosis masalah penyebaran dan dependensi model.	Tersedia setelah menyelesaikan model yang melayani build di bawah Log build di tab Log . Log dapat diekspor melalui API.
Metrik kesehatan titik akhir	Memberikan wawasan tentang metrik infrastruktur seperti latensi, tingkat permintaan, tingkat kesalahan, penggunaan CPU, dan penggunaan memori.	Penting untuk memahami kinerja dan kesehatan infrastruktur penyajian.	Tersedia secara default di Antarmuka Pengguna layanan selama 14 hari terakhir. Data juga dapat dialirkan ke alat pengamatan secara real time.
Tabel inferensi	Secara otomatis mencatat permintaan dan respons prediksi online ke dalam tabel Delta yang dikelola oleh Katalog Unity.	Gunakan alat ini untuk memantau dan men-debug kualitas atau respons model, menghasilkan himpunan data pelatihan, atau melakukan audit kepatuhan.	Dapat diaktifkan untuk titik akhir penyajian model yang ada dan baru menggunakan satu klik di UI atau API.

Sumber Daya Tambahan:

• Melacak dan mengekspor metrik kesehatan titik akhir penyajian ke Prometheus dan Datadog
• Tabel inferensi untuk model pemantauan dan penelusuran kesalahan