Model kalitesini ve uç nokta durumunu izleme

Model Sunma, modellerin ve bunların dağıtımlarının kalitesini ve durumunu izlemek için gelişmiş araçlar sağlar. Aşağıdaki tabloda, kullanılabilen her izleme aracına genel bir bakış sunulmaktadır.

Tool Açıklama Amaç Access
Kısa ömürlü hizmet günlükleri stdout ve stderr akışlarını model sunucu uç noktasından yakalar. Model dağıtımı sırasında hata ayıklama için kullanışlıdır. Günlüklerde anında görüntülemek için logging.warning(...) ya da logging.error(...) kullanın. Sunum kullanıcı arabirimindeki Günlükler sekmesini kullanarak erişilebilir. Günlükler gerçek zamanlı olarak akışla aktarılır ve API aracılığıyla dışarı aktarılabilir.
Uç noktaları sunan özel model için OpenTelemetry Uzun süreli saklama için OpenTelemetry kullanarak standart sistem günlüklerini, özel uygulama günlüklerini, ölçümleri ve izlemeleri Unity Kataloğu Delta tablolarında kalıcı hale getirir. SQL sorgularını kullanarak geçmiş hata ayıklama, uyumluluk gereksinimleri ve üretim sorunlarını çözümleme için kullanışlıdır. Uç noktayı oluştururken Kullanıcı arabiriminde veya API'de telemetri ayarlarını yapılandırın. Unity Kataloğu SQL veya Azure Databricks not defterlerini kullanarak günlükleri sorgulayın.
Derleme günlükleri Model sunum uç noktası için otomatik olarak üretime hazır bir Python ortamı oluşturan işlemin çıkışını görüntüler. Model dağıtımı ve bağımlılık sorunlarını tanılamak için kullanışlıdır. Model sunum derlemesi tamamlandığında, Günlükler sekmesinde Derleme günlükleri altında kullanılabilir. Günlükler API aracılığıyla dışarı aktarılabilir. Bu günlükler otuz (30) güne kadar saklanır.
Uç nokta durumu ölçümleri Gecikme süresi, istek hızı, hata oranı, CPU kullanımı ve bellek kullanımı gibi altyapı ölçümleri hakkında içgörüler sağlar. Hizmet veren altyapının performansını ve durumunu anlamak için önemlidir. Son 14 gün için Sunum Kullanıcı Arabirimi'nde varsayılan olarak kullanılabilir. Veriler gerçek zamanlı olarak gözlemlenebilirlik araçlarına da aktarılabilir.
AI Ağ Geçidi ile etkinleştirilmiş çıkarım tabloları Özel modellere, dış modellere veya tahsis edilen aktarım hızı iş yüklerine hizmet veren uç noktalar için Unity Kataloğu tarafından yönetilen Delta tablolarına çevrimiçi tahmin isteklerini ve yanıtlarını otomatik kayıt eder. Model kalitesini veya yanıtlarını izlemek ve hata ayıklamak, eğitim veri kümeleri oluşturmak veya uyumluluk denetimleri gerçekleştirmek için bu aracı kullanın. Yapay Zeka Ağ Geçidi özellikleri, Sunum kullanıcı arabirimi veya REST API kullanılarak etkinleştirilirken, mevcut ve yeni model sunum uç noktaları da etkinleştirilebilir.

İpucu

Performans sorunlarını belirlemek ve uç noktalarınızı iyileştirmek için bu izleme araçlarını kullanın. Kapsamlı iyileştirme stratejileri için bkz. Model Sunma uç noktalarını üretim için iyileştirme.

Ek kaynaklar