Sınıflandırma modellerini değerlendirme
Sınıflandırma modelinin eğitim doğruluğu, yeni ve görünmeyen veriler verildiğinde modelin ne kadar iyi çalışacağından çok daha az önemlidir. Sonuçta, modelleri gerçek dünyada bulduğumuz yeni verilerde kullanabilecek şekilde eğitiyoruz. Bu nedenle, bir sınıflandırma modelini eğitdikten sonra, yeni ve görünmeyen bir dizi veri üzerinde nasıl performans göstermiş olduğunu değerlendireceğiz.
Önceki ünitelerde bir hastanın diyabet olup olmadığını kan şekeri düzeyine göre tahmin edecek bir model oluşturduk. Şimdi, eğitim kümesinin parçası olmayan bazı verilere uygulandığında aşağıdaki tahminleri elde ederiz.
| x | y | ŷ |
|---|---|---|
| 83 | 0 | 0 |
| Kategori 119 | 1 | 1 |
| 104 | 1 | 0 |
| 105 | 0 | 1 |
| 86 | 0 | 0 |
| 109 | 1 | 1 |
X'in kan şekeri düzeyini, y'nin gerçekten diyabetik olup olmadığını, ŷ ise modelin diyabetik olup olmadıklarına ilişkin tahminini ifade ettiğini hatırlayın.
Yalnızca kaç tahminin doğru olduğunu hesaplamak bazen yanıltıcı veya gerçek dünyada yapacağı hata türlerini anlamamız için çok basit olabilir. Daha ayrıntılı bilgi almak için sonuçları karışıklık matrisi olarak adlandırılan bir yapıda şu şekilde tablolayabiliriz:
Karışıklık matrisi aşağıdaki durumların toplam sayısını gösterir:
- Model 0 tahmini ve gerçek etiket 0 (gerçek negatifler, sol üst)
- Model tahmin edilen 1 ve gerçek etiket 1 (gerçek pozitifler, sağ alt)
- Model 0 tahmini ve gerçek etiket 1 (hatalı negatifler, sol alt)
- Model 1 tahmin etti ve gerçek etiket 0 (hatalı pozitifler, sağ üst)
Karışıklık matrisindeki hücreler genellikle daha yüksek değerlerin daha derin bir gölgeye sahip olması için gölgelendirilir. Bu, tahmin edilen değerle gerçek değerin aynı olduğu hücreleri vurgulayarak, sol üstten sağ alta doğru güçlü bir çapraz eğilim görmeyi kolaylaştırır.
Bu temel değerlerden, modelin performansını değerlendirmenize yardımcı olabilecek bir dizi başka ölçüm hesaplayabilirsiniz. Örneğin:
- Doğruluk: (TP+TN)/(TP+TN+FP+FN) - tüm tahminlerin dışında, kaçı doğru?
- Hatırlayın: TP/(TP+FN) - pozitif olan tüm vakalardan , model kaçını tanımladı?
- Duyarlık: TP/(TP+FP) - modelin pozitif olacağı tahmin edilen tüm durumlardan, gerçekte kaçı pozitiftir ?