Alıcı işleci karakteristik eğrileriyle sınıflandırmayı analiz etme
Sınıflandırma modellerinin bir kategoriye örnek ataması gerekir. Örneğin, nesnenin yürüyüşçü mü yoksa ağaç mı olduğunu belirlemek için boyut, renk ve hareket gibi özellikleri kullanması gerekir.
Sınıflandırma modellerini birçok yolla geliştirebiliriz. Örneğin, verilerimizin dengeli, temiz ve ölçeklendirilmiş olduğundan emin olabilirsiniz. Ayrıca model mimarimizi değiştirebilir ve hiper parametreleri kullanarak verilerimizden ve mimarimizden mümkün olduğunca çok performans sağlayabiliriz. Sonuç olarak, test (veya bekleme) kümemizdeki performansı geliştirmek ve modelimizi hazır olarak bildirmek için daha iyi bir yol bulamıyoruz.
Bu noktaya model ayarlama karmaşık olabilir, ancak modelimizin ne kadar iyi çalıştığını daha da geliştirmek için son basit adımı kullanabiliriz. Ancak bunu anlamak için temel bilgilere geri dönmemiz gerekir.
Olasılıklar ve kategoriler
Birçok modelin birden çok karar verme aşaması vardır ve son aşama genellikle yalnızca bir bina adımıdır. Binarizasyon sırasında olasılıklar sabit etikete dönüştürülür. Örneğin, modele özellikler sağlandığını ve yürüyüşçü gösterilme olasılığının %75 olduğunu ve %25 oranında ağaç gösterilme olasılığını hesaplandığını varsayalım. Bir nesne %75 yürüyüşçü ve %25 ağaç olamaz; Ya biri ya da diğeri! Bu nedenle model normalde %50 olan bir eşik uygular. Yürüyüşçü sınıfı %50'den büyük olduğundan, nesne yürüyüşçü olarak bildirilir.
%50 eşik mantıksaldır; bu, modele göre en olası etiketin her zaman seçildiğini gösterir. Ancak model taraflıysa bu %50 eşiği uygun olmayabilir. Örneğin, modelin ağaç seçme eğilimi yürüyüşçülerden daha fazlaysa, ağaçları olması gerekenden %10 daha sık topluyorsa, bunu hesaba katmak için karar eşiğimizi ayarlayabiliriz.
Karar matrislerinde yenileyici
Karar matrisleri, bir modelin ne tür hatalar yaptığını değerlendirmek için harika bir yoldur. Bu bize Gerçek Pozitifler (TP), Gerçek Negatifler (TN), Hatalı Pozitifler (FP) ve Hatalı Negatifler (FN) oranlarını verir
Karışıklık matrisinden bazı kullanışlı özellikleri hesaplayabiliriz. İki popüler özellik şunlardır:
- True Positive Rate (duyarlılık):"True" etiketlerinin doğru şekilde "True" olarak tanımlanması. Örneğin, modelin gösterildiği örnek aslında bir yürüyüşçü olduğunda "yürüyüşçü" olarak ne sıklıkta tahminde bulunur?
- Hatalı Pozitif Hız (yanlış alarm hızı): "Yanlış" etiketlerin yanlış şekilde "Doğru" olarak tanımlanması. Örneğin, bir ağaç gösterildiğinde modelin "yürüyüşçü" olarak ne sıklıkta tahminde bulunur?
Gerçek pozitif ve hatalı pozitif oranlarına bakmak modelin performansını anlamamıza yardımcı olabilir.
Yürüyüşçü örneğimizi düşünün. İdeal olarak, gerçek pozitif oranı çok yüksektir ve hatalı pozitif oranı çok düşüktür, çünkü bu model yürüyüşçüleri iyi tanımladığı ve ağaçları çok sık yürüyüşçü olarak tanımlamadığı anlamına gelir. Ancak, gerçek pozitif oranı çok yüksekse, ancak hatalı pozitif oranı da çok yüksekse, model taraflıdır; yürüyüşçü olarak karşılaştığı neredeyse her şeyi tanımlayacak. Benzer şekilde, gerçek pozitif oranı düşük olan bir model istemiyoruz, çünkü model bir yürüyüşçüyle karşılaştığında bunları ağaç olarak etiketlemektedir.
ROC eğrileri
Alıcı işleç özelliği (ROC) eğrileri, gerçek pozitif oranı ve hatalı pozitif oranı çizdiğimiz bir graftır.
ROC eğrileri, iki temel nedenden dolayı yeni başlayanlar için kafa karıştırıcı olabilir. İlk neden, yeni başlayanlar bir modelin gerçek pozitif ve gerçek negatif oranlar için yalnızca bir değere sahip olduğunu bilmesidir, bu nedenle ROC çizimi şöyle görünmelidir:
Eğer bunu da düşünüyorsanız, haklısınız. Eğitilmiş bir model yalnızca bir nokta üretir. Ancak modellerimizin gerçek (yürüyüşçü) veya false (ağaç) etiketinin kullanılması gerekip gerekmediğine karar vermek için kullanılan bir eşiği (normalde %50) olduğunu unutmayın. Bu eşiği %30 olarak değiştirir ve gerçek pozitif ve hatalı pozitif oranları yeniden hesaplarsak başka bir nokta elde ederiz:
Bunu %0-%100 arasındaki eşikler için yaparsak aşağıdakine benzer bir grafik elde edebiliriz:
Bunun yerine genellikle çizgi olarak görüntülediğimiz:
Bu grafiklerin kafa karıştırıcı olmasının ikinci nedeni, söz konusu jargondur. Yüksek gerçek pozitif oranı (yürüyüşçüleri bu şekilde tanımlamak) ve düşük hatalı pozitif oranı (ağaçları yürüyüşçü olarak tanımlamamak) istediğimizi unutmayın.
İyi ROC, kötü ROC
İyi ve kötü ROC eğrilerini anlamak, etkileşimli bir ortamda en iyi şekilde gerçekleştirilir. Hazır olduğunuzda, bu konuyu keşfetmek için sonraki alıştırmaya atlayın.