ROC eğrilerini karşılaştırma ve iyileştirme
Alıcı operatör özelliği (ROC) eğrileri, modelleri birbiriyle karşılaştırmamıza ve seçilen modelimizi ayarlamamıza olanak tanır. Şimdi bunların nasıl ve neden yapıldığını tartışalım.
Modeli ayarlama
ROC eğrisi için en belirgin kullanım, en iyi performansı veren bir karar eşiği seçmektir. Modellerimizin bize olasılık sağladığını, örneğin örneğin bir yürüyüşçü olma olasılığının %65 olduğunu hatırlayın. Karar eşiği, bir örneğin doğru (yürüyüşçü) atandığı veya atandığı false (ağaç) noktadır. Karar eşiğimiz %50 ise %65'i "doğru" (yürüyüşçü) olarak atanır. Ancak karar eşiğimiz %70 olsaydı, %65 olasılığı çok küçük olur ve "false" (ağaç) değerine atanırdı.
Önceki alıştırmada bir ROC eğrisi oluştururken yalnızca karar eşiğini değiştirdiğimizde ve modelin ne kadar iyi çalıştığını değerlendirdiğimizde gördük. Bunu yaptığımızda, en uygun sonuçları veren eşiği bulabiliriz.
Genellikle hem en iyi gerçek pozitif oranı (TPR) hem de daha düşük hatalı pozitif oranı (FPR) veren tek bir eşik yoktur. Bu, en uygun eşiğin ne elde etmeye çalıştığınıza bağlı olduğu anlamına gelir. Örneğin, senaryomuzda yüksek gerçek pozitif oranın olması çok önemlidir, çünkü bir yürüyüşçü belirlenmezse ve bir avalanche oluşursa, ekip onları kurtarmayı bilemez. Ancak bir denge vardır: Hatalı pozitif oran çok yüksekse kurtarma ekibi, var olmayan insanları kurtarmak için tekrar tekrar gönderilebilir. Diğer durumlarda hatalı pozitif oranın daha önemli olduğu kabul edilir. Örneğin, bilim hatalı pozitif sonuçlara karşı düşük toleransa sahiptir. Bilimsel deneylerin hatalı pozitif oranı daha yüksek olsaydı, çelişkili iddiaların sonsuz bir kabarıklığı olurdu ve neyin gerçek olduğunu anlamak imkansız olurdu.
Modelleri AUC ile karşılaştırma
ROC eğrilerini kullanarak, maliyet işlevlerinde olduğu gibi modelleri birbiriyle karşılaştırabilirsiniz. Modelin ROC eğrisi, çeşitli karar eşikleri için ne kadar iyi çalışacağını gösterir. Günün sonunda, bir modelde en önemli olan, yalnızca bir karar eşiğinin bulunduğu gerçek dünyada nasıl performans göstereceğidir. O zaman neden modelleri asla kullanmayacağımız eşikleri kullanarak karşılaştırmak isteriz? Bunun iki cevabı vardır.
İlk olarak, ROC eğrilerini belirli şekillerde karşılaştırmak, yalnızca bir modelin bu test kümesinde daha iyi olduğunu değil, gelecekte daha iyi performans gösterme olasılığının yüksek olup olmadığını belirten istatistiksel bir test gerçekleştirmek gibidir. Bu, bu öğrenme materyalinin kapsamı dışındadır, ancak göz önünde bulundurmaya değer.
İkinci olarak, ROC eğrisi modelin mükemmel eşiğe ne kadar dayanıklı olduğunu bir dereceye kadar gösterir. Örneğin, modelimiz yalnızca 0,9 karar eşiğine sahip olduğumuzda ancak bu değerin çok üstünde veya altında olduğunda düzgün çalışıyorsa, iyi bir tasarım değildir. Karşımıza çıkan gerçek dünya verilerinin test kümemizden biraz farklı olması durumunda modelimizin performansının çökmesi gerekmeyeceğini bilerek çeşitli eşikler için makul düzeyde iyi çalışan bir modelle çalışmayı tercih ederiz.
NIC'leri karşılaştırma
NIC'leri sayısal olarak karşılaştırmanın en kolay yolu, eğrinin altındaki alanı (AUC) kullanmaktır. Tam anlamıyla bu, grafın eğrinin altında yer alan alandır. Örneğin, son alıştırmadaki mükemmel modelimiz 1 AUC'ye sahiptir:
Şanstan daha iyi olmayan modelimizin alanı yaklaşık 0,5 olsa da:
Bir model ne kadar mükemmel olursa, bu alan o kadar genişler. Büyük bir AUC'ye sahip bir modelimiz varsa, çeşitli eşikler için iyi çalıştığını biliyoruz ve bu nedenle muhtemelen iyi bir mimarisi var ve iyi eğitilmiş. Buna karşılık, küçük AUC 'ye (0,5'e yakın) bir model iyi çalışmıyor.