Giriş
Ortalama hata veya günlük kaybı gibi tek değerli ölçümler, modelleri performans açısından karşılaştırmanın hızlı yollarıdır. Ancak her zaman sezgisel değildirler ve modelin gerçekten nasıl performans sergilediğinden her zaman tam olarak bahsedemezler. Örneğin, kanseri tespit etmeye çalışıyorsak ancak 100.000 doku örneğinden yalnızca 1'i aslında kanser içeriyorsa, her zaman "kanser yok" diyen bir model mükemmel bir log-loss (maliyet) olacaktır, ancak klinikte tamamen işe yaramaz olacaktır. Modellerinizi değerlendirmek için daha akıllı yollar seçmek önemlidir, böylece modelinizin gerçek dünyada nasıl çalışacağını düzgün bir şekilde anlayabilirsiniz.
Senaryo: Makine öğrenmesi ile dağ kurtarma
Bu modül boyunca, farklı ölçümler ve veri dengesizlikleriyle çalışmayı açıklamak ve alıştırma yapmak için aşağıdaki örnek senaryoyu kullanacağız.
Kış tekrar dolanırken, doğa yürüyüşçüleri çığ riski uyarılarını görmezden geldiği ve dağ kapatıldığında bile ortaya çıkan endişeler artmıştır. Bu sadece daha fazla avalank riski değil, aynı zamanda yürüyüşçüler dışarı çıkmadan önce nadiren kontrol ettiğinden, bir avalank meydana geldiğinde dağda birinin olup olmadığını bilmenin bir yolu yoktur. Cömert bir bağışçı, avalanche-rescue ekibine, dağ kenarlarını nesneler için otomatik olarak tarayabilen bir dizi minyatür insansız hava aracı sağladı. Aşırı arazi ve soğukta pil boşalması nedeniyle bant genişliği video iletemeyecek kadar düşük kalır. Bunun yerine, eklenen algılayıcılar nesne şekli, boyutu ve hareketi gibi temel bilgileri ayıklayabilir ve bunu ana tabana iletebilir. İnsansız hava aracının ne zaman bir insansız hava aracıyla karşılaştığını belirleyebilecek bir model oluşturabilir misiniz?
Önkoşullar
- Sınıflandırma modelleri hakkında temel bilgiler
Öğrenme hedefleri
Bu modülde şunları yapacaksınız:
- Sınıflandırma modellerinin performansını değerlendirme.
- Sınıflandırma modellerini geliştirmek için ölçümleri gözden geçirin.
- Veri dengesizliklerinden kaynaklanan performans sorunlarını azaltın.