Makine öğrenmesi modellerindeki hataları değerlendirme

Geçerli model hata ayıklama uygulamalarının en büyük zorluklarından biri, karşılaştırma veri kümesindeki modelleri puanlama amacıyla toplu ölçümleri kullanmaktır. Model doğruluğu veri alt gruplarında tekdüzen olmayabilir ve modelin daha sık başarısız olduğu giriş kohortları olabilir. Bu hatalar güvenilirlik ve güvenlik eksikliğine, eşitlik sorunlarının ortaya çıkmasına ve makine öğrenmesine tamamen güven kaybına yol açar.

Karşılaştırma ve makine öğrenmesi modeli için doğruluk oranı ve hataların bir örneğini gösteren diyagram.

Hata analizi, toplam doğruluk ölçümlerinden uzaklaşır. Hataların geliştiricilere şeffaf bir şekilde dağıtılmasını sağlar ve hataları verimli bir şekilde tanımlayıp tanılamalarını sağlar.

Sorumlu yapay zeka panosunun hata analizi bileşeni, makine öğrenmesi uygulayıcılarına model hatası dağıtımı hakkında daha ayrıntılı bilgi sağlar ve hatalı veri kohortlarını hızla belirlemelerine yardımcı olur. Bu bileşen, genel karşılaştırma hata oranına kıyasla daha yüksek hata oranına sahip veri kohortlarını tanımlar. Aşağıdakiler aracılığıyla model yaşam döngüsü iş akışının tanımlama aşamasına katkıda bulunur:

  • Yüksek hata oranlarına sahip kohortları ortaya koyan bir karar ağacı.
  • Giriş özelliklerinin kohortlar arasında hata oranını nasıl etkilediğini görselleştiren bir ısı haritası.

Sistem belirli demografik gruplar için yetersiz performans gösterdiğinde veya eğitim verilerinde seyrek gözlemlenen giriş kohortlarında hatalarda tutarsızlıklar oluşabilir.

Bu bileşenin özellikleri, model hata profilleri oluşturan Hata Analizi paketinden gelir.

Aşağıdaki durumlarda hata analizini kullanın:

  • Model hatalarının bir veri kümesinde ve çeşitli giriş ve özellik boyutlarında nasıl dağıtıldığı hakkında ayrıntılı bilgi edinin.
  • Hatalı kohortları otomatik olarak bulmak için toplam performans ölçümlerini ayırarak hedeflenen azaltma adımlarını uygulayabilirsiniz.

Hata ağacı

Hata desenleri genellikle karmaşıktır ve birden fazla veya iki özellik içerir. Kritik hatalarla birlikte gizli veri ceplerini keşfetmek için tüm olası özellik bileşimlerini keşfetmekte zorluk yaşayabilirsiniz.

Yükü hafifletmek için, ikili ağaç görselleştirmesi karşılaştırma verilerini otomatik olarak beklenmedik şekilde yüksek veya düşük hata oranlarına sahip yorumlanabilir alt gruplara böler. Başka bir deyişle, ağaç model hatasını başarıdan ayırmak için giriş özelliklerini kullanır. Bir veri alt grubunu tanımlayan her düğüm için aşağıdaki bilgileri araştırabilirsiniz:

  • Hata oranı: Düğümdeki örneklerin modelin yanlış olduğu kısmı. Görselleştirme bu değeri kırmızı rengin yoğunluğuyla gösterir.
  • Hata kapsamı: Düğüme giren tüm hataların bölümü. Görselleştirme bu değeri düğümün doldurma hızı üzerinden gösterir.
  • Veri gösterimi: Hata ağacının her düğümündeki örneklerin sayısı. Görselleştirme, bu değeri düğüme gelen kenarın kalınlığıyla ve düğümdeki toplam örnek sayısıyla birlikte gösterir.

Daha yüksek veya daha düşük hata oranlarına ve kapsama sahip kohortları gösteren hata çözümleme ağacının ekran görüntüsü.

Hata ısı haritası

Bu görünüm, verileri tek boyutlu veya iki boyutlu giriş özellikleri ızgarasına göre bölümlere ayırır. Analiz için ilgilendiğiniz giriş özelliklerini seçebilirsiniz.

Isı haritası, dikkatinizi bu bölgelere çekmek için daha koyu kırmızı bir renk kullanarak yüksek hata içeren hücreleri görselleştirir. Bu özellik özellikle hata temaları bölümler arasında farklı olduğunda yararlıdır ve bu genellikle pratikte gerçekleşir. Bu hata belirleme görünümünde, bilginiz veya hipotezleriniz analize yol gösterir ve hataları anlamak için en önemli olabilecek özellikleri anlamanıza yardımcı olur.

Bir veya iki özelliğe göre bölümlenmiş model hatalarını gösteren hata analizi ısı haritasının ekran görüntüsü.

Sonraki adımlar

  • Last updated on