Tahmin modeli performansı

AI Builder, her eğitimden sonra yeni modelin kalitesini ve uygunluğunu değerlendirmek için test veri kümesini kullanır. Modelinize yönelik özet sayfası, model eğitiminizin sonucunu gösterir. Bu sonuçlar A, B, C veya D performans sınıfı olarak ifade edilir.

Performansı ölçme

Performans derecesi

Her eğitim sonrasında AI Builder, modelinizin doğruluğunu değerlendirmenize yardımcı olacak bir derece gösterir. Modelinizin yayımlanmaya hazır olup olmadığı konusundaki kararı, kendi benzersiz ihtiyaçlarınıza veya koşullarınıza göre almanız gerekir. AI Builder, bu değerlendirmeyi yapmanıza yardımcı olması için aşağıdaki performans derecelerini sağlar.

Sınıfların yorumlanması

Derece Rehberlik
A Modeli geliştirmek halen mümkün olabilir, ancak bu elde edebileceğiniz en iyi sınıftır.
B Model çoğu zaman doğrudur. İyileştirilebilir mi? Bu sizin benzersiz koşullarınıza, verilerinize ve gereksinimlerinize bağlıdır.
C Model, rastgele bir tahminden biraz daha iyidir. Bu bazı uygulamalar için kabul edilebilir olabilir, ancak çoğu durumda bu, değiştirip iyileştirmeye devam edeceğiniz bir modeldir.
D Bir sorun var. Modeliniz, rastgele bir tahminin (yetersiz model) gerçekleştirmesi beklentimizden daha kötü performans gösteriyor. Veya çok iyi performans gösteriyordur (%100 veya bu değere yakın) ve muhtemelen sonuçla doğrudan bağıntılı bir veri sütununuz vardır (çok fazla uyumlu model).

Doğruluk aralığı verilerinize göre değişir

2 veya daha fazla sonuç tahmin ediyorsanız, geçmiş verilerinizin veri dağılımına bağlı olarak, yukarıdaki sınıflara karşılık gelen gerçek doğruluk oranları farklılık gösterebilir. Bu farklılık, temel değeri değiştirdiğinizde, temel oranınıza göre iyileştirmenin değişmesinden kaynaklanır.

Modelinizin, bir sevkiyatın zamanında gelip gelmeyeceğini tahmin ettiğini varsayalım. Geçmiş zamanında gelme oranınız yüzde80 ise, 92 performans puanı, B sınıfına karşılık gelir. Ancak geçmiş zamanında gelme oranınız yalnızca yüzde50 ise bu defa 92, A sınıfına karşılık gelir. Bunun nedeni %92'nin, yüzde50 oranı üzerinden sağladığı iyileştirmenin, yüzde80 oranı üzerinden sağladığı iyileştirmeye kıyasla çok daha iyi olması ve rastgele tahminin bu belirtilen yüzdelere yakın olmasıdır.

İkili geçmiş verisi örneği

Bu örnekte, geçmiş veriler, ikili tahmin için farklı zamanında gelme oranları içerdiğinde her bir sınıf için doğruluk aralıkları gösterilmektedir.

Derece Geçmiş %25 zamanında gelme oranı için doğruluk aralığı Geçmiş %50 zamanında gelme oranı için doğruluk aralığı Geçmiş %80 zamanında gelme oranı için doğruluk aralığı Geçmiş %95 zamanında gelme oranı için doğruluk aralığı
A %92,5 – <%99,3 %90 – %98 %93 – <%99 %98,1 – <%99,8
B %81,3 – <%92,5 %75 – <%90 %84 – <%93 %95,3 – <%98,1
C %66,3 – <%81,3 %55 – <%75 %71 – <%84 %91,5 – <%95,3
D <%66,3% veya ≥%99,3 <%55% veya ≥%98 <%71% veya ≥%99 <%91,5% veya ≥%99,8

Birden çok sonuç geçmiş verisi örneği

Her bir sınıfa karşılık gelen doğruluk oranları, 2'den fazla sonuç tahmin ettiğinizde de değişebilir. Modelinizin teslimat için ikiden fazla seçenek öngördüğünü varsayalım: erken, zamanında veya geç.

Geçmiş zamanında teslim oranlarınız değiştiğinde, her sınıf için doğruluk aralıkları değişir.

Derece Erken (%33,3) Erken (%20) Erken (%10)
Zamanında (%33,3) Zamanında (%40) Zamanında (%80)
Geç (%33,4) Geç (%40) Geç (%10)
A %86,7 – <%98,7 %87,2 – <%98,7 %93,2 – <%99,3
B %66,7 – <%86,7 %68,0 – <%87,2 %83,0 – <%93,2
C %40,0 – <%66,7 %42,4 – <%68,0 %69,4 – <%83,0
D %33,3 – <%40,0 %36,0 – <%42,4 %66,0 – <%69,4

Sayısal tahmin örneği

Sayısal tahmin için AI Builder, modelinizin doğruluk derecesini hesaplamak üzere R karesi istatistik ölçümünü kullanır. Aşağıdaki tabloda her bir sınıfa karşılık gelen dereceler gösterilmektedir:

Derece R-kare
A %85 - <%99
B %60 - <%85
C %10 - <%60
D ≥%99 veya <%10

Performans ayrıntıları

Eğitim ayrıntıları için, modelin sınıf kutusunda Ayrıntıları göster'i seçin. Performans sekmesinde aşağıdaki bilgiler mevcuttur:

Not

Bu alan için planlanmış ek özellikler hakkında Daha fazla bilgi edinmek için bkz. Sürüm planları.

  • Doğruluk puanı
  • R-kare

Doğruluk puanı

AI Builder, test veri kümesinin tahmin sonucunu temel alarak modelinize yönelik doğruluk puanını hesaplar. AI Builder, eğitimden önce veri kümenizi ayrı eğitim verileri ve test verileri kümelerine ayırır. Eğitimden sonra AI Builder, yapay zeka modelinizi test veri kümesine uygular ve doğruluk puanınızı hesaplar. Örneğin: Test veri kümesi 200 satır içeriyorsa ve AI Builder bunların 192 tanesini doğru şekilde tahmin ederse AI Builder yüzde 96 doğruluk puanı gösterir.

Daha fazla bilgi edinmek için bkz. Modelinizi değerlendirme.

R-kare

Sayısal tahmin için AI Builder, her eğitimin ardından r-kare puanı hesaplar. Bu puan, modelinizin 'uygunluğunun ne kadar iyi olduğunu' ölçer ve modelinizin performans derecesini belirlemek için kullanılır.

Bir siparişi karşılamak, sevk etmek ve teslim etmek için gün sayısını tahmin ettiğinizi varsayalım. Model bir sayı kümesi tahmin eder. R-kare değeri, eğitim verilerinizdeki tahmini değerler ile gerçek değerler arasındaki uzaklıkları temel alır. Bu, %0-100 arasında bir sayı olarak ifade edilir; değerin yüksek olması, tahmini değerin gerçek değere yakın olduğunu belirtir. Genellikle yüksek puan, modelin daha iyi performans gösterdiği anlamına gelir. Ancak mükemmel veya mükemmele yakın puanların (aşırı uygun modeller) genellikle eğitim verilerinizle ilgili bir sorunu gösterdiğini unutmayın.

Özet sekmesinde aşağıdaki performans bilgileri bulunur:

  • Eğitim tarihi
  • Veri kaynağı
  • Geçmiş sonucu
  • Tahmin yapmak için kullanılan tablo listesi.

Tahmin modelinizin performansını geliştirme

Modelinizi eğitip değerlendirdikten sonra küçük ayarlamalar yapıp performansını geliştirin. Modelinizin tahmin gücünü geliştirmek için şunları deneyebilirsiniz.

Hataları ve sorunları gözden geçirme

  • Eğitimi bitirdikten sonra hata varsa bunları düzeltip modeli yeniden eğitin.
  • Hata yoksa eğitim ayrıntılarını denetleyin. Mümkün olduğunca fazla sorunu ele almaya çalışıp modeli yeniden eğitin.

En iyi etkenleri gözden geçirme

Her eğitimden sonra, model ayrıntıları sayfasında en iyi etkenlerin listesi görüntülenir. Eğitimde kullanılan her sütunun, eğitime yaptığı etkiyi temsil eden bir puanı bulunur. Bu puanların toplamı yüzde 100'e eşittir.

Bu, modelinizin beklediğiniz gibi eğitilip eğitilmediğini gösterir. Örneğin, çevrimiçi alışveriş yapan kullanıcıları tahmin etmek istiyorsanız ve en etkili sütunun Yaş, Ürün olmasını bekliyorsanız model ayrıntıları sayfasında en etkili sütun listesinde görebilirsiniz. Aksi takdirde, bu durum eğitim sonuçlarının beklendiği gibi olmadığını belirtebilir. Bu durumda, alakasız veya yanıltıcı sütunların seçimi kaldırıp modeli yeniden eğitebilir ya da daha fazla ayrıntı görmek için eğitim sorunlarınızı denetleyebilirsiniz.

Daha fazla veri ekleme

Eğitim verileri için en düşük gereksinim 50 satırdır ancak bu, 50 veri satırının yüksek tahmine dayalı bir model eğiteceği anlamına gelmez. Seçenekler arasında gerçekçi bir dağılımla doğru etiketlenmiş 1000 veya daha fazla veri satırı sağlamaya çalışın.

Veri dağıtımınızı denetleme

Örneğin, Evet veya Hayır olmak üzere iki seçenek etiketi kullanıyorsanız ve bu sütunda veri satırlarınızın çoğunda yalnızca Evet seçeneği bulunuyorsa, modelinizin bu verilerden öğrenmesi zor olur. Verilerinizdeki seçeneklerin dağıtımını, görmeyi beklediğiniz seçeneklerin dağıtımını kabaca yansıtacak şekilde olmasını sağlayın. Örneğin, kedi_sahibi ve köpek_sahibi için veri sütunlarını inceliyorsanız yüzde 50 civarında bir veri dağıtımı kullanın. Dolandırıcılık amaçlı işlemlere bakıyorsanız daha dengesiz bir dağıtım (yüzde 95 - yüzde 5 arası olabilir) kullanın. Beklentilerinizi bilmiyorsanız bu tür bilgilere yönelik sektör standartlarına bakın.

Daha fazla sütun ekleme

Örneğin, hangi müşterilerin geri dönüp ürünlerinizi almalarının daha olası olduğunu tahmin etmek istediğinizi varsayalım. Eğitim verilerini daha zengin hale getirmek için daha fazla sütun ekleyebilirsiniz. Örneğin:

  • Ürüne kaç puan veriyorlar?
  • Ürünü ne sıklıkta kullanıyorlar?
  • Aynı yerden daha önce alışveriş yapmışlar mı?

Seçili sütunları ilgili bilgilere daraltma

Birçok veri sütunu bulunan doğru şekilde etiketlenmiş fazla miktarda eğitim veriniz bulunabilir. Peki bunlara rağmen modelin performansı neden yetersiz kalır? İstenmeyen sapmaya yol açabilen sütunları seçiyor olabilirsiniz. Seçtiğiniz tüm sütunların tahmin etmek istediğinizi etkilemeyle ilişkili olduğundan emin olun. İlgisiz veya yanıltıcı sütunların seçimini kaldırın.

Verileri doğrulama

  • Veri sütunlarının yüksek bir eksik değer oranı (yüzde99'dan fazla) olmadığından emin olun. Eksik değerleri varsayılan verilerle doldurun veya veri sütununu model eğitiminden kaldırın.
  • Veri sütununuzun tahmin sonucuyla yüksek bağıntısı bulunuyorsa veri sütununu model eğitiminden kaldırın.

Sonraki adım

Power Apps'te tahmin modelinizi kullanma

  • Last updated on