Modeli Değerlendirme

Önemli

Machine Learning Stüdyosu (klasik) desteği 31 Ağustos 2024'te sona erecektir. Bu tarihe kadar Azure Machine Learning'e geçmenizi öneririz.

1 Aralık 2021'den başlayarak artık yeni Machine Learning Stüdyosu (klasik) kaynakları oluşturamayacaksınız. 31 Ağustos 2024'e kadar mevcut Machine Learning Stüdyosu (klasik) kaynaklarını kullanmaya devam edebilirsiniz.

• Makine öğrenmesi projelerini ML Studio'dan (klasik) Azure Machine Learning taşıma hakkındaki bilgilere bakın.
• Azure Machine Learning hakkında daha fazla bilgi edinin.

ML Stüdyosu (klasik) belgeleri kullanımdan kaldırılacak ve gelecekte güncelleştirilmeyecektir.

Sınıflandırma veya regresyon modelinin sonuçlarını standart ölçümlerle değerlendirir

Kategori: Machine Learning / Değerlendir

Not

Şunlar için geçerlidir: yalnızca Machine Learning Studio (klasik)

Benzer sürükle ve bırak modülleri de Azure Machine Learning tasarımcısında kullanılabilir.

Modüle genel bakış

Bu makalede, eğitilmiş bir modelin doğruluğunu ölçmek için Machine Learning Studio'da (klasik) Modeli Değerlendirme modülünün nasıl kullanılacağı açıklanmaktadır. Modelden oluşturulan puanları içeren bir veri kümesi sağlarsınız ve Modeli Değerlendirme modülü endüstri standardı değerlendirme ölçümleri kümesini hesaplar.

Modeli Değerlendir tarafından döndürülen ölçümler, değerlendirdiğiniz modelin türüne bağlıdır:

• Sınıflandırma Modelleri
• Regresyon Modelleri
• Kümeleme Modelleri

Öneri modelleri için Önerileni Değerlendir modülünü kullanın.

İpucu

Model değerlendirmeyi yeni kullanmaya yeniyseniz, bir model oluşturan ve ardından ilgili ölçümlerin nasıl kullanılacağını açıklayan Azure AI Galerisi'nde bu örnekleri öneririz:

• Regresyon modellerini karşılaştırma
• İkili sınıflandırıcıları karşılaştırma
• Çok sınıflı sınıflandırıcıları karşılaştırma

EdX'ten makine öğrenmesi kursunun bir parçası olarak Dr. Stephen Elston'ın video serisini de öneririz.

Modeli Değerlendir'i kullanma

Modeli Değerlendirme modülünü kullanmanın üç yolu vardır:

• Eğitim verileriniz üzerinde puanlar oluşturun ve modeli bu puanlara göre değerlendirin
• Modelde puanlar oluşturun, ancak bu puanları ayrılmış test kümesindeki puanlarla karşılaştırın
• Aynı veri kümesini kullanarak iki farklı ama ilgili modelin puanlarını karşılaştırma

Eğitim verilerini kullanma

Modeli değerlendirmek için bir dizi giriş sütunu ve puan içeren bir veri kümesini bağlamanız gerekir. Başka veri yoksa özgün veri kümenizi kullanabilirsiniz.

1. Modeli Puanla'nın Puanlanan datset çıkışını ModeliDeğerlendir'in girişine Bağlan.
2. Değerlendirme puanlarını oluşturmak için Modeli Değerlendir modülü'ne tıklayın ve Seçili çalıştır'ı seçin.

Test verilerini kullanma

Makine öğrenmesinde yaygın bir senaryo, bölme modülünü veya Bölümleme ve Örnek modülünü kullanarak özgün veri kümenizi eğitim ve test veri kümelerine ayırmaktır.

1. Modeli Puanla'nın Puanlanan veri kümesi çıkışını ModeliDeğerlendir'in girişine Bağlan.
2. Test verilerini içeren Verileri Bölme modülünün çıkışını Modeli Değerlendir'in sağ girişine Bağlan.
3. Değerlendirme puanlarını oluşturmak için Modeli Değerlendir modülü'ne tıklayın ve Seçili çalıştır'ı seçin.

İki modeldeki puanları karşılaştırma

İkinci bir puan kümesini Modeli Değerlendir'e de bağlayabilirsiniz. Puanlar, bilinen sonuçlar içeren paylaşılan bir değerlendirme kümesi veya aynı veriler için farklı bir modelden alınan bir sonuç kümesi olabilir.

Bu özellik yararlıdır çünkü aynı verilerde iki farklı modelden sonuçları kolayca karşılaştırabilirsiniz. Alternatif olarak, aynı veriler üzerinde yapılan iki farklı çalıştırmanın puanlarını farklı parametrelerle karşılaştırabilirsiniz.

1. Modeli Puanla'nın Puanlanan datset çıkışını ModeliDeğerlendir'in girişine Bağlan.
2. İkinci model için Modeli Puanla modülünün çıkışını Modeli Değerlendir'in sağ girişine Bağlan.
3. Değerlendirme puanlarını oluşturmak için Modeli Değerlendir'e sağ tıklayın ve Seçili çalıştır'ı seçin.

Sonuçlar

Modeli Değerlendir'i çalıştırdıktan sonra modüle sağ tıklayın ve sonuçları görmek için Değerlendirme sonuçları'nı seçin. Seçenekleriniz şunlardır:

• Diğer araçlarla daha kolay analiz için sonuçları veri kümesi olarak kaydetme
• Studio (klasik) arabiriminde görselleştirme oluşturma

Veri kümelerini Modeli Değerlendir'in her iki girişine bağlarsanız sonuçlar her iki veri kümesi veya her iki model için de ölçümler içerir. Sol bağlantı noktasına eklenen model veya veriler, raporda ilk olarak gösterilir ve ardından sağ bağlantı noktasına eklenen veri kümesi veya modelin ölçümleri gösterilir.

Örneğin, aşağıdaki görüntü aynı veriler üzerinde oluşturulmuş ancak farklı parametrelerle oluşturulmuş iki kümeleme modelinin sonuçlarının karşılaştırmasını temsil eder.

Bu bir kümeleme modeli olduğundan değerlendirme sonuçları, iki regresyon modelindeki puanları karşılaştırdığınızdan veya iki sınıflandırma modelini karşılaştırdığınızdan farklıdır. Ancak, genel sunu aynıdır.

Ölçümler

Bu bölümde , Modeli Değerlendir ile kullanılmak üzere desteklenen belirli model türleri için döndürülen ölçümler açıklanmaktadır:

• sınıflandırma modelleri
• regresyon modelleri
• kümeleme modelleri

Sınıflandırma modelleri için ölçümler

Sınıflandırma modelleri değerlendirilirken aşağıdaki ölçümler bildirilir. Modelleri karşılaştırırsanız, bunlar değerlendirme için seçtiğiniz ölçüme göre sıralanır.

• Doğruluk , bir sınıflandırma modelinin iyiliğini, gerçek sonuçların toplam vakalara oranı olarak ölçer.

• Duyarlık , tüm pozitif sonuçlara göre gerçek sonuçların oranıdır.

• Geri çağırma , model tarafından döndürülen tüm doğru sonuçların kesridir.

• F puanı , ideal F puanı değerinin 1 olduğu 0 ile 1 arasındaki duyarlık ve yakalamanın ağırlıklı ortalaması olarak hesaplanır.

• AUC , y ekseninde gerçek pozitifler ve x ekseninde hatalı pozitiflerle çizilen eğrinin altındaki alanı ölçer. Bu ölçüm, farklı türlerdeki modelleri karşılaştırmanıza olanak tanıyan tek bir sayı sağladığından yararlıdır.

• Ortalama günlük kaybı , yanlış sonuçlar için cezayı ifade etmek için kullanılan tek bir puandır. İki olasılık dağılımı arasındaki fark olarak hesaplanır: gerçek dağılım ve modeldeki dağılım.

• Eğitim günlüğü kaybı , sınıflandırıcının rastgele tahmine göre avantajını temsil eden tek bir puandır. Günlük kaybı, çıkış olasılıklarını etiketlerdeki bilinen değerlerle (zemin gerçeği) karşılaştırarak modelinizin belirsizliğini ölçer. Modelin tamamı için günlük kaybını en aza indirmek istiyorsunuz.

Regresyon modelleri için ölçümler

Regresyon modelleri için döndürülen ölçümler genellikle hata miktarını tahmin etmek için tasarlanmıştır. Gözlemlenen ve tahmin edilen değerler arasındaki fark küçükse modelin veri kutusuna uygun olduğu kabul edilir. Ancak artıkların desenine (tahmin edilen herhangi bir nokta ile karşılık gelen gerçek değer arasındaki fark) bakmak, modeldeki olası sapmalar hakkında size çok şey söyleyebilir.

Regresyon modellerini değerlendirmek için aşağıdaki ölçümler bildirilir. Modelleri karşılaştırdığınızda, bunlar değerlendirme için seçtiğiniz ölçüme göre sıralanır.

• Negatif günlük olasılığı kayıp işlevini ölçer, daha düşük bir puan daha iyidir. Bu ölçümün yalnızca Bayes Doğrusal Regresyonu ve Karar Ormanı Regresyonu için hesaplandığını unutmayın; diğer algoritmalar için değer hiçbir Infinity şey ifade etmez.

• Ortalama mutlak hata (MAE), tahminlerin gerçek sonuçlara ne kadar yakın olduğunu ölçer; bu nedenle daha düşük bir puan daha iyidir.

• Kök ortalama hata karesi (RMSE), modeldeki hatayı özetleyen tek bir değer oluşturur. Ölçüm, farkın karesini alarak fazla tahmin ile düşük tahmin arasındaki farkı göz ardı eder.

• Göreli mutlak hata (RAE), beklenen ve gerçek değerler arasındaki göreli mutlak farktır; görelidir çünkü ortalama farkı aritmetik ortalamaya bölünür.

• Göreli kare hatası (RSE), tahmin edilen değerlerin toplam kare hatasını, gerçek değerlerin toplam kare hatasına bölerek normalleştirir.

• Ortalama Sıfır Bir Hata (MZOE), tahminin doğru olup olmadığını gösterir. Başka bir deyişle: ZeroOneLoss(x,y) = 1 when x!=y; değilse 0.

• Genellikle R² olarak adlandırılan belirleme katsayısı, modelin tahmin gücünü 0 ile 1 arasında bir değer olarak temsil eder. Sıfır, modelin rastgele olduğu anlamına gelir (hiçbir şeyi açıklamaz); 1, mükemmel bir uyum olduğu anlamına gelir. Ancak, düşük değerler tamamen normal olabileceğinden ve yüksek değerler şüpheli olabileceğinden R² değerlerinin yorumlanmasında dikkatli olunmalıdır.

Kümeleme modelleri için ölçümler

Kümeleme modelleri sınıflandırma ve regresyon modellerinden birçok açıdan önemli ölçüde farklı olduğundan, Modeli Değerlendir ayrıca kümeleme modelleri için farklı bir istatistik kümesi döndürür.

Kümeleme modeli için döndürülen istatistikler, her kümeye kaç veri noktası atandığını, kümeler arasındaki ayrım miktarını ve veri noktalarının her küme içinde ne kadar sıkı bir şekilde toplandığını açıklar.

Kümeleme modelinin istatistikleri, küme başına istatistikleri içeren ek satırlarla tüm veri kümesinin ortalamasını alır.

Örneğin, aşağıdaki sonuçlar, Machine Learning Studio'da (klasik) bulunan PIMA Indian Diabetes Binary Classification veri kümesindeki verileri kümeleyen örnek bir denemeden elde edilen sonuçların bir bölümünü gösterir.

Sonuç açıklaması	Küme Merkezi'ne Ortalama Uzaklık	Diğer Merkeze Ortalama Uzaklık	Nokta Sayısı	Küme Merkezi'ne en büyük uzaklık
Birleşik Değerlendirme	55.915068	169.897505	538	303.545166
Küme No.0 için Değerlendirme	0	1	570	0
Küme No.1 için Değerlendirme	0	1	178	0
Küme No.2 için Değerlendirme	0	1	178	0

Bu sonuçlardan aşağıdaki bilgileri alırsınız:

• Süpürme Kümeleme modülü, doğruluk sırasına göre listelenen birden çok kümeleme modeli oluşturur. Kolaylık olması için burada yalnızca en iyi dereceli modeli gösterdik. Modeller tüm olası ölçümler kullanılarak ölçülür, ancak modeller belirttiğiniz ölçüm kullanılarak derecelenir. Ölçümü değiştirdiyseniz farklı bir model daha yüksek dereceye sahip olabilir.

• Sonuçların her bölümünün en üstündeki Birleşik Değerlendirme puanı, söz konusu modelde oluşturulan kümeler için ortalama puan sayısını listeler.

  Bu en üst sırada yer alan model üç küme oluşturdu; diğer modeller iki küme veya dört küme oluşturabilir. Bu nedenle, bu birleşik değerlendirme puanı farklı sayıda kümeye sahip modelleri karşılaştırmanıza yardımcı olur.

• Küme Merkezine Ortalama Uzaklık sütunundaki puanlar, kümedeki tüm noktaların bu kümenin merkezine yakınlığını gösterir.

• Diğer Merkeze Ortalama Uzaklık sütunundaki puanlar, kümedeki her noktanın diğer tüm kümelerin centroid'larına ne kadar yakın olduğunu gösterir.

  Bu uzaklığı ölçmek için dört ölçümden birini seçebilirsiniz, ancak tüm ölçümlerin aynı ölçümü kullanması gerekir.

• Nokta Sayısı sütunu, her kümeye kaç veri noktası atandığını ve herhangi bir kümedeki toplam veri noktası sayısını gösterir.

  Kümelere atanan veri noktası sayısı kullanılabilir toplam veri noktası sayısından azsa, bu veri noktalarının kümeye atanamadığı anlamına gelir.

• Küme Merkezi'ne Olan En Büyük Uzaklık sütunundaki puanlar, her nokta ile o noktanın kümesinin merkezi arasındaki uzaklıkların toplamını temsil eder.

  Bu sayı yüksekse, kümenin yaygın olarak dağıldığı anlamına gelebilir. Kümenin yayılmasını belirlemek için bu istatistiği Küme Merkezi'ne Ortalama Uzaklık ile birlikte gözden geçirmelisiniz.

Örnekler

Değerlendirme ölçümlerini oluşturma, görselleştirme ve yorumlama örnekleri için Azure AI Galerisi'ndeki bu örnek denemelere bakın. Bu denemeler, en iyi modeli belirlemek için birden çok model oluşturmayı ve Modeli Değerlendirmeyi kullanmayı gösterir.

• İkili Sınıflandırıcıları Karşılaştırma: Aynı veriler kullanılarak oluşturulan farklı sınıflandırıcıların performansının nasıl karşılaştırıldığını açıklar.

• Çok Sınıflı Sınıflandırıcıları Karşılaştırma: Harf tanıma veri kümesinde oluşturulan farklı sınıflandırma modellerinin doğruluğunun nasıl karşılaştırıldığını gösterir.

• Regresörleri Karşılaştırma: Farklı regresyon modellerini değerlendirme işleminde size yol gösterir.

• Talep tahmini: Birden çok modele ait değerlendirme ölçümlerini birleştirmeyi öğrenin.

• Müşteri ilişkisi tahmini: Birden çok ilgili modelin nasıl değerlendirileceklerini gösterir.

Beklenen girişler

Ad	Tür	Description
Puanlanan veri kümesi	Veri Tablosu	Puanlanan veri kümesi
Karşılaştıracak puanlanmış veri kümesi	Veri Tablosu	Karşılaştırılan puanlanmış veri kümesi (isteğe bağlı)

Çıkışlar

Ad	Tür	Description
Değerlendirme sonuçları	Veri Tablosu	Veri değerlendirme sonucu

Özel durumlar

Özel durum	Description
Hata 0003	Bir veya daha fazla giriş null veya boşsa özel durum oluşur.
Hata 0013	Modül öğrenciye geçirilen türü geçersizse özel durum oluşur.
Hata 0020	Modüle geçirilen bazı veri kümelerindeki sütun sayısı çok küçükse özel durum oluşur.
Hata 0021	Modüle geçirilen bazı veri kümelerindeki satır sayısı çok küçükse özel durum oluşur.
Hata 0024	Veri kümesi etiket sütunu içermiyorsa özel durum oluşur.
Hata 0025	Veri kümesi puan sütunu içermiyorsa özel durum oluşur.

Ayrıca bkz.

Modeli Çapraz Doğrulama
Önereni Değerlendirme
Değerlendirme
Puanlama Modeli