Not
Bu sayfaya erişim yetkilendirme gerektiriyor. Oturum açmayı veya dizinleri değiştirmeyi deneyebilirsiniz.
Bu sayfaya erişim yetkilendirme gerektiriyor. Dizinleri değiştirmeyi deneyebilirsiniz.
ŞUNLAR IÇIN GEÇERLIDIR:
Machine Learning Studio (klasik) 
Azure Machine Learning
Önemli
Machine Learning Stüdyosu (klasik) desteği 31 Ağustos 2024'te sona erecektir. Bu tarihe kadar Azure Machine Learning'e geçmenizi öneririz.
1 Aralık 2021'den başlayarak artık yeni Machine Learning Stüdyosu (klasik) kaynakları oluşturamayacaksınız. 31 Ağustos 2024'e kadar mevcut Machine Learning Stüdyosu (klasik) kaynaklarını kullanmaya devam edebilirsiniz.
- Makine öğrenmesi projelerini ML Studio'dan (klasik) Azure Machine Learning'e taşıma hakkındaki bilgilere bakın.
- Azure Machine Learning hakkında daha fazla bilgi edinin
ML Stüdyosu (klasik) belgeleri kullanımdan kaldırılacak ve gelecekte güncelleştirilmeyecektir.
Bu makalede, Machine Learning Studio'da (klasik) model performansını izlemek için kullanabileceğiniz ölçümler hakkında bilgi edinebilirsiniz. Modelin performansını değerlendirmek, veri bilimi sürecinin temel aşamalarından biridir. Bir veri kümesinin puanlama (tahminler) işleminin eğitilmiş bir model tarafından ne kadar başarılı olduğunu gösterir. Machine Learning Studio (klasik), iki ana makine öğrenmesi modülü aracılığıyla model değerlendirmesini destekler:
Bu modüller, modelinizin makine öğrenmesinde ve istatistiklerde yaygın olarak kullanılan bir dizi ölçüm açısından nasıl performans sergilediğini görmenizi sağlar.
Modellerin değerlendirilmesi şu değerlerle birlikte dikkate alınmalıdır:
Üç yaygın denetimli öğrenme senaryosu sunulur:
- gerileme
- ikili sınıflandırma
- çok sınıflı sınıflandırma
Değerlendirme ve Çapraz Doğrulama karşılaştırması
Değerlendirme ve çapraz doğrulama, modelinizin performansını ölçmenin standart yollarıdır. Her ikisi de diğer modellerinkilerle inceleyebileceğiniz veya karşılaştırabileceğiniz değerlendirme ölçümleri oluşturur.
Değerlendirme Modeli , puanlanmış bir veri kümesini giriş olarak bekler (iki farklı modelin performansını karşılaştırmak isterseniz iki veri kümesi). Bu nedenle, sonuçları değerlendirebilmek için önce Modeli Eğit modülünü kullanarak modelinizi eğitmeniz ve Modeli Puanla modülünü kullanarak bazı veri kümelerinde tahminler yapmanız gerekir. Değerlendirme, puanlanan etiketler/olasılıklar ve tümü Puanla Modeli modülü tarafından çıkış yapılan gerçek etiketler ile birlikte gerçekleştirilir.
Alternatif olarak, giriş verilerinin farklı alt kümelerinde otomatik olarak bir dizi eğit-puanla-değerlendir işlemi (10 katman) gerçekleştirmek için çapraz doğrulamayı kullanabilirsiniz. Giriş verileri 10 bölüme ayrılır ve bunlardan biri test için, diğeri ise eğitim için ayrılmıştır. Bu işlem 10 kez tekrarlanır ve değerlendirme ölçümleri ortalaması alınır. Bu, modelin yeni veri kümelerine ne kadar iyi genelleştireceğini belirlemeye yardımcı olur. Çapraz Doğrulama Modeli modülü, eğitilmemiş bir modeli ve etiketli bir veri kümesini alır ve 10 katın her birinin değerlendirme sonuçları ile ortalama sonuçları çıkarır.
Aşağıdaki bölümlerde, hem Modeli Değerlendir hem de Modeli Çapraz Doğrulama modüllerini kullanarak basit regresyon ve sınıflandırma modelleri oluşturacak ve performanslarını değerlendireceğiz.
Regresyon Modelini Değerlendirme
Boyutlar, beygir gücü, motor özellikleri vb. özellikleri kullanarak bir arabanın fiyatını tahmin etmek istediğimizi varsayalım. Bu, hedef değişkenin (fiyat) sürekli bir sayısal değer olduğu tipik bir regresyon sorunudur. Belirli bir otomobilin özellik değerleri göz önüne alındığında bu arabanın fiyatını tahmin eden doğrusal bir regresyon modeli sığdırabiliriz. Bu regresyon modeli, eğitilen veri kümesinin aynısını puanlamada kullanılabilir. Tahmin edilen araba fiyatlarına sahip olduktan sonra tahminlerin ortalama olarak gerçek fiyatlardan ne kadar sapma gösterdiğine bakarak model performansını değerlendirebiliriz. Bunu göstermek için Machine Learning Studio'daki (klasik) Kayıtlı Veri Kümeleri bölümünde bulunan Automobile price data (Raw) veri kümesini kullanırız.
Denemeyi Oluşturma
Machine Learning Studio'daki çalışma alanınıza aşağıdaki modülleri ekleyin (klasik):
- Otomobil fiyat verileri (Ham)
- Doğrusal Regresyon
- Modeli Eğit
- Puan Modeli
- Modeli Değerlendir
Şekil 1'de aşağıda gösterildiği gibi bağlantı noktalarını bağlayın ve Modeli Eğit modülünün Etiket sütununu fiyat olarak ayarlayın.
Şekil 1. Regresyon Modelini Değerlendirme.
Değerlendirme Sonuçlarını İnceleme
Denemeyi çalıştırdıktan sonra Modeli Değerlendir modülünün çıkış bağlantı noktasına tıklayabilir ve değerlendirme sonuçlarını görmek için Görselleştir'i seçebilirsiniz. Regresyon modellerinde kullanılabilen değerlendirme ölçümleri şunlardır: Ortalama Mutlak Hata, Kök Ortalama Mutlak Hata, Göreli Mutlak Hata, Göreli KareLi Hata ve Belirleme Katsayısı.
Buradaki "error" terimi, tahmin edilen değerle gerçek değer arasındaki farkı temsil eder. Tahmin edilen ve doğru değer arasındaki fark bazı durumlarda negatif olabileceğinden, bu farkın mutlak değeri veya karesi genellikle tüm örneklerde hatanın toplam büyüklüğünü yakalamak için hesaplanır. Hata ölçümleri, bir regresyon modelinin tahmine dayalı performansını, tahminlerinin gerçek değerlerden ortalama sapması açısından ölçer. Düşük hata değerleri, modelin tahminlerde daha doğru olduğu anlamına gelir. Toplam hata ölçümü sıfır, modelin verilere mükemmel bir şekilde uyduğunu gösterir.
R karesi olarak da bilinen belirleme katsayısı, modelin verilere ne kadar uygun olduğunu ölçmenin standart bir yoludur. Model tarafından açıklanan varyasyon oranı olarak yorumlanabilir. 1'in mükemmel uyumu gösterdiği bu durumda daha yüksek bir oran daha iyidir.
Şekil 2. Doğrusal Regresyon Değerlendirme Ölçümleri.
Çapraz Doğrulamayı Kullanma
Daha önce belirtildiği gibi, Çapraz Doğrulama Modeli modülünü kullanarak yinelenen eğitim, puanlama ve değerlendirme işlemlerini otomatik olarak gerçekleştirebilirsiniz. Bu durumda ihtiyacınız olan tek şey bir veri kümesi, eğitilmemiş bir model ve Modeli Çapraz Doğrulama modülüdür (aşağıdaki şekile bakın). Model Çapraz Doğrulama modülünün özelliklerinde etiket sütununu fiyat olarak ayarlamanız gerekir.
Şekil 3. Regresyon Modeli Çapraz Doğrulama.
Denemeyi çalıştırdıktan sonra, Modeli Çapraz Doğrulama modülünün sağ çıkış bağlantı noktasına tıklayarak değerlendirme sonuçlarını inceleyebilirsiniz. Bu, her yineleme için ölçümlerin (katlama) ve ölçümlerin ortalama sonuçlarının ayrıntılı bir görünümünü sağlar (Şekil 4).
Şekil 4. Regresyon Modelinin Çapraz Doğrulama Sonuçları.
İkili Sınıflandırma Modelini Değerlendirme
İkili sınıflandırma senaryosunda hedef değişkenin yalnızca iki olası sonucu vardır, örneğin: {0, 1} veya {false, true}, {negatif, pozitif}. Bazı demografik ve istihdam değişkenlerine sahip yetişkin çalışanlardan oluşan bir veri kümesine sahip olduğunuzu ve gelir düzeyini tahmin etmeniz istendiğini ve {"=50 K", "<50 K">} değerlerine sahip bir ikili değişken olduğunu varsayalım. Başka bir deyişle, negatif sınıf yılda 50 K'den küçük veya buna eşit olan çalışanları temsil eder ve pozitif sınıf diğer tüm çalışanları temsil eder. Regresyon senaryosunda olduğu gibi bir modeli eğitip bazı verileri puanlar ve sonuçları değerlendiririz. Buradaki temel fark, Machine Learning Studio (klasik) işlem ve çıkış ölçümlerinin seçimidir. Gelir düzeyi tahmin senaryolarını göstermek için Yetişkin veri kümesini kullanarak bir Studio (klasik) denemesi oluşturacak ve yaygın olarak kullanılan ikili sınıflandırıcı olan iki sınıflı lojistik regresyon modelinin performansını değerlendireceğiz.
Denemeyi Oluşturma
Machine Learning Studio'daki çalışma alanınıza aşağıdaki modülleri ekleyin (klasik):
- Yetişkin Nüfus Sayımı Gelir İkili Sınıflandırma veri kümesi
- İki Sınıflı Lojistik Regresyon
- Model Eğitimi
- Puan Modeli
- Modeli Değerlendir
Şekil 5'te gösterildiği gibi bağlantı noktalarını bağlayın ve Modeli Eğit modülünün Etiket sütununu gelir olarak ayarlayın.
Şekil 5. İkili Sınıflandırma Modelini Değerlendirme.
Değerlendirme Sonuçlarını İnceleme
Denemeyi çalıştırdıktan sonra Modeli Değerlendir modülünün çıkış bağlantı noktasına tıklayabilir ve değerlendirme sonuçlarını görmek için Görselleştir'i seçebilirsiniz (Şekil 7). İkili sınıflandırma modellerinde kullanılabilen değerlendirme ölçümleri şunlardır: Doğruluk, Duyarlık, Geri Çekme, F1 Puanı ve AUC. Buna ek olarak modülde gerçek pozitiflerin, hatalı negatiflerin, hatalı pozitiflerin ve gerçek negatiflerin yanı sıra ROC, Duyarlık/Geri Çekme ve Lift eğrilerinin sayısını gösteren bir karışıklık matrisi çıkışı sağlanır.
Doğruluk, doğru sınıflandırılmış örneklerin oranıdır. Bu genellikle sınıflandırıcıyı değerlendirirken baktığınız ilk ölçümdür. Ancak test verileri dengesiz olduğunda (örneklerin çoğu sınıflardan birine ait olduğunda) veya sınıflardan birinin performansıyla daha çok ilgilendiğinizde doğruluk, sınıflandırıcının etkinliğini yakalamaz. Gelir düzeyi sınıflandırma senaryosunda, örneklerin %99'unun yılda 50.000'den az veya daha az kazanan kişileri temsil ettiği bazı verileri test ettiğinizi varsayalım. Tüm örnekler için "<=50K" sınıfını tahmin ederek 0,99 doğruluk elde etmek mümkündür. Bu durumda sınıflandırıcı genel olarak iyi bir iş yapıyor gibi görünüyor, ancak gerçekte yüksek gelirli bireylerden (%1) herhangi birini doğru bir şekilde sınıflandıramıyor.
Bu nedenle, değerlendirmenin daha belirli yönlerini yakalayan ek ölçümleri hesaplamak yararlı olur. Bu tür ölçümlerin ayrıntılarına girmeden önce, ikili sınıflandırma değerlendirmesinin karışıklık matrisini anlamak önemlidir. Eğitim kümesindeki sınıf etiketleri, genellikle pozitif veya negatif olarak adlandırdığımız yalnızca iki olası değeri alabilir. Sınıflandırıcının doğru tahminde bulunan pozitif ve negatif örneklere sırasıyla doğru pozitif (TP) ve gerçek negatifler (TN) denir. Benzer şekilde, yanlış sınıflandırılmış örneklere hatalı pozitifler (FP) ve hatalı negatifler (FN) denir. Karışıklık matrisi, bu dört kategorinin her birinin altında yer alan örnek sayısını gösteren bir tablodur. Machine Learning Studio (klasik), veri kümesindeki iki sınıftan hangisinin pozitif sınıf olduğuna otomatik olarak karar verir. Sınıf etiketleri Boole veya tamsayı ise, 'true' veya '1' etiketli örneklere pozitif sınıf atanır. Etiketler gelir veri kümesindeki gibi dizelerse etiketler alfabetik olarak sıralanır ve ilk düzey negatif sınıf, ikinci düzey ise pozitif sınıf olarak seçilir.
Şekil 6. İkili Sınıflandırma Karışıklık Matrisi.
Gelir sınıflandırması sorununa geri dönüp, kullanılan sınıflandırıcının performansını anlamamıza yardımcı olacak birkaç değerlendirme sorusu sormak istiyoruz. Doğal bir soru şudur: 'Modelin 50 K (TP+FP) kazandığını >tahmin ettiği kişilerden kaçı doğru sınıflandırıldı (TP)?' Bu soru, doğru sınıflandırılan pozitiflerin oranı olan modelin Duyarlığı'na bakarak yanıtlanabilir: TP/(TP+FP). Sık sorulan bir diğer soru da "Geliri 50k (TP+FN) olan >tüm yüksek kazançlı çalışanlar arasında, sınıflandırıcının kaç tane doğru sınıflandırdığı (TP)" sorusudur. Bu aslında, sınıflandırıcının Geri Çağırma, ya da gerçek pozitif oranı: TP/(TP+FN)'dir. Duyarlık ve yakalama arasında belirgin bir denge olduğunu fark edebilirsiniz. Örneğin, göreli olarak dengeli bir veri kümesi verildiğinde, çoğunlukla pozitif örnekleri tahmin eden bir sınıflandırıcı yüksek bir duyarlılığa sahip olabilir, ancak negatif örneklerin çoğunun yanlış sınıflandırılması nedeniyle oldukça düşük bir kesinlik ve çok sayıda hatalı pozitif (hatalı pozitifler) oluşur. Bu iki ölçümün nasıl değiştiğini gösteren bir çizim görmek için değerlendirme sonucu çıktı sayfasındaki KESİNLİK/Geri Çağırma eğrisine tıklayabilirsiniz (Şekil 7'nin sol üst kısmı).
Şekil 7. İkili Sınıflandırma Değerlendirme Sonuçları.
Sık kullanılan bir diğer ilgili ölçüm, hem duyarlılığı hem de gerçekliliği dikkate alan F1 Puanıdır. Bu iki ölçümün harmonik ortalamasıdır ve şöyle hesaplanır: F1 = 2 (duyarlık x yakalama) / (duyarlık + yakalama). F1 puanı, değerlendirmeyi tek bir sayıyla özetlemenin iyi bir yoludur, ancak sınıflandırıcının nasıl davrandığını daha iyi anlamak için hem duyarlılık hem de geri çağırmaya birlikte bakmak her zaman iyi bir alışkanlıktır.
Buna ek olarak, alıcı çalışma karakteristiği (ROC) eğrisindeki hatalı pozitif oranın yanı sıra doğru pozitif oranı ve EğriNin Altındaki Alan (AUC) değerini inceleyebilirsiniz. Bu eğri sol üst köşeye ne kadar yakın olursa sınıflandırıcının performansı o kadar iyi olur (bu, gerçek pozitif oranı en üst düzeye çıkarırken hatalı pozitif oranı en aza indirir). Çizimin köşegenine yakın olan eğriler, rastgele tahmine yakın tahminler yapma eğiliminde olan sınıflandırıcılardan elde edilir.
Çapraz Doğrulamayı Kullanma
Regresyon örneğinde olduğu gibi, verilerin farklı alt kümelerini otomatik olarak sürekli eğitmek, puanlamak ve değerlendirmek için çapraz doğrulama gerçekleştirebiliriz. Benzer şekilde, Modeli Çapraz Doğrulama modülünü, eğitilmemiş lojistik regresyon modelini ve bir veri kümesini kullanabiliriz. Etiket sütunu, gelir olarak Çapraz Doğrula Modeli modülünün özelliklerinde ayarlanmalıdır. Denemeyi çalıştırdıktan ve Çapraz Doğrulama Modeli modülünün sağ çıkış bağlantı noktasına tıkladıktan sonra, her katlama için ikili sınıflandırma ölçüm değerlerini ve bunların ortalama ve standart sapması değerlerini görebiliriz.
Şekil 8. İkili Sınıflandırma Modeli Çapraz Doğrulama.
Şekil 9. İkili Sınıflandırıcının Çapraz Doğrulama Sonuçları.
Çok Sınıflı Sınıflandırma Modelini Değerlendirme
Bu deneyde, üç farklı iris bitkisi türünün (sınıflarının) örneklerini içeren popüler
Denemeyi Oluşturma
Machine Learning Studio'daki çalışma alanınıza aşağıdaki modülleri ekleyin (klasik):
- Verileri İçeri Aktar
- Çok Sınıflı Karar Ormanı
- Verileri Bölme
- Model Eğit
- Puanlama Modeli
- Modeli Değerlendir
Şekil 10'da aşağıda gösterildiği gibi bağlantı noktalarını bağlayın.
Train Model modülünün Etiket sütunu dizinini 5 olarak ayarlayın. Veri kümesinin üst bilgi satırı yoktur, ancak sınıf etiketlerinin beşinci sütunda olduğunu biliyoruz.
Veri İçeri Aktar modülüne tıklayın ve Veri kaynağı özelliğini HTTP aracılığıyla Web URL'si olarak, URL'yi ise http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data olarak ayarlayın.
Verileri Bölme modülünde eğitim için kullanılacak örneklerin kesirini ayarlayın (örneğin 0,7).
Şekil 10. Çok Sınıflı Sınıflandırıcıyı Değerlendirme
Değerlendirme Sonuçlarını İnceleme
Denemeyi çalıştırın ve Modeli Değerlendir'in çıkış bağlantı noktasına tıklayın. Değerlendirme sonuçları, bu durumda karışıklık matrisi biçiminde sunulur. Matris, üç sınıfın da gerçek ve tahmin edilen örneklerini gösterir.
Şekil 11. Çok Sınıflı Sınıflandırma Değerlendirme Sonuçları.
Çapraz Doğrulamayı Kullanma
Daha önce belirtildiği gibi, Çapraz Doğrulama Modeli modülünü kullanarak yinelenen eğitim, puanlama ve değerlendirme işlemlerini otomatik olarak gerçekleştirebilirsiniz. Bir veri kümesine, eğitilmemiş modele ve Modeli Çapraz Doğrulama modülüne ihtiyacınız olacaktır (aşağıdaki şekile bakın). Yine Model Çapraz Doğrulama modülünün etiket sütununu ayarlamanız gerekir (bu örnekte sütun dizini 5). Denemeyi çalıştırdıktan ve Çapraz Doğrulama Modeli'nin doğru çıkış bağlantı noktasına tıkladıktan sonra, her katlama için ölçüm değerlerinin yanı sıra ortalama ve standart sapması inceleyebilirsiniz. Burada görüntülenen ölçümler, ikili sınıflandırma örneğinde açıklanan ölçümlere benzer. Ancak, çok sınıflı sınıflandırmada, genel pozitif veya negatif sınıf olmadığından, gerçek pozitiflerin/negatiflerin ve hatalı pozitiflerin/negatiflerin hesapılması sınıf başına temel alınarak gerçekleştirilir. Örneğin, 'Iris-setosa' sınıfının duyarlığı veya geri çağırması hesaplanırken, bunun pozitif sınıf olduğu ve diğerlerinin negatif olduğu varsayılır.
Şekil 12. Çok Sınıflı Sınıflandırma Modelini Çapraz Doğrulama.
Şekil 13. Çok Sınıflı Sınıflandırma Modelinin Çapraz Doğrulama Sonuçları.