Aracılığıyla paylaş

  • Makale

çapraz doğrulama Rapor (Analysis Services - veri madenciliği)

araştırma yapısı cross-sections ve yinelenen bölüm çapraz doğrulama sağlar eğitmek ve verilerin her bir Kesitin karşı modelleri sınayın.You specify several partitions to divide the data into, and each partition is used in turn as the test data, while the remaining data is used to train a new model.Analysis Services then generates a set of standard accuracy metrics for each model.Her bir Kesitin için oluşturulan modelleri için ölçümleri karşılaştırarak, araştırma modeli için tüm verileri nasıl güvenilir olduğu için iyi bir fikir edinebilirsiniz küme.

Not

çapraz doğrulama KEY saat veya ANAHTAR SEQUENCE bir sütun içeren herhangi bir model ile kullanılamaz.

Bu bölümde, sunulan bilgiler açıklanmaktadır çapraz doğrulama rapora,Madenciliği doğruluğu grafik veri madenciliği Tasarımcısı sekmesi.Rapor oluşturma hakkında daha fazla bilgi için bkz: çapraz doğrulama Sekmesini (madenciliği doğruluğu Grafiği görünümü).

çapraz doğrulama Raporu oluşturma

Madenciliği modelleri bir araştırma yapısı ile ilişkili çapraz doğrulamak için , kullanmadan Karşılıklı doğrulama sekmesini mining doğruluğu görünümünün veri madenciliği Tasarımcısı veya çapraz doğrulama saklı yordamlar, aşağıdaki seçenekleri yapılandırmak için:

  • Folds sayısını belirtin.

  • Durumlarda çapraz doğrulama için kullanılacak maksimum sayısını belirtin.Bu numara, folds sayısına bölünür.

  • Öngörülebilir sütun belirtin.Isteğe bağlı olarak tahmin edilebilir bir durum belirtin.

Not

Küme modelleri madenciliği yapınız varsa belirtin. # Küme tahmin edilebilir sütun seçmek yerine.Rapor modelleri kümeleme için yalnızca bir sonuçlar döndürür.

  • Isteğe bağlı olarak, küme nasıl öngörü doğruluğunu da kısmını kontrol parametreleri.

Bir siteler arası doğrulama veri seçme küme

Kullandığınızda Doğrulama arası sekmesiMadenciliği doğruluğu grafik görünümü, tutar ve çapraz doğrulama sırasında kullanılan veri türünü denetlemek için iki yol vardır: servis talebi sayısını sınırlayabilir ve folds sayısını belirtebilirsiniz. Varsayılan olarak, çapraz doğrulama Business Intelligence Development Studio Eğitim durumlarda, her model için kullanır. Bir süzgeç modeli ile ilişkilendirilmişse, filtre uygulanır.

The Fold Count value specifies the number of cross-sections of the data küme to create.Sınama verisi olarak kullanılan her kat küme, ve kalan folds verileri yeni bir modeli geliştirmek için kullanılır.Bu nedenle, en düşük değer 2'nı kullandıysanız, yarı veri kümesi için sınama ve eğitim diğer yarısı kullanılacaktır.

araştırma yapısı içinde depolanmış, bir örnek, Analysis Services, bir geçici veya oturum yapısı olarak oluşturulur ancak kullanabileceğiniz folds sayısı 10'dur. araştırma yapısı içinde depolanıyorsa, bir örnek, Analysis Services, servis taleplerini sayısından daha fazla folds oluşturamıyor. Servis talebi sayısı sayıdan daha az ise, küme Katlamalı sayısı'için küçük numara kullanılır.

Not

Folds sayısı arttıkça, model oluşturulan olmalı ve her kat için sınanmış çünkü buna göre çapraz doğrulama gerçekleştirmek için gereken zamanı artırır.Folds sayısı çok yüksek olduğunda performans sorunları yaşayabilirsiniz.

The Max Cases value specifies the total number of cases, across all folds, that can be used for çapraz doğrulama.Bu nedenle, belirli bir kat durumlarda sayısı eşittir En fazla servis talepleri bölünmüş değeriCount doğru katlayın. değeri.Varsayılan değer tüm durumda bulunan, yani 0 ' dır ve araştırma yapısı kullanılır.

Saklı yordamlardan birini kullanarak çapraz doğrulama gerçekleştirirseniz, değerlerini sağlamanız FoldCount ve MaxCases saklı yordam için parametre olarak özellikleri.

Not

Geçici doğrulama saklı yordamlar kullanırsanız, aynı zamanda yapabilecekleriniz küme verileri küme verileri tanımlamak için parametre küme sınamak için kullanılan.Veri seçeneklerini küme eğitim dahil küme yalnızca, sınama ve eğitim küme, eğitim ve test kombinasyonlarını küme madenciliği modeli filtrelerle.Daha fazla bilgi için bkz: SystemGetCrossValidationResults (Analysis Services - veri madenciliği).

Validate modeller ve sütun seçme

Kullandığınızda Doğrulama arası sekmesini veri madenciliği Tasarımcısı'nda önce listeden tahmin edilebilir sütun seçmelisiniz.Genellikle, araştırma yapısı değil tümü aynı kullanan birçok madenciliği modelleri destekleyen tahmin edilebilir sütun.Çapraz doğrulama, yalnızca sahibin meşru olarak aynı modelleri çalıştırdığınızda tahmin edilebilir sütun rapora dahil edilebilir.

Öngörülebilir bir öznitelik seçmek için tıklatın... Hedef öznitelik ve listedeki sütun seçin.Hedef öznitelik iç içe geçmiş bir sütun veya iç içe geçmiş bir tablo bir sütunda, aşağıdaki biçimi kullanarak iç içe geçmiş bir sütunun adını yazmalısınız. <Iç içe geçmiş tablo adı>(anahtar). <Iç içe geçmiş bir sütun>. Iç içe geçmiş tablo kullanılan tek bir sütun anahtar sütunu, kullanabileceğiniz <Iç içe geçmiş tablo adı>(anahtar).

NOT   Saklı yordamlar kullanırsanız, sınanır modeller üzerinde daha fazla denetim hakkına.Daha fazla bilgi için bkz: SystemGetCrossValidationResults (Analysis Services - veri madenciliği).

Sonra öngörülebilir öznitelik seçin. Analysis Services otomatik olarak aynı öngörülebilir özniteliği kullanan tüm modeller sınar.

Hedef öznitelik seçtiğiniz sonra ayrı değerler içeriyorsa tahmin edilebilir sütun tahmin etmek istediğiniz belirli bir değer varsa, isteğe bağlı olarak, bir hedef durumu yazabilirsiniz.

Hedef durumu seçimi, döndürülen ölçülerin etkileyecektir.Bir hedef özniteliği belirtirseniz, — diğer bir deyişle, bir sütun adı — ve model, varsayılan olarak en olası durum, tahmin modeli değerlendirilecek tahmin etmek istediğiniz belirli bir değer seçin.

Geçici-bir küme modeli doğrulanırken, öngörülebilir hiçbir sütun vardır; bunun yerine, seçtiğiniz # Küme öngörülebilir öznitelikleri listesindenHedef öznitelik liste kutusu.After you have selected Cluster, other options that are not relevant to clustering models, such as Target State, are disabled.Analysis Services will test all clustering models that are associated with the mining structure.

Doğruluğu eşik ayarlama

Standart bir değeri ayarlayarak tahmin doğruluk ölçmek için denetleyebilirsiniz. Hedef eşiği.Eşik doğruluk çubuğu bir tür temsil eder.Her tahmin, olasılık öngörülen değer doğru olduğunu atanır.Bu nedenle, siz küme Hedef eşiği yakın değeri 1 olarak siz, gerektiren olasılığı oldukça iyi bir tahmini sayılması için yüksek olarak belirli bir tahmin için.Bunun tersine, size küme Hedef eşiği daha düşük bir olasılık değerleriyle, 0, hatta Öngörüler için gibi "iyi" Öngörüler sayılan.

Verilerinizi ve türünü tahmin yapmakta olan herhangi bir tahmin olasılığını bağlı olduğundan önerilen eşik değer yoktur.Verileriniz için bir uygun doğruluk çubuğu belirlemek için farklı bir olasılık düzeylerde bazı Öngörüler gözden geçirmelidir.Bu adım önemlidir çünkü değeri, küme için Hedef eşiği modeli ölçülmüş doğruluğunu daha güçlü bir etkisi vardır.

Örneğin, üç değerler 0, 05, 0,15 ve 0.8 hedef durumuyla tahmin modellerini yapınızı içeren varsayalım.Varsa, küme eşik 0,5, yalnızca bir tahmin için doğru olarak sayılır.Varsa küme Hedef eşiği 0,10, iki Öngörüler için sayılan doğru olacak şekilde.

Ne zaman Hedef eşiği is küme to null, varsayılan değer olan, en olası durum, hedef olarak kullanılır. Örnekte, yalnızca bildirilmiş tüm üç model doğru Öngörüler gerekir.Bu nedenle, modelleri Karşılaştır, her çapraz doğrulama için kullanılan eşik düşünmelisiniz.Ayrıca, her zaman belirli bir modeli için bir ortalama değerler çapraz doğrulama rapora sağlanan ölçülerin olasılığını ortalama ve ortalama kare kökü hata kullanarak değerlendirebilirsiniz.

çapraz doğrulama Sekmesini kullanarak zaman sınırlamaları

Çapraz doğrulama rapora kullanarak geçici doğrulama yapıyorsanız Business Intelligence Development Studio, sınayabilirsiniz modeller ve yapabilecekleriniz parametreleri bazı kısıtlamalar bulunmaktadır küme.

  • Varsayılan olarak, seçilen araştırma yapısı ilgili tüm geçici geçerliliği modelleridir.Modeli veya modelleri listesini belirtemez.

  • çapraz doğrulama Microsoft saat Series algoritması veya sıra Microsoft kümeleme algoritması temel modeller için desteklenmiyor.

  • Çapraz doğrulama tarafından sınanmış tüm modeller madenciliği yapınızı içermiyorsa, raporu oluşturulamıyor.

  • Küme hem olmayan Küme modelleri araştırma yapısı içerir ve yok seçtiğiniz # Küme seçeneği, her iki türdeki modelleri için sonuçlar görüntülenir da aynı raporu rağmen bu öznitelik, durum ve eşik ayarları, kümeleme modeller için uygun olmayabilir.

  • Bazı parametre değerleri kısıtlanır.Örneğin, folds sayısı 10 fazla ise çok modelleri oluştururken, yavaş görüntülemek için raporu neden olabilir, çünkü bir uyarı görüntülenir.

Gelişmiş ayarları belirtmek istiyorsanız, çapraz doğrulama saklı yordamlar kullanmanız gerekir.Daha fazla bilgi için bkz: Veri madenciliği yordamlar depolanan (Analysis Services - veri madenciliği).

Karşılıklı doğrulama sonuçlar

Parametreleri belirtilen ve tıklattıktan sonra Yenilemeçapraz doğrulama sonuçlarını sonuçlar kılavuzda görüntülenir.Bu bölüm, sonuçlar kılavuzundaki her sütun içeriğini açıklar.

Ek olarak bazı temel bilgileri veri folds sayısını ve her kat, veri miktarını hakkında Analysis Services türüne göre kategorilere, her model hakkında ölçüler kümesini görüntüler. Sınamalar ve ne anlama geldiğini ölçü için bir açıklama ile ölçüler, aşağıdaki tabloda listelenmiştir.

Sınama türü

Ölçümleri ve açıklamaları

Kümeleme
durum olasılığınıNasıl büyük bir olasılıkla bunun olan desteklemediğinin göstergesi bir durum belirli bir kümeye ait.

Sınıflandırma
Gerçek pozitifAşağıdaki koşullara uyan bir servis talebi sayısı:

  • durum, hedef değeri içerir.

  • Modeli, durum, hedef değer içeren öngörülen.

Yanlış pozitifAşağıdaki koşullara uyan bir servis talebi sayısı:

  • Gerçek değer, hedef değerine eşittir.

  • Modeli, durum, hedef değer içeren öngörülen.

Doğru negatifAşağıdaki koşullara uyan bir servis talebi sayısı:

  • durum, hedef değer içermiyor.

  • Modeli, durum hedef değer içeren öngörülen.

Yanlış negatifAşağıdaki koşullara uyan bir servis talebi sayısı:

  • Gerçek değer hedef değerine eşit değil.

  • Modeli, durum hedef değer içeren öngörülen.

Sınıflandırma
Pass/hataAşağıdaki koşullara uyan bir servis talebi sayısı:

  • Tahmini durumu olasılığı yüksek olan giriş durumu ile aynıdır ve değerinden daha büyük olasılıktır geçir Durum eşiği.

  • Aksi halde, başarısız.

Olasılığını
KaldırınSınama durumlarda Marjinal olasılığı için gerçek tahmin olasılık oranı.Bu ölçü modeli kullanıldığında, ne kadar olasılığını artırır gösterir.
Ortalama kare kökü hatasıBölüm durumlarda sayısı bölü bölümü her zaman için ortalama hatasının karekökü.
Günlük SkoruLogaritmik ölçek için dönüştürülür, iki değerler arasındaki oranı.Negatif değerler, öngörü bir rasgele tahmin kötü olduğunu anlamına gelir; bu pozitif bir puan öngörü bir rasgele tahmin daha iyi olduğunu gösterir.

Tahmini
Ortalama kare kökü hatasıOrtalama kare hataları toplamı'nin kare kökü ifade edilen fiili değer öngörülen değeri ortalama hata oluştu.
Mutlak hata anlamına gelir.Ortalama hatası hataları mutlak toplamını ortalamasını ifade edilen gerçek değeri için tahmin edilen değeri.
Günlük Skorutahmin olasılığını Skoru günlük.Negatif BIR değer, öngörü bir rasgele tahmin kötü olduğunu gösterir.Pozitif BIR değer, öngörü bir rasgele tahmin daha iyi olduğunu gösterir.

Toplamalar

toplamak ölçüleri farkının sonuçlarında her bölüm için bir gösterge sağlayın.
MeanBelirli bir ölçü birimi için bölüm değerlerin ortalaması.
Standart sapmaGelen bir modeldeki tüm bölümler arasında belirli bir ölçüm için ortalama sapma ortalaması.

Not

Ham puanları, düzensiz veya çarpıtılmış çok dağıtımları olabilir, ancak bir yüzdesi için bir günlük puan benzer.