PCA Tabanlı Anomali Algılama
Önemli
Machine Learning Stüdyosu (klasik) desteği 31 Ağustos 2024'te sona erecektir. Bu tarihe kadar Azure Machine Learning'e geçmenizi öneririz.
1 Aralık 2021'den başlayarak artık yeni Machine Learning Stüdyosu (klasik) kaynakları oluşturamayacaksınız. 31 Ağustos 2024'e kadar mevcut Machine Learning Stüdyosu (klasik) kaynaklarını kullanmaya devam edebilirsiniz.
- Makine öğrenmesi projelerini ML Studio'dan (klasik) Azure Machine Learning.
- Daha fazla bilgi Azure Machine Learning.
ML Stüdyosu (klasik) belgeleri kullanımdan kaldırılacak ve gelecekte güncelleştirilmeyecektir.
Asıl Bileşen Analizini kullanarak anomali algılama modeli oluşturur
Kategori: Anomali Algılama
Not
Uygulama: Machine Learning Studio (yalnızca klasik)
Benzer sürükle ve bırak modülleri tasarımcıda da Azure Machine Learning kullanılabilir.
Modüle genel bakış
Bu makalede, Machine Learning Studio'daki (klasik) PCA Tabanlı Anomali Algılama modülünün, Temel Bileşen Analizi'ne (PCA) dayalı bir anomali algılama modeli oluşturmak için nasıl kullanacağız?
Bu modül, geçerli işlemler gibi bir sınıftan eğitim verilerini almanın kolay olduğu ancak hedeflenen anomalilerin yeterli örneklerinin elde edileyeme zor olduğu senaryolarda bir model oluşturmanıza yardımcı olur.
Örneğin, sahte işlemleri algılamak için genellikle eğitim için yeterli sahtekarlık örneklerine sahip değildir, ancak birçok iyi işlem örneği vardır. PCA Tabanlı Anomali Algılama modülü, "normal" bir sınıfı neyin oluşturduğunu belirlemek için kullanılabilir özellikleri analiz ederek ve anomalileri temsil eden örnekleri belirlemek için uzaklık ölçümlerini uygulayarak sorunu çözer. Bu, mevcut dengesiz verileri kullanarak bir modeli eğitebilirsiniz.
Temel Bileşen Analizi hakkında daha fazla bilgi
Sıklıkla PCA olarak kısaltılmış olan Temel Bileşen Analizi, makine öğrenmesinde kurulan bir tekniktir. PCA genellikle keşif veri analizinde kullanılır çünkü verilerin iç yapısını ortaya çıkar ve verilerde varyansı açıklar.
PCA, birden çok değişken içeren verileri analiz ederek çalışır. Değişkenler arasındaki bağıntıları ve sonuçlarda farkları en iyi yakalayan değerlerin birleşimini belirler. Bu birleşik özellik değerleri, asıl bileşenler olarak adlandırılan daha küçük bir özellik alanı oluşturmak için kullanılır.
Anomali algılama için her yeni giriş analiz edilir ve anomali algılama algoritması, normalleştirilmiş yeniden yapılandırma hatasıyla birlikte ekinvektörler üzerinde tahminini hesaplar. Anomali puanı olarak normalleştirilmiş hata kullanılır. Hata ne kadar yüksekse örnek o kadar anormaldir.
PCA'nın nasıl çalıştığını ve anomali algılamaya yönelik uygulama hakkında daha fazla bilgi için şu belgelere bakın:
Temel bileşen analizi için rastgele bir algoritma. Rokhlin, Szlan ve Tygert
Rastgelelik ile Yapı Bulma: Yaklaşık Matris Ayrıştırmaları Oluşturmak için Olasılık Algoritmaları (PDF indirme). Kamuo, Martinomi ve Tropp.
PCA Anomali Algılamayı yapılandırma
PCA Tabanlı Anomali Algılama modülünü Studio'daki (klasik) denemenize ekleyin. Bu modülü Anomali Algılama Machine LearningBaşlatmaaltında bulabilirsiniz.
PCA Tabanlı Anomali Algılama modülünün Özellikler bölmesinde Eğitim modu seçeneğine tıklayın ve modeli belirli bir parametre kümesi kullanarak eğitmek mi yoksa en iyi parametreleri bulmak için parametre tarama mı kullanmak istediğinizi belirtin.
Tek Parametre: Modeli nasıl yapılandırmak istediğinizi biliyorsanız ve bağımsız değişken olarak belirli bir değer kümesi sağlamak için bu seçeneği belirleyin.
Parametre Aralığı: En iyi parametrelerden emin değilseniz ve Model Ayarlama Hiper Parametreleri modülünü kullanarak parametre tarama kullanmak istemiyorsanız bu seçeneği belirleyin. Eğitimci belirttiğiniz çeşitli ayarları tekrarlar ve en iyi sonuçları üreten ayarların birleşimini belirler.
PCA'da kullanmak üzere bileşen sayısı, PCA bileşenlerinin sayısı için Aralık: Çıkış özellikleri veya çıkışı yapmak istediğiniz bileşen sayısını belirtin.
Dahil etmek için kaç bileşen olduğu kararı, PCA kullanarak deneme tasarımının önemli bir parçasıdır. Genel kılavuz, değişken sayısıyla aynı sayıda PCA bileşeni içermeyebilirsiniz. Bunun yerine, daha az sayıda bileşenle başlamanız ve bazı ölçütlere uyana kadar bunları artırmanız gerekir.
En uygun değerin ne olabileceği konusunda emin değilseniz Parametre Aralığı seçeneğini kullanarak anomali algılama modelini eğitmanizi öneririz.
Çıkış bileşenlerinin sayısı, veri kümesinde kullanılabilen özellik sütunlarının sayısından az olduğunda en iyi sonuçlar elde edilir.
Rastgele PCA eğitimi sırasında gerçekleştirilecek fazla örnekleme miktarını belirtin. Anomali algılama sorunlarında dengesiz veriler, standart PCA tekniklerini uygulamayı zorlaştırabilir. Bir miktar fazla örnekleme belirterek, hedef örnek sayısını artırabilir.
1 belirtirsiniz, fazla örnekleme gerçekleştirmezseniz. 1'den yüksek bir değer belirtirsiniz, modeli eğitecek ek örnekler oluşturulur.
Parametre tarama kullanıp kullanmamanıza bağlı olarak iki seçenek vardır:
- Rastgele PCA için oversampling parametresi: Normal sınıf üzerinden aşırı örnekleme oranını temsil eden tek bir tam sayı yazın. (Tek parametreli eğitim yöntemi kullanıldığında kullanılabilir.)
- Rastgele PCA'da kullanılan fazla örnekleme parametresinin aralığı: Denemek için bir sayı dizisi yazın veya Bir kaydırıcı kullanarak değerleri seçmek için Range Builder'ı kullanın. (Yalnızca Parametre aralığı eğitim yöntemi kullanıldığında kullanılabilir.)
Not
Fazla örneklenen veri kümesi görüntü olamaz. Fazla örneklemenin PCA ile nasıl kullanıldıklarına ilişkin ek ayrıntılar için bkz. Teknik notlar.
Giriş özelliği ortalama normalleştirmeyi etkinleştir: Tüm giriş özelliklerini sıfır ortalamaya normalleştirmek için bu seçeneği belirleyin. PCA'nın amacı değişkenler arasındaki varyansı en üst düzeye çıkarmak olduğundan, PCA için genellikle normalleştirme veya sıfıra ölçeklendirme önerilir.
Bu seçenek varsayılan olarak seçilidir. Değerler zaten farklı bir yöntem veya ölçek kullanılarak normalleştirilmişse bu seçeneğin seçimini kaldırın.
Bağlan eğitim veri kümesi ve eğitim modüllerinden birini kullanın:
- Eğitmen modu oluştur seçeneğini Tek Parametre olarak ayariyorsanız Anomali Algılama Modelini Eğit modülünü kullanın.
- Eğitmen modu oluştur seçeneğini Parametre Aralığı olarak ayarlarsanız Modeli Ayarlama Hiper parametreleri modülünü kullanın.
Not
Anomali Algılama Modelini Eğiten bir parametre aralığı iletirsiniz, parametre aralığı listesinde yalnızca ilk değeri kullanır.
Model Ayarlama Hiper parametreleri modülüne tek bir parametre değeri kümesi iletirsiniz; her parametre için bir dizi ayar bekliyorsa, değerleri yoksayar ve öğrenciler için varsayılan değerleri kullanır.
Parametre Aralığı seçeneğini belirtir ve herhangi bir parametre için tek bir değer girerseniz, diğer parametreler bir değer aralığında değişse bile bu tek değer tarama boyunca kullanılır.
Denemeyi çalıştırın veya modülü seçin ve Seçili çalıştır'a tıklayın.
Sonuçlar
Eğitim tamamlandığında eğitilen modeli kaydedebilir veya anomali puanlarını tahmin etmek için Modeli Puanla modülüne bağlanabilirsiniz.
Anomali algılama modellerinin sonuçlarını değerlendirmek için bazı ek adımlar gerekir:
Puan sütunlarının her iki veri kümesinde de kullanılabilir olduğundan emin olmak
Anomali algılama modelini değerlendirmeye ve "Karşılaştıracak puanlı veri kümesinde puan sütunu yok" hatasını almaya çalışsanız, etiket sütunu içeren ancak olasılık puanı almayan tipik bir değerlendirme veri kümesi kullanırsınız. Puanlı Etiketler ve Puanlı Olasılıklar sütununu içeren anomali algılama modellerinin şema çıkışıyla eşleşen bir veri kümesi seçmeniz gerekir.
Etiket sütunlarının işaretlenmiş olduğundan emin olmak
Bazen etiket sütunuyla ilişkili meta veriler deneme grafı içinde kaldırılır. Bu durumda, iki anomali algılama modelinin sonuçlarını karşılaştırmak için Modeli Değerlendirme modülünü kullanarak "Puanlı veri kümesinde etiket sütunu yok" veya "Karşılaştıracak puanlı veri kümesinde etiket sütunu yok" hatasını alabilirsiniz.
Modeli Değerlendirme modülü öncesinde Meta Verileri Düzenle modülünü ekleyerek bu hatadan kaçınabilirsiniz . Sınıf sütununu seçmek için sütun seçiciyi kullanın ve Alanlar açılan listesinde Etiket'i seçin.
Farklı model türlerinden puanları normalleştirme
PCA anomali algılama modelinden gelen tahminler her zaman [0,1] aralığındadır. Buna karşılık, One-Class SVM modülünden gelen çıkışlar, büyük olasılıkla sınırsız puanlardır.
Bu nedenle modelleri farklı algoritmalara göre karşılaştırıyorsanız puanları her zaman normalleştirmelisiniz. Farklı anomali algılama Azure Yapay Zeka Galerisi normalleştirme örneği için aşağıdaki örnekteki örneğine bakın.
Örnekler
PCA'nın anomali algılamada nasıl kullanıldıklarının örnekleri için bkz . Azure Yapay Zeka Galerisi:
- Anomali algılama: kredi riski: Verilerde aykırı değer bulma işlemiyle ilgili bilgiler yer almaktadır. Bu örnekte, en uygun modeli bulmak için parametre tarama 2. Ardından bu modeli yeni verilere uygular ve iki farklı anomali algılama modelini karşılaştırarak sahtekarlığı temsil eden riskli işlemleri tespit edebilir.
Teknik notlar
Bu algoritma, normal sınıfı içeren alt alanı yaklaşık olarak tahmin etmek için PCA kullanır. Alt alan, veri değişken matrisinin en üst eigenvalue'ları ile ilişkili eigenvector'lar tarafından yayılmıştır. Her yeni giriş için anomali algılayıcısı önce projeksiyonu eigenvectors üzerinde hesaplar ve ardından normalleştirilmiş yeniden yapılandırma hatasını hesaplar. Bu hata anomali puanıdır. Hata ne kadar yüksekse örnek o kadar anormal olur. Normal alan hesaplaması hakkında ayrıntılı bilgi için bkz. Wikipedia: Ana Bileşen Analizi
Modül parametreleri
| Ad | Tür | Aralık | İsteğe Bağlı | Description | Varsayılan |
|---|---|---|---|---|---|
| Eğitim modu | CreateLearnerMode | List:Single Parameter| Parametre Aralığı | Gerekli | Tek Parametre | Learner seçeneklerini belirtin. Tüm değerleri el ile belirtmek için SingleParameter seçeneğini kullanın. Ayarlanabilir parametreleri taramak için ParameterRange seçeneğini kullanın. |
| PCA'da kullanmak üzere bileşen sayısı | Tamsayı | mode:Tek Parametre | 2 | PCA'da kullanmak üzere bileşen sayısını belirtin. | |
| Rastgele PCA için fazla örnekleme parametresi | Tamsayı | mode:Tek Parametre | 2 | Rastgele PCA eğitimi için doğruluk parametresini belirtin. | |
| Giriş özelliği ortalama normalleştirmeyi etkinleştirme | Mantıksal tür | List:True| False | Gerekli | Yanlış | Giriş verileri sıfır ortalamaya sahip olacak şekilde normalleştirilmişse belirtin. |
| PCA bileşeni sayısı aralığı | ParameterRangeSettings | [1;100] | mode:Parametre Aralığı | 2; 4; 6; 8; 10 | PCA'da kullanmak üzere bileşen sayısı aralığını belirtin. |
| Rastgele PCA'da kullanılan fazla örnekleme parametresinin aralığı | ParameterRangeSettings | [1;100] | mode:Parametre Aralığı | 2; 4; 6; 8; 10 | Rastgele PCA eğitimde kullanılan doğruluk parametresi aralığını belirtin. |
Çıkışlar
| Ad | Tür | Description |
|---|---|---|
| Eğitilmemiş model | ILearner arabirimi | Eğitilmemiş PCA tabanlı anomali algılama modeli |
Özel durumlar
| Özel durum | Description |
|---|---|
| Hata 0017 | Belirtilen bir veya daha fazla sütun türü geçerli modül tarafından desteklenmiyorsa özel durum oluşur. |
| Hata 0062 | İki modeli farklı learner türleriyle karşılaştırmaya çalışırken özel durum oluşur. |
| Hata 0047 | Modüle geçirilen bazı veri kümelerinin özellik sütunlarının sayısı çok küçükse özel durum oluşur. |
Studio (klasik) modüllerine özgü hataların listesi için bkz. Machine Learning kodları.
API özel durumlarının listesi için bkz. Machine Learning REST API Kodları.