Çok Değişkenli Anomali Algılayıcısı API'sini kullanmaya yönelik en iyi yöntemler
Bu makale, çok değişkenli Anomali Algılayıcısı (MVAD) API'lerini kullanırken izlenecek önerilen uygulamalar hakkında rehberlik sağlar. Bu öğreticide şunları yapacaksınız:
- API kullanımı: MVAD'yi hatasız kullanmayı öğrenin.
- Veri mühendisliği: MVAD'nin daha iyi doğrulukla performans göstermesini sağlamak için verilerinizi en iyi şekilde pişirmeyi öğrenin.
- Yaygın tuzaklar: Müşterilerin karşılaştığı yaygın tuzaklardan nasıl kaçınacağınızı öğrenin.
- SSS: Sık sorulan soruların yanıtlarını öğrenin.
API kullanımı
MVAD kullanırken hatalardan kaçınmak için bu bölümdeki yönergeleri izleyin. Hala hata alıyorsanız, açıklamalar ve gerçekleştirmeniz gereken eylemler için lütfen hata kodlarının tam listesine bakın.
Giriş parametreleri
Gerekli parametreler
Eğitim ve çıkarım API'leri isteklerinde bu üç parametre gereklidir:
source- Paylaşılan Erişim İmzaları (SAS) ile Azure Blob Depolama'da bulunan zip dosyanızın bağlantısı.startTime- Eğitim veya çıkarım için kullanılan verilerin başlangıç zamanı. Verilerdeki gerçek en erken zaman damgasından daha erkense, başlangıç noktası olarak gerçek en erken zaman damgası kullanılır.endTime- Eğitim veya çıkarım için kullanılan ve değerinden sonra veya bu değerestartTimeeşit olması gereken verilerin bitiş zamanı. Verilerdeki gerçek en son zaman damgasından daha geçseendTime, bitiş noktası olarak gerçek en son zaman damgası kullanılır. değerine eşitseendTimestartTime, genellikle akış senaryolarında kullanılan tek bir veri noktasının çıkarımı anlamına gelir.
Eğitim API'si için isteğe bağlı parametreler
Eğitim API'si için diğer parametreler isteğe bağlıdır:
slidingWindow- Anomalileri belirlemek için kaç veri noktasının kullanıldığı. 28 ile 2.880 arasında bir tamsayı. Varsayılan değer 300'dür. Model eğitimi içinseslidingWindowk, geçerli sonuçları almak için çıkarım sırasında kaynak dosyadan en azındanknoktalara erişilebilir olmalıdır.MVAD, bir sonraki veri noktasının anomali olup olmadığını belirlemek için veri noktalarının bir kesimini alır. Segmentin uzunluğu şeklindedir
slidingWindow. Lütfen birslidingWindowdeğer seçerken iki şeyi aklınızda bulundurun:- Verilerinizin özellikleri: düzenli olup olmadığı ve örnekleme oranı. Verileriniz düzenli olduğunda, 1 - 3 döngünün uzunluğunu olarak
slidingWindowayarlayabilirsiniz. Verileriniz dakika düzeyi veya ikinci düzey gibi yüksek frekansta (küçük ayrıntı düzeyi) olduğunda, görece daha yüksek bir değerislidingWindowayarlayabilirsiniz. - Eğitim/çıkarım süresi ile olası performans etkisi arasındaki denge. Daha büyük
slidingWindowbir değer daha uzun eğitim/çıkarım süresine neden olabilir. Daha büyükslidingWindowsn'lerin doğruluk kazanımlarına yol açacağı garanti değildir. KüçükslidingWindowolması, modelin en uygun çözümle yakınsamasını zorlaştırabilir. Örneğin, yalnızca iki nokta olduğundaslidingWindowanomalileri algılamak zordur.
- Verilerinizin özellikleri: düzenli olup olmadığı ve örnekleme oranı. Verileriniz düzenli olduğunda, 1 - 3 döngünün uzunluğunu olarak
alignMode- Zaman damgalarında birden çok değişkeni (zaman serisi) hizalama. Bu parametreInneriçin ve için iki seçenek vardır veOutervarsayılan değer şeklindedirOuter.Değişkenlerin zaman damgası dizileri arasında yanlış hizalama olduğunda bu parametre kritik önem taşır. Modelin daha fazla işlem yapmadan önce değişkenleri aynı zaman damgası dizisine hizalaması gerekir.
Inner, modelin algılama sonuçlarını yalnızca her değişkenin bir değerine sahip olduğu zaman damgalarında (tüm değişkenlerin kesişimi gibi) bildireceği anlamına gelir.Outer, modelin herhangi bir değişkenin değeri olan zaman damgalarında algılama sonuçlarını bildireceği anlamına gelir; örneğin tüm değişkenlerin birleşimi.Aşağıda farklı
alignModeldeğerleri açıklamaya yönelik bir örnek verilmiştir.Değişken-1
timestamp değer 2020-11-01 1 2020-11-02 2 2020-11-04 4 2020-11-05 5 Değişken-2
timestamp değer 2020-11-01 1 2020-11-02 2 2020-11-03 3 2020-11-04 4 Inneriki değişkeni birleştirmetimestamp Değişken-1 Değişken-2 2020-11-01 1 1 2020-11-02 2 2 2020-11-04 4 4 Outeriki değişkeni birleştirmetimestamp Değişken-1 Değişken-2 2020-11-01 1 1 2020-11-02 2 2 2020-11-03 nan3 2020-11-04 4 4 2020-11-05 5 nanfillNAMethod- Birleştirilmiş tabloyu doldurmanan. Birleştirilmiş tabloda eksik değerler olabilir ve bunların düzgün bir şekilde işlenmesi gerekir. Bunları doldurmak için çeşitli yöntemler sağlıyoruz. SeçeneklerLinear, ,Previous,Subsequent,Zerove veFixedvarsayılan değeridirLinear.Seçenek Yöntem LinearDeğerleri doğrusal ilişkilendirmeye göre doldurma nanPreviousBoşlukları doldurmak için son geçerli değeri yayın. Örnek: [1, 2, nan, 3, nan, 4]->[1, 2, 2, 3, 3, 4]SubsequentBoşlukları doldurmak için bir sonraki geçerli değeri kullanın. Örnek: [1, 2, nan, 3, nan, 4]->[1, 2, 3, 3, 4, 4]ZeroDeğerleri 0 ile doldurun nan.Fixeddeğerleri içinde paddingValuesağlanması gereken belirtilen geçerli bir değerle doldurunnan.paddingValue- Doldurma değeri, bu durumda sağlandığında ve sağlanması gerektiğinde doldurmaknanfillNAMethodFixediçin kullanılır. Diğer durumlarda isteğe bağlıdır.displayName- Bu, modelleri tanımlamak için kullanılan isteğe bağlı bir parametredir. Örneğin, parametreleri, veri kaynaklarını ve modelle ilgili diğer meta verileri ve giriş verilerini işaretlemek için bunu kullanabilirsiniz. Varsayılan değer boş bir dizedir.
Giriş verisi şeması
MVAD bir ölçüm grubundaki anomalileri algılar ve her ölçümü değişken veya zaman serisi olarak adlandırıyoruz.
Kabul edilen şemayı denetlemek için örnek veri dosyasını Microsoft'tan indirebilirsiniz: https://aka.ms/AnomalyDetector/MVADSampleData
Her değişkenin iki ve yalnızca iki alanı
timestampolmalıdır vevaluevirgülle ayrılmış değerler (CSV) dosyasında depolanmalıdır.CSV dosyasının sütun adları tam olarak
timestampvevaluebüyük/küçük harfe duyarlı olmalıdır.timestampDeğerler ISO 8601'e uygun olmalıdır;valuetamsayılar veya ondalık basamak sayısı olabilir. CSV dosyasının içeriğine iyi bir örnek:timestamp değer 2019-04-01T00:00:00Z 5 2019-04-01T00:01:00Z 3.6 2019-04-01T00:02:00Z 4 ... ... Not
Zaman damgalarınızda saatler, dakikalar ve/veya saniyeler varsa API'leri çağırmadan önce bunların düzgün bir şekilde yuvarlandığından emin olun.
Örneğin, veri sıklığınızın her 30 saniyede bir bir veri noktası olması gerekiyorsa ancak "12:00:01" ve "12:00:28" gibi zaman damgaları görüyorsanız, zaman damgalarını "12:00:00" ve "12:00:30" gibi yeni değerlere önceden işlemeniz gerektiğini belirten güçlü bir sinyaldir.
Ayrıntılar için lütfen en iyi yöntemler belgesindeki "Zaman damgası yukarı yuvarlama" bölümüne bakın.
Csv dosyasının adı değişken adı olarak kullanılır ve benzersiz olmalıdır. Örneğin, "temperature.csv" ve "humidity.csv".
Eğitim değişkenleri ve çıkarım değişkenleri tutarlı olmalıdır. Örneğin, eğitim için ,
series_2,series_3,series_4veseries_5kullanıyorsanızseries_1, çıkarım için tam olarak aynı değişkenleri sağlamanız gerekir.CSV dosyaları bir zip dosyasına sıkıştırılmalı ve bir Azure blob kapsayıcısına yüklenmelidir. Zip dosyası istediğiniz ada sahip olabilir.
Klasör yapısı
Veri hazırlamada sık yapılan bir hata, zip dosyasındaki ek klasörlerdir. Örneğin, zip dosyasının adının olduğunu series.zipvarsayalım. Ardından dosyaları yeni bir klasöre ./seriessıkıştırdıktan sonra, CSV dosyalarının doğru yolu olur ./series/series_1.csv ve yanlış bir yol olabilir ./series/foo/bar/series_1.csv.
Windows'da zip dosyasının sıkıştırmasını kaldırdıktan sonra dizin ağacının doğru örneği
.
└── series
├── series_1.csv
├── series_2.csv
├── series_3.csv
├── series_4.csv
└── series_5.csv
Windows'da zip dosyasının sıkıştırmasını kaldırdıktan sonra dizin ağacının yanlış bir örneği
.
└── series
└── series
├── series_1.csv
├── series_2.csv
├── series_3.csv
├── series_4.csv
└── series_5.csv
Veri mühendisliği
Artık kodunuzu herhangi bir hata olmadan MVAD API'leriyle çalıştırabilirsiniz. Modelinizin doğruluğunu artırmak için neler yapılabilir?
Veri kalitesi
- Model, geçmiş verilerden normal desenleri öğrenirken, eğitim verileri sistemin genel normal durumunu temsil etmelidir. Eğitim verileri anomaliler ile doluysa modelin bu tür desenleri öğrenmesi zordur. Anormal oranın ampirik eşiği iyi doğruluk için %1 ve altındadır.
- Genel olarak , eğitim verilerinin eksik değer oranı %20'nin altında olmalıdır. Çok fazla eksik veri, normal desenler olarak otomatik olarak doldurulan değerler (genellikle doğrusal değerler veya sabit değerler) ile sonuçlanabilir. Bu, gerçek (eksik olmayan) veri noktalarının anomali olarak algılanmalarına neden olabilir.
Veri miktarı
MVAD'nin temel alınan modelinin milyonlarca parametresi vardır. En uygun parametre kümesini öğrenmek için en az sayıda veri noktası gerekir. Ampirik kural, modeli doğru doğruluk için eğitmek için değişken başına 15.000 veya daha fazla veri noktası (zaman damgası) sağlamanız gerektiğidir. Genel olarak, eğitim verileri ne kadar çok olursa doğruluk da o kadar iyi olur. Ancak bu kadar çok veri tahakkuk ettiremediğiniz durumlarda, yine de daha az veriyle denemeler yapıp güvenliği aşılmış doğruluğun hala kabul edilebilir olup olmadığını görmenizi öneririz.
Çıkarım API'sini her çağırdığınızda, kaynak veri dosyasının yeterli veri noktası içerdiğinden emin olmanız gerekir. Bu normalde
slidingWindow+ gerçekten çıkarım sonuçlarına ihtiyaç duyan veri noktası sayısıdır. Örneğin, ONE yeni zaman damgasından her çıkarım yapmak istediğinizde veri dosyası yalnızca baştakislidingWindowartı ONE veri noktasını içerebilir; sonra aynı sayıda veri noktasına (slidingWindow+ 1) sahip başka bir zip dosyası oluşturabilir ve one adımını "sağ" tarafa taşıyarak başka bir çıkarım işi için gönderebilirsiniz.Bunun veya "öncesinin" ötesindeki her şey, baştaki kayan pencere çıkarım sonucunu hiç etkilemez ve yalnızca performans düşüşüne neden olabilir. Aşağıda hataya
NotEnoughInputyol açabilecek her şey.
Zaman damgası yukarı yuvarlama
Bir değişken grubunda (zaman serisi), her değişken bağımsız bir kaynaktan toplanabilir. Farklı değişkenlerin zaman damgaları birbiriyle ve bilinen sıklıklarla tutarsız olabilir. Aşağıda basit bir örnek verilmiştir.
Değişken-1
| timestamp | değer |
|---|---|
| 12:00:01 | 1.0 |
| 12:00:35 | 1,5 |
| 12:01:02 | 0,9 |
| 12:01:31 | 2,2 |
| 12:02:08 | 1.3 |
Değişken-2
| timestamp | değer |
|---|---|
| 12:00:03 | 2,2 |
| 12:00:37 | 2,6 |
| 12:01:09 | 1.4 |
| 12:01:34 | 1.7 |
| 12:02:04 | 2.0 |
her 30 saniyede bir veri noktası gönderen iki algılayıcıdan toplanan iki değişkenimiz var. Ancak algılayıcılar veri noktalarını katı bir eşit sıklıkta değil, bazen daha erken ve bazen daha sonra göndermektedir. MVAD farklı değişkenler arasındaki bağıntıları dikkate alacağından, ölçümlerin sistemin durumunu doğru yansıtabilmesi için zaman damgalarının düzgün bir şekilde hizalanması gerekir. Yukarıdaki örnekte, 1 ve değişken 2 değişkenlerinin zaman damgaları hizalamadan önce sıklıklarına düzgün bir şekilde 'yuvarlanmalıdır'.
Önceden işlenmediklerinde neler olacağını görelim. Olarak ayarlanırsak alignModeOuter (yani iki kümenin birleşimi), birleştirilmiş tablo şu şekilde olur:
| timestamp | Değişken-1 | Değişken-2 |
|---|---|---|
| 12:00:01 | 1.0 | nan |
| 12:00:03 | nan |
2,2 |
| 12:00:35 | 1,5 | nan |
| 12:00:37 | nan |
2,6 |
| 12:01:02 | 0,9 | nan |
| 12:01:09 | nan |
1.4 |
| 12:01:31 | 2,2 | nan |
| 12:01:34 | nan |
1.7 |
| 12:02:04 | nan |
2.0 |
| 12:02:08 | 1.3 | nan |
nan eksik değerleri gösterir. Açıkçası, birleştirilmiş tablo beklediğiniz gibi değildir. Değişken 1 ve değişken 2 ayırma ve MVAD modeli aralarındaki bağıntılar hakkında bilgi ayıklayamaz. olarak ayarlanırsa alignModeInner, 1 ve değişken 2 değişkenlerinde ortak bir zaman damgası olmadığından, birleştirilmiş tablo boş olur.
Bu nedenle, 1 ve değişken 2 değişkenlerinin zaman damgaları önceden işlenmelidir (en yakın 30 saniyelik zaman damgalarına yuvarlanır) ve yeni zaman serisi
Değişken-1
| timestamp | değer |
|---|---|
| 12:00:00 | 1.0 |
| 12:00:30 | 1,5 |
| 12:01:00 | 0,9 |
| 12:01:30 | 2,2 |
| 12:02:00 | 1.3 |
Değişken-2
| timestamp | değer |
|---|---|
| 12:00:00 | 2,2 |
| 12:00:30 | 2,6 |
| 12:01:00 | 1.4 |
| 12:01:30 | 1.7 |
| 12:02:00 | 2.0 |
Artık birleştirilmiş tablo daha mantıklıdır.
| timestamp | Değişken-1 | Değişken-2 |
|---|---|---|
| 12:00:00 | 1.0 | 2,2 |
| 12:00:30 | 1,5 | 2,6 |
| 12:01:00 | 0,9 | 1.4 |
| 12:01:30 | 2,2 | 1.7 |
| 12:02:00 | 1.3 | 2.0 |
Yakın zaman damgalarında farklı değişkenlerin değerleri iyi hizalanmıştır ve MVAD modeli artık bağıntı bilgilerini ayıklayabilir.
Sınırlamalar
Hem eğitim hem de çıkarım API'lerinde bazı sınırlamalar vardır. Hatalardan kaçınmak için bu sınırlamaları bilmeniz gerekir.
Genel Sınırlamalar
- Kayan pencere: 28-2880 zaman damgası, varsayılan değer 300'dür. Düzenli veriler için 2-4 döngünün uzunluğunu kayan pencere olarak ayarlayın.
- API çağrıları: Dakikada en fazla 20 API çağrısı.
- Değişken sayıları: Eğitim ve zaman uyumsuz çıkarım için en fazla 301 değişken.
Eğitim Sınırlamaları
- Zaman damgaları: En fazla 10000000. Çok az zaman damgası model kalitesini düşürebilir. 15000'den fazla zaman damgasına sahip olmasını öneririz.
- Taneciklik: En düşük taneciklik değeridir
per_second.
Zaman uyumsuz çıkarım sınırlamaları
- Zaman damgaları: En fazla 20000, en az 1 kayan pencere uzunluğu.
Eşitlenmiş çıkarım sınırlamaları
- Zaman damgaları: En fazla 2880, en az 1 kayan pencere uzunluğu.
- Zaman damgalarını algılama: 1 ile 10.
Model kalitesi
Gerçek senaryolarda hatalı pozitif ve hatalı negatifle nasıl başa çıkılır?
Anomalilerin önemini gösteren önem derecesini sağladık. Hatalı pozitif değerler önem derecesinde bir eşik ayarlanarak filtrelenebilir. Bazen çıkarım verilerinde desen kaydırmaları olduğunda çok fazla hatalı pozitif sonuç görünebilir. Böyle durumlarda modelin yeni veriler üzerinde yeniden eğitilmesi gerekebilir. Eğitim verileri çok fazla anomali içeriyorsa, algılama sonuçlarında hatalı negatifler olabilir. Bunun nedeni, modelin eğitim verilerinden desenleri öğrenmesi ve anomalilerin modele yanlılık getirmesidir. Bu nedenle doğru veri temizleme, hatalı negatiflerin azaltılmasına yardımcı olabilir.
Eğitim kaybına ve doğrulama kaybına göre hangi modelin en iyi şekilde kullanılacağını tahmin etme
Genel olarak, etiketli bir veri kümesi olmadan hangi modelin en iyi olduğuna karar vermek zordur. Ancak, kabaca bir tahmine sahip olmak ve bu kötü modelleri atmak için eğitim ve doğrulama kayıplarını kullanabiliriz. öncelikle eğitim kayıplarının yakınsayıp yakınsamadığını gözlemlememiz gerekiyor. Ayrılan kayıplar genellikle modelin kalitesinin düşük olduğunu gösterir. İkincisi, kayıp değerleri yetersiz uygunluk veya fazla uygunluk olup olmadığını belirlemeye yardımcı olabilir. Yetersiz uygunluk veya fazla uygunluk gösteren modeller istenen performansa sahip olmayabilir. Üçüncüsü, kayıp işlevinin tanımı algılama performansını doğrudan yansıtmasa da, kayıp değerleri model kalitesini tahmin etmek için yardımcı bir araç olabilir. Düşük kayıp değeri, iyi bir model için gerekli bir koşuldur, bu nedenle yüksek kayıp değerlerine sahip modelleri atabiliriz.
Yaygın tuzaklar
Hata kodu tablosunun dışında, MVAD API'lerini kullanırken sizin gibi müşterilerden bazı yaygın tuzakları öğrendik. Bu tablo, bu sorunlardan kaçınmanıza yardımcı olur.
| Tuzak | Sonucu | Açıklama ve çözüm |
|---|---|---|
| Eğitim verileri ve/veya çıkarım verilerindeki zaman damgaları, her değişkenin ilgili veri sıklığıyla uyumlu olacak şekilde yukarı yuvarlanmadı. | Çıkarım sonuçlarının zaman damgaları beklendiği gibi değildir: çok az zaman damgası veya çok fazla zaman damgası. | Lütfen Zaman damgası yuvarlama bölümüne bakın. |
| Eğitim verilerinde çok fazla anormal veri noktası var | Eğitim sırasında anormal veri noktalarını normal desenler olarak değerlendirdiğinden model doğruluğu olumsuz etkilenir. | Ampirik olarak, anormal oranı %1 veya altında tutmak yardımcı olacaktır. |
| Çok az eğitim verisi | Model doğruluğu tehlikeye girdi. | Ampirik olarak, bir MVAD modelini eğitmek için iyi bir doğruluk elde etmek için değişken başına 15.000 veya daha fazla veri noktası (zaman damgası) gerekir. |
Tüm veri noktalarını isAnomaly=true anomali olarak alma |
Çok fazla hatalı pozitif sonuç | Ciddi olmayan anomalileri yok etmek için hem hem severity de isAnomaly (veya score) kullanmanız ve (isteğe bağlı olarak) rastgele gürültüleri bastırmak için anomalilerin süresini denetlemek için gruplandırma kullanmanız gerekir. ile scorearasındaki severity fark için lütfen aşağıdaki SSS bölümüne bakın. |
| Alt klasörler, eğitim veya çıkarım için veri dosyasına sıkıştırılır. | Alt klasörlerin içindeki csv veri dosyaları eğitim ve/veya çıkarım sırasında yoksayılır. | Zip dosyasında hiçbir alt klasöre izin verilmez. Ayrıntılar için lütfen Klasör yapısına bakın. |
| Çıkarım veri dosyasında çok fazla veri var: örneğin, çıkarım veri zip dosyasındaki tüm geçmiş verileri sıkıştırma | Herhangi bir hata göremeyebilirsiniz, ancak zip dosyasını Azure Blob'a yüklemeyi denediğinizde ve çıkarım çalıştırmayı denediğinizde performansın düşmesiyle karşılaşırsınız. | Ayrıntılar için lütfen Veri miktarı bölümüne bakın. |
| Henüz MVAD'yi desteklemeyen Azure bölgelerinde Anomali Algılayıcısı kaynakları oluşturma ve MVAD API'lerini çağırma | MVAD API'lerini çağırırken "kaynak bulunamadı" hatası alırsınız. | Önizleme aşamasında MVAD yalnızca sınırlı bölgelerde kullanılabilir. MVAD bölge dağıtımlarını takip etmek için Lütfen Anomali Algılayıcısı'ndaki yeniliklere yer işareti ekleyin. Ayrıca bir GitHub sorunu bildirebilir veya belirli bölgeler için istekte bulunmak için adresinden bizimle AnomalyDetector@microsoft.com iletişime geçebilirsiniz. |
SSS
MVAD kayan pencere nasıl çalışır?
MVAD'nin kayan penceresinin nasıl çalıştığını öğrenmek için iki örnek kullanalım. = 1.440 ayarladığınızı slidingWindow ve giriş verilerinizin bir dakikalık ayrıntı düzeyinde olduğunu varsayalım.
Akış senaryosu: "2021-01-02T00:00:00Z" konumundaki ONE veri noktasının anormal olup olmadığını tahmin etmek istiyorsunuz. ve
endTimedeğerlerinizstartTimeaynı değer olacaktır ("2021-01-02T00:00:00Z"). Ancak çıkarım veri kaynağınız en az 1.440 + 1 zaman damgası içermelidir. MVAD önde gelen verileri hedef veri noktasından önce ("2021-01-02T00:00:00Z") alarak hedefin anomali olup olmadığına karar verir. Bu durumda, gerekli önde gelen verilerin uzunluğu veya 1.440'tırslidingWindow. 1.440 = 60 * 24, bu nedenle giriş verilerinizin en geç "2021-01-01T00:00:00Z" ile başlaması gerekir.Batch senaryosu: Tahmin etmeniz gereken birden çok hedef veri noktanız var. sizin değeriniz
endTime, değerindenstartTimedaha büyük olacaktır. Bu tür senaryolarda çıkarım "hareketli pencere" şeklinde gerçekleştirilir. Örneğin, MVAD konumundaki verilerin anormal olup olmadığını belirlemek için 'den2021-01-01T00:00:00Z2021-01-01T23:59:00Z(dahil) öğesine kadar olan verileri2021-01-02T00:00:00Zkullanır. Ardından ileriye taşınır ve verinin anormal olup olmadığını belirlemek için 'den2021-01-01T00:01:00Z2021-01-02T00:00:00Z(dahil) öğesine veri2021-01-02T00:01:00Zkullanır. TarafındanendTimebelirtilen son zaman damgasına (veya gerçek en son zaman damgasına) kadar aynı şekilde hareket eder (karşılaştırmak için 1.440 veri noktası alınır). Bu nedenle, çıkarım veri kaynağınız ilestartTime-slidingWindowbaşlayan verileri içermelidir ve ideal olarak toplam boyutslidingWindow+ (endTime-startTimedeğerini içerir).
Hizmet neden verileri zaman uyumsuz olarak gönderirken eğitim ve çıkarım için yalnızca zip dosyalarını kabul ediyor?
Toplu iş senaryolarında hem eğitim hem de çıkarım verilerinin boyutunun çok büyük olmasını ve HTTP isteği gövdesine konulamayacağını beklediğimiz için zip dosyalarını kullanırız. Bu, kullanıcıların model doğrulaması veya veri analizi için geçmiş veriler üzerinde toplu çıkarım gerçekleştirmesine olanak tanır.
Ancak bu, akış çıkarımı ve yüksek frekanslı veriler için biraz uygunsuz olabilir. Kullanıcıların istek gövdesine veri geçirebileceği akış çıkarımı için özel olarak tasarlanmış yeni bir API ekleme planımız var.
ve scorearasındaki severity fark nedir?
Normalde, işletmeniz için çok önemli olmayan 'anomalileri' yok etmek için filtre olarak kullanmanızı severity öneririz. Senaryonuza ve veri deseninize bağlı olarak, daha az önemli olan anomaliler genellikle görece daha düşük severity değerlere veya rastgele ani artışlar gibi tek başına (kesintili) yüksek severity değerlere sahiptir.
Sürekli yüksek severity değerlerin eşiklerinden severity veya süresinden daha karmaşık kurallara ihtiyaç duyduğunuz durumlarda, daha güçlü filtreler oluşturmak için kullanmak score isteyebilirsiniz. Anomalileri belirlemek için MVAD'nin nasıl kullandığını score anlamak yardımcı olabilir:
Veri noktasının hem genel hem de yerel perspektiften anormal olup olmadığını değerlendiriyoruz. Zaman damgası belirli bir eşikten yüksekse score , zaman damgası anomali olarak işaretlenir. Eşikten düşükse score ancak bir segmentte görece daha yüksekse, anomali olarak da işaretlenir.