Çevrimdışı değerlendirmeyle öğrenme döngünüzü analiz etme

Önemli

20 Eylül 2023'den itibaren yeni Kişiselleştirme kaynakları oluşturamayacaksınız. Kişiselleştirme hizmeti 1 Ekim 2026'da kullanımdan kaldırılıyor. Açık kaynak microsoft/learning-loop'a geçiş yapmanızı öneririz.

Çevrimdışı değerlendirme oluşturmayı ve sonuçları yorumlamayı öğrenin.

Çevrimdışı Değerlendirmeler, Kişiselleştirici'nin günlüğe kaydedilmiş (geçmiş) bir veri dönemi boyunca uygulamanızın varsayılan davranışıyla karşılaştırıldığında ne kadar etkili olduğunu ölçmenize ve diğer model yapılandırma ayarlarının modeliniz için ne kadar iyi performans gösterebileceğini değerlendirmenize olanak tanır.

Çevrimdışı değerlendirme oluşturduğunuzda İyileştirme bulma seçeneği, modelinizin performansını geliştirebilecek bir değer bulmak için çeşitli öğrenme ilkesi değerleri üzerinde çevrimdışı değerlendirmeler çalıştırır. Çevrimdışı değerlendirmede değerlendirmek için ek ilkeler de sağlayabilirsiniz.

Daha fazla bilgi edinmek için Çevrimdışı Değerlendirmeler hakkında bilgi edinin.

Önkoşullar

• Yapılandırılmış bir Kişiselleştirme kaynağı
• Kişiselleştirme kaynağının yeterli miktarda günlüğe kaydedilmiş verisi olmalıdır. Kabaca bir tahmin olarak, anlamlı değerlendirme elde edilmesi için günlüklerinde yer alan en az 50.000 olay olması önerilir. İsteğe bağlı olarak, bu değerlendirmede test etmek ve karşılaştırmak istediğiniz öğrenme ilkesi dosyalarını da daha önce dışarı aktarmış olabilirsiniz.

Çevrimdışı değerlendirme çalıştırma

1. Azure portalında Kişiselleştirme kaynağınızı bulun.

2. Azure portalında Evaluations bölümüne gidin ve Create Evaluation öğesini seçin.

3. Değerlendirme oluştur penceresindeki seçenekleri doldurun:

   • Bir değerlendirme adı.
   • Başlangıç ve bitiş tarihi: Bunlar, değerlendirmede kullanılacak veri aralığını belirten tarihlerdir. Bu veriler, Veri Saklama değerinde belirtildiği gibi günlüklerde bulunmalıdır.
   • Kişiselleştirme'nin daha iyi öğrenme ilkeleri bulmayı denemesini istiyorsanız İyileştirme bulma özelliğini evet olarak ayarlayın.
   • Öğrenme ayarlarını ekleyin - Özel veya daha önce dışarı aktarılan bir ilkeyi değerlendirmek istiyorsanız bir öğrenme ilkesi dosyasını yükleyin.

   

4. Değerlendirmeyi başlat'ı seçerek Değerlendirmeyi başlatın.

Değerlendirme sonuçlarını gözden geçirme

Değerlendirilecek veri miktarına, karşılaştırılacak öğrenme ilkelerinin sayısına ve iyileştirme istenip istenmediğine bağlı olarak değerlendirmelerin çalıştırılması uzun sürebilir.

1. İşlem tamamlandıktan sonra değerlendirme listesinden değerlendirmeyi seçebilir ve ardından Uygulamanızın puanını diğer olası öğrenme ayarlarıyla karşılaştır'ı seçebilirsiniz. Geçerli öğrenme ilkenizin yeni ilkeyle karşılaştırıldığında nasıl performans sergilediğini görmek istediğinizde bu özelliği seçin.

2. Ardından öğrenme ilkelerinin performansını gözden geçirin.

   

Grafikte, tahmini ortalama ödül, güvenilirlik aralıkları ve belirli bir ilkeyi indirme veya uygulama seçenekleriyle birlikte çeşitli öğrenme ilkeleri görürsünüz.

• "Çevrimiçi - Personalizer'ın şu anki politikası"
• "Temel1" - Uygulamanızın temel ilkesi
• "BaselineRand" - Rastgele eylem gerçekleştirme ilkesi
• "Inter-len#" veya "Hyper#" - Optimizasyon keşfi yoluyla oluşturulan ilkeler.

Verileriniz için modeli en iyi şekilde geliştiren ilkeyi uygulamak için Uygula'yı seçin.

Sonraki adımlar

• Çevrimdışı değerlendirmelerin nasıl çalıştığı hakkında daha fazla bilgi edinin.