Çevrimdışı değerlendirmeyle öğrenme döngünüzü analiz etme

Önemli

20 Eylül 2023 tarihinden itibaren yeni Kişiselleştirme kaynakları oluşturamayacaksınız. Kişiselleştirme hizmeti 1 Ekim 2026'da kullanımdan kaldırılıyor.

Çevrimdışı değerlendirme oluşturmayı ve sonuçları yorumlamayı öğrenin.

Çevrimdışı Değerlendirmeler, Kişiselleştirici'nin günlüğe kaydedilmiş (geçmiş) bir veri dönemi boyunca uygulamanızın varsayılan davranışıyla karşılaştırıldığında ne kadar etkili olduğunu ölçmenize ve diğer model yapılandırma ayarlarının modeliniz için ne kadar iyi performans gösterebileceğini değerlendirmenize olanak tanır.

Çevrimdışı değerlendirme oluşturduğunuzda İyileştirme bulma seçeneği, modelinizin performansını geliştirebilecek bir değer bulmak için çeşitli öğrenme ilkesi değerleri üzerinde çevrimdışı değerlendirmeler çalıştırır. Çevrimdışı değerlendirmede değerlendirmek için ek ilkeler de sağlayabilirsiniz.

Daha fazla bilgi edinmek için Çevrimdışı Değerlendirmeler hakkında bilgi edinin.

Ön koşullar

  • Yapılandırılmış bir Kişiselleştirme kaynağı
  • Kişiselleştirme kaynağının temsili miktarda günlüğe kaydedilmiş verisi olmalıdır. Bir ballpark figürü olarak anlamlı değerlendirme sonuçları için günlüklerinde en az 50.000 olay olması önerilir. İsteğe bağlı olarak, bu değerlendirmede test etmek ve karşılaştırmak istediğiniz öğrenme ilkesi dosyalarını da daha önce dışarı aktarmış olabilirsiniz.

Çevrimdışı değerlendirme çalıştırma

  1. Azure portalında Kişiselleştirme kaynağınızı bulun.

  2. Azure portalında Değerlendirmeler bölümüne gidin ve Değerlendirme Oluştur'u seçin. In the Azure portal, go to the Evaluations section and select Create Evaluation.

  3. Değerlendirme oluştur penceresindeki seçenekleri doldurun:

    • Değerlendirme adı.
    • Başlangıç ve bitiş tarihi: Bunlar, değerlendirmede kullanılacak veri aralığını belirten tarihlerdir. Bu veriler, Veri Saklama değerinde belirtildiği gibi günlüklerde bulunmalıdır.
    • Kişiselleştirme'nin daha iyi öğrenme ilkeleri bulmayı denemesini istiyorsanız İyileştirme bulma özelliğini evet olarak ayarlayın.
    • Öğrenme ayarları ekleme - Özel veya daha önce dışarı aktarılan bir ilkeyi değerlendirmek istiyorsanız bir öğrenme ilkesi dosyasını karşıya yükleyin.l

    Choose offline evaluation settings

  4. Değerlendirmeyi başlat'ı seçerek Değerlendirmeyi başlatın.

Değerlendirme sonuçlarını gözden geçirme

Değerlendirilecek veri miktarına, karşılaştırılacak öğrenme ilkelerinin sayısına ve iyileştirme istenip istenmediğine bağlı olarak değerlendirmelerin çalıştırılması uzun sürebilir.

  1. İşlem tamamlandıktan sonra değerlendirme listesinden değerlendirmeyi seçebilir ve ardından Uygulamanızın puanını diğer olası öğrenme ayarlarıyla karşılaştır'ı seçebilirsiniz. Geçerli öğrenme ilkenizin yeni ilkeyle karşılaştırıldığında nasıl performans sergilediğini görmek istediğinizde bu özelliği seçin.

  2. Ardından öğrenme ilkelerinin performansını gözden geçirin.

    Review evaluation results

Grafikte, tahmini ortalama ödül, güvenilirlik aralıkları ve belirli bir ilkeyi indirme veya uygulama seçenekleriyle birlikte çeşitli öğrenme ilkeleri görürsünüz.

  • "Çevrimiçi" - Kişiselleştirmenin geçerli ilkesi
  • "Temel1" - Uygulamanızın temel ilkesi
  • "BaselineRand" - Rastgele eylem gerçekleştirme ilkesi
  • "Inter-len#" veya "Hyper#" - İyileştirme bulma tarafından oluşturulan ilkeler.

Verileriniz için modeli en iyi şekilde geliştiren ilkeyi uygulamak için Uygula'yı seçin.

Sonraki adımlar

  • Çevrimdışı değerlendirmelerin nasıl çalıştığı hakkında daha fazla bilgi edinin.