Mevcut uygulamanızı etkilemeden Kişiselleştirmeyi eğitmek için Çırak modunu kullanma

  • Makale

Önemli

20 Eylül 2023 tarihinden itibaren yeni Kişiselleştirme kaynakları oluşturamayacaksınız. Kişiselleştirme hizmeti 1 Ekim 2026'da kullanımdan kaldırılıyor.

Yeni bir Kişiselleştirme kaynağı dağıtılırken, eğitilmemiş veya boş bir modelle başlatılır. Başka bir ifadeyle, hiçbir veriden bilgi edinememiştir ve bu nedenle pratikte iyi performans göstermeyecektir. Bu, "soğuk başlangıç" sorunu olarak bilinir ve modeli üretim ortamınızdan alınan gerçek verilerle eğiterek zaman içinde çözülür. Çırak modu, "soğuk başlangıç" sorununu azaltmaya yardımcı olan bir öğrenme davranışıdır ve kod değişikliğine gerek kalmadan üretimde karar vermeden önce modele güven kazanmanızı sağlar.

Çırak modu nedir?

Çırak, bir uzmanı gözlemleyerek bir zanaatı nasıl öğrenebileceğine benzer şekilde, Çırak modu da kişiselleştiricinin uygulamanızın geçerli mantığı tarafından alınan kararları gözlemleyerek öğrenmesini sağlar. Kişiselleştirme modeli, uygulamayla aynı karar çıktısını taklit ederek eğitiyor. Her Derece API çağrısıyla, Kişiselleştirme mevcut mantığı ve sonuçları etkilemeden öğrenebilir. Azure portalından ve API'den sağlanan ölçümler, modelin öğrendiği performansı anlamanıza yardımcı olur. Özellikle, Kişiselleştirme'nin mevcut mantığınızla ne kadar iyi eşleştikleri (temel ilke olarak da bilinir).

Kişiselleştirici mevcut mantığınızı %60-80 oranında makul bir şekilde eşleştirebildiğinde, davranışı Çırak modundan Çevrimiçi moda değiştirebilirsiniz. Bu sırada Kişiselleştirici, temel alınan model tarafından belirlenen Derece API'sindeki en iyi eylemleri döndürür ve temel ilkenizden daha iyi kararlar almayı öğrenebilir.

Çırak modu neden kullanılır?

Çırak modu, uygulamanız tarafından kullanılan çevrimiçi kararlar almadan önce modelinizin mevcut karar mantığınızı taklit edebilmesi için bir yol sağlar. Bu, yukarıda belirtilen soğuk başlangıç sorununu hafifletmeye yardımcı olur ve Kişiselleştirme hizmetine daha fazla güven ve Kişiselleştirme'ye gönderilen verilerin modeli eğitmek için değerli olduğuna dair güvence sağlar. Bu işlem, çevrimiçi trafiğinizi ve müşteri deneyimlerinizi riske atmadan veya etkilemeden yapılır.

Çırak modunu kullanmanın iki ana nedeni şunlardır:

  • Soğuk Başlangıçları Azaltma: Çırak modu, bilgisiz kararlar almak zorunda kalmadan öğrenerek üretimde "yeni" bir modeli eğitme maliyetini azaltmaya yardımcı olur. Model, mevcut uygulama mantığınızı taklit etmeyi öğrenir.
  • Eylem ve Bağlam Özelliklerini Doğrulama: Bağlam ve Eylem özellikleri yetersiz, yanlış veya yetersiz tasarlanmış olabilir. Çok az, çok fazla, yanlış, gürültülü veya yanlış biçimlendirilmiş özellikler varsa, Kişiselleştirme iyi performans gösteren bir modeli eğitmekte zorlanır. Çırak modundayken özellik değerlendirmesi gerçekleştirmek, özelliklerin Eğitim Kişiselleştirme'de ne kadar etkili olduğunu keşfetmenize olanak tanır ve özellik kalitesini geliştirmeye yönelik alanları belirleyebilir.

Çırak modunu ne zaman kullanmalısınız?

Kullanıcılarınızın deneyimini Kişiselleştirmeden etkilenmeden bırakırken aşağıdaki senaryolar aracılığıyla Kişiselleştirici'yi eğitmek için Çırak modunu kullanın:

  • Kişiselleştirme'yi yeni bir senaryoda uyguluyorsunuz.
  • Bağlam veya Eylem özelliklerinde önemli değişiklikler yaptınız.

Ancak Çırak modu, Kişiselleştirme'nin ortalama ödülü veya iş KPI'lerinizi geliştirme üzerindeki etkisini ölçmenin etkili bir yolu değildir. Yalnızca sağladığınız geçerli veriler göz önüne alındığında hizmetin mevcut mantığınızı ne kadar iyi öğrendiğini değerlendirebilir. Kişiselleştirme'nin her Sıralama çağrısı için mümkün olan en iyi eylemi seçmede ne kadar etkili olduğunu ölçmek için, Kişiselleştirici Çevrimiçi modda olmalıdır veya Kişiselleştirici Çevrimiçi moddayken belirli bir süre boyunca Çevrimdışı değerlendirmeleri kullanabilirsiniz.

Kimler Çırak modunu kullanmalıdır?

Çırak modu geliştiriciler, veri bilimcileri ve iş karar alıcıları için yararlıdır:

  • Geliştiriciler , Rank ve Reward API'lerinin uygulamada doğru şekilde uygulandığından ve Kişiselleştirme'ye gönderilen özelliklerin hatalardan ve yaygın hatalardan arındığından emin olmak için Apprentice modunu kullanabilir. İyi Bağlam ve Eylem özellikleri oluşturma hakkında daha fazla bilgi edinin.

  • Veri bilimciler , özelliklerin Kişiselleştirme modellerini eğitmek için etkili olduğunu doğrulamak için Apprentice modunu kullanabilir. Diğer bir ifadeyle, özellikler Kişiselleştirme'nin mevcut karar mantığını öğrenmesine olanak sağlayan yararlı bilgiler içerir.

  • İş Kararı Verenler , Mevcut iş mantığına kıyasla sonuçları (yani ödülleri) geliştirmek için Kişiselleştirme potansiyelini değerlendirmek için Çırak modunu kullanabilir. Özellikle, Kişiselleştiricinin Çevrimiçi moda geçmeden önce sağlanan verilerden bilgi edinip öğrenemeyeceği. Bu, gerçek gelir ve kullanıcı memnuniyetinin söz konusu olduğu kullanıcı deneyimini etkileme konusunda bilinçli bir karar vermelerini sağlar.

Davranışları Karşılaştırma - Çırak modu ve Çevrimiçi mod

Çırak modundayken öğrenme, Çevrimiçi moddan aşağıdaki yollarla farklıdır.

Area Acemi modu Çevrimiçi mod
Kullanıcı Deneyimi Üzerindeki Etkisi Kullanıcıların deneyimi ve iş ölçümleri değişmez. Kişiselleştirme, geçerli uygulama mantığınızın temel eylemleri etkilenmeden gözlemlenerek eğitilir. Kullanıcılarınızın deneyimi, temel eyleminiz değil Kişiselleştirici tarafından karar verdikçe değişebilir.
Öğrenme hızı Kişiselleştirici, Çevrimiçi modda öğrenmeye kıyasla Çırak modundayken daha yavaş öğrenir. Çırak modu yalnızca keşif yapmadan varsayılan eyleminiz tarafından elde edilen ödülleri gözlemleyerek öğrenebilir ve bu da Kişiselleştirme'nin öğrenebileceği miktarı sınırlar. Hem geçerli modeldeki en iyi eylemden yararlanabileceği hem de daha iyi sonuçlar elde etmek için diğer eylemleri keşfedebildiği için daha hızlı öğrenir.
Öğrenme etkinliği "Tavan" Kişiselleştirici, uygulamanızın geçerli mantığının performansını (temel eylem tarafından elde edilen toplam ortalama ödül) yalnızca yaklaşık olarak aşabilir ve asla aşmaz. Kişiselleştirme'nin geçerli uygulamanızın mantığıyla %100 eşleşme elde etmesi pek olası değildir ve %60-%80 eşleşme elde edildikten sonra Kişiselleştirme'nin Çevrimiçi moda geçmesi önerilir. Kişiselleştirme, temel uygulama mantığınızın performansını aşmalıdır. Kişiselleştirme'nin performansı zaman içinde durursa, ek iyileştirmeler yapmak için çevrimdışı değerlendirme ve özellik değerlendirmesi gerçekleştirebilirsiniz.
rewardActionId için RANK API dönüş değeri rewardActionId her zaman varsayılan eylemin kimliği olacaktır. Diğer bir ifadeyle, Rank API isteği JSON'unda ilk eylem olarak gönderdiğiniz eylemdir. Başka bir deyişle, Rank API'si Çırak modu sırasında uygulamanız için görünür bir şey yapmaz. rewardActionId, Kişiselleştirme modeli tarafından belirlenen rank API çağrısında sağlanan kimliklerden biri olacaktır.
Değerlendirme Kişiselleştirici, geçerli uygulama mantığınız tarafından alınan ödül toplamlarının karşılaştırmasını tutar ve bu noktada Çevrimiçi moddaysa Ödül toplamları Kişiselleştirme'nin elde edeceğini gösterir. Bu karşılaştırma, Azure portalındaki Kişiselleştirme kaynağınızın İzleyici dikey penceresinde görüntülenebilir. Kişiselleştirme'nin etkinliğini değerlendirmek için Çevrimdışı değerlendirmeler çalıştırarak Kişiselleştirme'nin elde ettiği toplam ödülleri uygulama temelinin olası ödülleriyle karşılaştırın.

Kişiselleştirme'nin uygulamanın temel mantığıyla %100 performans eşleşmesi elde etme olasılığının düşük olduğunu ve bunu asla aşmayacağını unutmayın. %60-80 arası performans eşleştirmesi, Kişiselleştirici'nin daha iyi kararlar öğrenebileceği ve uygulamanızın temel mantığının performansını aşabileceği Çevrimiçi moda geçmek için yeterli olmalıdır.

Çırak Modu Sınırlamaları

Çırak Modu, Sıralama çağrılarında bulunan Bağlam ve Eylem özelliklerini kullanarak mevcut uygulamanızın temel mantığını taklit etmeye çalışarak Kişiselleştirme modelini eğitiyor. Aşağıdaki faktörler, Çırak modunun öğrenme becerisini etkiler.

Çırak Modunun Uygun Olmadığı Senaryolar:

Editoryal olarak seçilen İçerik:

Haber veya eğlence gibi bazı senaryolarda, temel öğe bir editör ekibi tarafından el ile atanabilir. Bu, insanların daha geniş dünya hakkındaki bilgilerini ve cazip olabilecek içerikleri anlayarak havuzdan belirli makaleleri veya medyayı seçtiği ve bunları "tercih edilen" veya "hero" makaleleri olarak işaretledikleri anlamına gelir. Bu düzenleyiciler bir algoritma olmadığından ve düzenleyiciler tarafından göz önünde bulundurulan faktörler öznel ve bağlam veya Eylem özellikleriyle ilgisiz olabilir. Bu durumda, Çırak modu temel eylemi tahmin etmekte zorlanabilir. Bu durumlarda şunları yapabilirsiniz:

  • Çevrimiçi Modda Kişiselleştiriciyi Test Etme: Altyapınız varsa Kişiselleştirme'yi çevrimiçi moda veya A/B testine yerleştirmeyi ve ardından uygulamanızın temel mantığıyla Kişiselleştirme arasındaki farkı değerlendirmek için Çevrimdışı Değerlendirme çalıştırmayı göz önünde bulundurun.
  • Özellik olarak editoryal konular ve öneriler ekleyin: Düzenleyicilerinize seçimlerini hangi faktörlerin etkilediğini sorun ve bunları bağlamınıza ve eyleminize özellik olarak ekleyip ekleyebildiğinize bakın. Örneğin, bir medya şirketindeki düzenleyiciler, belirli bir ünlü sık sık haberlere çıktığında içeriği vurgulayabilir: Bu bilgi bağlam özelliği olarak eklenebilir.

Çırak Modu'nu geliştirecek ve hızlandıracak faktörler

Çırak modu sıfırın üzerinde bir eşleştirme performansı öğrenip elde ediyorsa ancak performans yavaş ilerliyorsa (iki hafta içinde %60 ila %80 eşleşen ödüllere ulaşmıyorsa), Kişiselleştirme'ye çok az veri gönderiliyor olabilir. Aşağıdaki adımlar daha hızlı öğrenmeyi kolaylaştırma konusunda yardımcı olabilir:

  1. Ayırt edici özellikler ekleme: Sıralama çağrısındaki eylemleri ve bunların özelliklerini görsel olarak inceleyebilirsiniz. Temel eylemin diğer eylemlerden ayırt edilen özellikleri var mı? Çoğunlukla aynı görünüyorlarsa, özellik değerlerinin çeşitliliğini artıracak daha fazla özellik ekleyin.
  2. Olay Başına Eylemleri Azaltma: Kişiselleştirme, tercihleri ve eğilimleri keşfetmek için "araştırma için kullanılacak Sıralama çağrılarının yüzdesi" ayarını kullanır. Bir Sıralama çağrısında daha fazla eylem olduğunda, araştırma için belirli bir Eylemin seçilme olasılığı daha düşük olur. Her Sıralama çağrısında gönderilen eylemlerin sayısını daha küçük bir numaraya (10'un altında) azaltmak, Çırak Modu'nun öğrenmek için yeterli veriye sahip olup olmadığını gösteren geçici bir ayarlama olabilir.

Geçmiş verilerle eğitmek için Çırak modunu kullanma

Kişiselleştirmeyi eğitmek için kullanmak istediğiniz önemli miktarda geçmiş veriniz varsa, Kişiselleştirici aracılığıyla verileri yeniden oynatmak için Çırak modunu kullanabilirsiniz.

Kişiselleştirme'yi Çırak Modu'nda ayarlayın ve geçmiş verilerdeki eylemler ve bağlam özellikleriyle Rank'ı çağıran bir betik oluşturun. Bu verilerdeki kayıt hesaplamalarınıza göre Reward API'sini çağırın. Kişiselleştirme'nin uygulamanızın temel mantığıyla %60-80 eşleşmesi elde ettiği görmek için yaklaşık 50.000 geçmiş olayına ihtiyacınız olabilir. Daha az veya daha fazla olayla tatmin edici sonuçlar elde edebilirsiniz.

Geçmiş verilerden eğitim yaparken ,[bağlam ve eylemlere yönelik özellikler, Sıralama istekleri için kullanılan JSON düzeni ve bu eğitim veri kümesindeki ödül hesaplaması] ile gönderilen verilerin mevcut uygulamanızdaki [özellikler ve ödül hesaplaması] verileriyle eşleşmesi önerilir.

Çevrimdışı ve geçmişe dönük veriler daha eksik ve daha gürültülü olma eğilimindedir ve üretim içi (veya çevrimiçi) senaryonuzdan farklı biçimlerde olabilir. Geçmiş verilerden eğitim almak mümkün olsa da, bu işlemin sonuçları kesin olmayabilir ve özellikle özellikler geçmiş veriler ile geçerli senaryo arasında farklılık gösteriyorsa, Kişiselleştirme'nin Çevrimiçi modda ne kadar iyi öğreneceği konusunda iyi bir tahminde bulunamaz.

Çırak Modu ile A/B Testlerini Kullanma

Kişiselleştirici tedavilerinin A/B testlerini yalnızca Doğrulandıktan ve Çevrimiçi modda öğrendikten sonra yapmak yararlıdır, çünkü Çırak modunda yalnızca temel eylem kullanılır ve mevcut mantık öğrenilir. Bu temelde Kişiselleştirme'nin A/B testinizin "denetim" kolunun eylemini döndüreceği anlamına gelir, bu nedenle Çırak modundaki bir A/B testinin değeri yoktur.

Kişiselleştirici kullanarak bir kullanım örneğiniz olduğunda ve çevrimiçi öğrendiğinizde, A/B denemeleri kontrollü kohortlar oluşturmanıza ve ödüller için kullanılan sinyallerden daha karmaşık olabilecek sonuçların karşılaştırmalarını gerçekleştirmenize olanak sağlayabilir. A/B testinin yanıtlayabildiği örnek sorulardan biri şudur: "Perakende web sitesinde Kişiselleştirme bir düzeni iyileştirir ve daha fazla kullanıcının daha önce kullanıma almasını sağlar, ancak bu işlem başına toplam geliri azaltır mı?"

Sonraki adımlar