Önereni Değerlendirme

  • Makale

Bu makalede Azure Machine Learning tasarımcısında Önerileni Değerlendir bileşeninin nasıl kullanılacağı açıklanmaktadır. Amaç, bir öneri modelinin yaptığı tahminlerin doğruluğunu ölçmektir. Bu bileşeni kullanarak farklı öneri türlerini değerlendirebilirsiniz:

  • Kullanıcı ve öğe için tahmin edilen derecelendirmeler
  • Bir kullanıcı için önerilen öğeler

Bir öneri modeli kullanarak tahmin oluşturduğunuzda, bu desteklenen tahmin türlerinin her biri için biraz farklı sonuçlar döndürülür. Evaluate Recommender bileşeni, puanlanan veri kümesinin sütun biçimindeki tahmin türünü gösterir. Örneğin, puanlanan veri kümesi şunları içerebilir:

  • Kullanıcı öğesi derecelendirme üçlüleri
  • Kullanıcılar ve önerilen öğeleri

Bileşen, yapılan tahmin türüne göre uygun performans ölçümlerini de uygular.

Evaluate Recommender'ı yapılandırma

Evaluate Recommender bileşeni, bir öneri modeli kullanarak tahmin çıkışını ilgili "temel gerçek" verilerle karşılaştırır. Örneğin, Score SVD Recommender bileşeni, Evaluate Recommender kullanarak çözümleyebileceğiniz puanlanmış veri kümeleri oluşturur.

Gereksinimler

Evaluate Recommender, giriş olarak aşağıdaki veri kümelerini gerektirir.

Test veri kümesi

Test veri kümesi, "temel gerçek" verilerini kullanıcı-öğe derecelendirme üçlüleri biçiminde içerir.

Puanlanan veri kümesi

Puanlanan veri kümesi, öneri modelinin oluşturduğu tahminleri içerir.

Bu ikinci veri kümesindeki sütunlar, puanlama işlemi sırasında gerçekleştirdiğiniz tahmin türüne bağlıdır. Örneğin, puanlanan veri kümesi aşağıdakilerden birini içerebilir:

  • Kullanıcının öğe için vereceği kullanıcılar, öğeler ve derecelendirmeler
  • Kullanıcılar ve bunlar için önerilen öğelerin listesi

Ölçümler

Modelin performans ölçümleri giriş türüne göre oluşturulur. Aşağıdaki bölümlerde ayrıntılar verebilirsiniz.

Tahmin edilen derecelendirmeleri değerlendirme

Tahmin edilen derecelendirmeleri değerlendirirken, puanlanan veri kümesi (Öneriyi Değerlendir'e ikinci giriş) şu gereksinimleri karşılayan kullanıcı öğesi derecelendirme üçlülerini içermelidir:

  • Veri kümesinin ilk sütunu kullanıcı tanımlayıcılarını içerir.
  • İkinci sütun öğe tanımlayıcılarını içerir.
  • Üçüncü sütun, ilgili kullanıcı öğesi derecelendirmelerini içerir.

Önemli

Değerlendirmenin başarılı olması için sütun adlarının sırasıyla , Itemve Ratingolması Usergerekir.

Evaluate Recommender, "ground truth" veri kümesindeki derecelendirmeleri puanlanan veri kümesinin tahmin edilen derecelendirmeleriyle karşılaştırır. Daha sonra ortalama mutlak hatayı (MAE) ve kök ortalama kare hatasını (RMSE) hesaplar.

Öğe önerilerini değerlendirme

Öğe önerilerini değerlendirirken, her kullanıcı için önerilen öğeleri içeren puanlanmış bir veri kümesi kullanın:

  • Veri kümesinin ilk sütunu kullanıcı tanımlayıcısını içermelidir.
  • Sonraki tüm sütunlar, bir öğenin kullanıcıya ne kadar uygun olduğuna göre sıralanmış, ilgili önerilen öğe tanımlayıcılarını içermelidir.

Bu veri kümesini bağlamadan önce, en ilgili öğelerin önce gelmesi için veri kümesini sıralamanızı öneririz.

Önemli

Değerlendirme Önerisi'nin çalışması için sütun adlarının , Item 1, Item 2ve Item 3 benzeri olması Usergerekir.

Recommender'ı değerlendirin ortalama normalleştirilmiş indirimli kümülatif kazancı (NDCG) hesaplar ve bunu çıkış veri kümesinde döndürür.

Önerilen öğeler için gerçek "temel gerçeği" bilmek imkansız olduğundan, Evaluate Recommender test veri kümesindeki kullanıcı öğesi derecelendirmelerini NDCG hesaplamasında kazanç olarak kullanır. Değerlendirme yapmak için, önerilen puanlama bileşeninin yalnızca "temel gerçeklik" derecelendirmelerine sahip öğeler için (test veri kümesinde) öneriler üretmesi gerekir.

Sonraki adımlar

Bkz. Azure Machine Learning'de kullanılabilen bileşenler kümesi .