Ocena modułu poleceń

W tym artykule opisano sposób używania składnika Evaluate Recommender w projektancie usługi Azure Machine Learning. Celem jest zmierzenie dokładności przewidywań dokonanych przez model rekomendacji. Korzystając z tego składnika, można ocenić różne rodzaje zaleceń:

• Oceny przewidywane dla użytkownika i elementu
• Elementy zalecane dla użytkownika

Podczas tworzenia przewidywań przy użyciu modelu rekomendacji są zwracane nieco inne wyniki dla każdego z tych obsługiwanych typów przewidywania. Składnik Evaluate Recommender deduuje rodzaj przewidywania z formatu kolumny obliczonego zestawu danych. Na przykład wygenerowany zestaw danych może zawierać następujące elementy:

• Ocena elementu użytkownika trzykrotnie
• Użytkownicy i ich zalecane elementy

Składnik stosuje również odpowiednie metryki wydajności na podstawie typu przewidywania.

Jak skonfigurować narzędzie evaluate recommender

Składnik Evaluate Recommender porównuje dane wyjściowe przewidywania przy użyciu modelu rekomendacji z odpowiednimi danymi "podstawy prawdy". Na przykład składnik Score SVD Recommender generuje ocenione zestawy danych, które można analizować przy użyciu narzędzia Evaluate Recommender.

Wymagania

Funkcja Evaluate Recommender wymaga następujących zestawów danych jako danych wejściowych.

Testowy zestaw danych

Zestaw danych testowych zawiera dane "podstawy prawdy" w postaci potrójnych ocen elementów użytkownika.

Szacowany zestaw danych

Wygenerowany przez model rekomendacji zestaw danych zawiera przewidywania.

Kolumny w tym drugim zestawie danych zależą od rodzaju przewidywania wykonanego podczas procesu oceniania. Na przykład wygenerowany zestaw danych może zawierać jedną z następujących wartości:

• Użytkownicy, elementy i oceny, które prawdopodobnie dadzą użytkownikowi dla elementu
• Lista użytkowników i elementów zalecanych dla nich

Metryki

Metryki wydajności modelu są generowane na podstawie typu danych wejściowych. Poniższe sekcje zawierają szczegółowe informacje.

Ocena przewidywanych ocen

Podczas oceniania przewidywanych ocen oceniany zestaw danych (drugie dane wejściowe do oceny rekomendacji) musi zawierać potrójne oceny elementów użytkownika, które spełniają następujące wymagania:

• Pierwsza kolumna zestawu danych zawiera identyfikatory użytkownika.
• Druga kolumna zawiera identyfikatory elementów.
• Trzecia kolumna zawiera odpowiednie klasyfikacje elementów użytkownika.

Ważne

Aby ocena powiodła się, nazwy kolumn muszą być Userodpowiednio , Itemi Rating.

Funkcja Evaluate Recommender porównuje oceny w zestawie danych "podstawy prawdy" do przewidywanych ocen ocenionego zestawu danych. Następnie oblicza błąd bezwzględny średniej (MAE) i główny błąd średniokwadratowy (RMSE).

Ocena zaleceń dotyczących elementów

Podczas oceniania zaleceń dotyczących elementów należy użyć obliczonego zestawu danych zawierającego zalecane elementy dla każdego użytkownika:

• Pierwsza kolumna zestawu danych musi zawierać identyfikator użytkownika.
• Wszystkie kolejne kolumny powinny zawierać odpowiednie zalecane identyfikatory elementów uporządkowane według tego, jak odpowiedni jest element dla użytkownika.

Przed nawiązaniem połączenia z tym zestawem danych zalecamy posortowanie zestawu danych tak, aby najbardziej odpowiednie elementy zostały najpierw posortowane.

Ważne

Aby narzędzie Evaluate Recommender działało, nazwy kolumn muszą mieć Userwartość , Item 2Item 1i Item 3 tak dalej.

Funkcja Evaluate Recommender oblicza średni znormalizowany zysk skumulowany z rabatem (NDCG) i zwraca go w wyjściowym zestawie danych.

Ponieważ nie można znać rzeczywistej "podstawy prawdy" dla zalecanych elementów, Evaluate Recommender używa klasyfikacji elementów użytkownika w zestawie danych testowych jako zysków w obliczeniach NDCG. Aby ocenić, składnik oceniania modułu rekomendacji musi generować tylko zalecenia dotyczące elementów z klasyfikacją "podstawy prawdy" (w zestawie danych testowych).

Następne kroki

Zobacz zestaw składników dostępnych dla usługi Azure Machine Learning.