Ocena modułu poleceń
W tym artykule opisano sposób używania składnika Evaluate Recommender w projektancie usługi Azure Machine Learning. Celem jest pomiar dokładności przewidywań, które dokonał model rekomendacji. Korzystając z tego składnika, można ocenić różne rodzaje zaleceń:
- Oceny przewidywane dla użytkownika i elementu
- Elementy zalecane dla użytkownika
Podczas tworzenia przewidywań przy użyciu modelu rekomendacji są zwracane nieco inne wyniki dla każdego z tych obsługiwanych typów przewidywania. Składnik Evaluate Recommender deduuje rodzaj przewidywania z formatu kolumny ocenionego zestawu danych. Na przykład wygenerowany zestaw danych może zawierać następujące elementy:
- Ocena elementu użytkownika potroi się
- Użytkownicy i ich zalecane elementy
Składnik stosuje również odpowiednie metryki wydajności na podstawie typu przewidywania.
Jak skonfigurować narzędzie do oceny rekomendacji
Składnik Evaluate Recommender porównuje dane wyjściowe przewidywania przy użyciu modelu rekomendacji z odpowiednimi danymi "podstawy prawdy". Na przykład składnik Score SVD Recommender generuje ocenione zestawy danych, które można analizować przy użyciu funkcji Evaluate Recommender.
Wymagania
Funkcja Evaluate Recommender wymaga następujących zestawów danych jako danych wejściowych.
Testowy zestaw danych
Zestaw danych testowych zawiera dane "podstawowej prawdy" w postaci potrójnych ocen użytkowników.
Zestaw danych z wynikami
Wygenerowany przez model rekomendacji zestaw danych zawiera przewidywania.
Kolumny w tym drugim zestawie danych zależą od rodzaju przewidywania wykonanego podczas procesu oceniania. Na przykład wygenerowany zestaw danych może zawierać jeden z następujących elementów:
- Użytkownicy, elementy i oceny, które użytkownik prawdopodobnie nadałby dla elementu
- Lista użytkowników i elementów zalecanych dla nich
Metryki
Metryki wydajności modelu są generowane na podstawie typu danych wejściowych. W poniższych sekcjach znajdują się szczegółowe informacje.
Ocena przewidywanych ocen
Podczas oceniania przewidywanych ocen wynikowy zestaw danych (drugi element wejściowy do oceny rekomendacji) musi zawierać potrójne oceny elementu użytkownika, które spełniają następujące wymagania:
- Pierwsza kolumna zestawu danych zawiera identyfikatory użytkownika.
- Druga kolumna zawiera identyfikatory elementów.
- Trzecia kolumna zawiera odpowiednie klasyfikacje elementów użytkownika.
Ważne
Aby ocena powiodła się, nazwy kolumn muszą być Userodpowiednio , Itemi Rating.
Funkcja Evaluate Recommender porównuje oceny w zestawie danych "ground truth" z przewidywanymi ocenami ocenionego zestawu danych. Następnie oblicza błąd bezwzględny średniej (MAE) i błąd średniokwadratowy (RMSE).
Ocena zaleceń dotyczących elementów
Podczas oceniania zaleceń dotyczących elementów należy użyć zestawu danych, który zawiera zalecane elementy dla każdego użytkownika:
- Pierwsza kolumna zestawu danych musi zawierać identyfikator użytkownika.
- Wszystkie kolejne kolumny powinny zawierać odpowiednie zalecane identyfikatory elementów uporządkowane według tego, jak odpowiedni jest element dla użytkownika.
Przed nawiązaniem połączenia z tym zestawem danych zalecamy posortowanie zestawu danych tak, aby najważniejsze elementy zostały najpierw posortowane.
Ważne
Aby funkcja Evaluate Recommender działała, nazwy kolumn muszą być User, Item 1i Item 2Item 3 tak dalej.
Funkcja Evaluate Recommender oblicza średni znormalizowany zysk skumulowany z rabatem (NDCG) i zwraca go w wyjściowym zestawie danych.
Ponieważ nie można znać rzeczywistej "podstawowej prawdy" dla zalecanych elementów, funkcja Evaluate Recommender używa klasyfikacji elementów użytkownika w zestawie danych testowych jako zysków w obliczeniach NDCG. Aby ocenić, składnik oceniania modułu rekomendacji musi generować tylko zalecenia dotyczące elementów z ocenami "podstaw prawdy" (w zestawie danych testowych).
Następne kroki
Zobacz zestaw składników dostępnych dla usługi Azure Machine Learning.