Vyhodnocení doporučovacího systému

Tento článek popisuje, jak používat komponentu Evaluate Recommender v návrháři služby Azure Machine Learning. Cílem je změřit přesnost předpovědí, které provedl model doporučení. Pomocí této komponenty můžete vyhodnotit různé druhy doporučení:

• Hodnocení předpovězená pro uživatele a položku
• Doporučené položky pro uživatele

Při vytváření předpovědí pomocí modelu doporučení se pro každý z těchto podporovaných typů predikcí vrátí mírně odlišné výsledky. Komponenta Evaluate Recommender odvodí druh předpovědi z formátu sloupce datové sady s skóre. Datová sada s skóre může například obsahovat:

• Trojité hodnocení položek uživatele
• Uživatelé a jejich doporučené položky

Komponenta také použije příslušné metriky výkonu na základě typu vytvářené předpovědi.

Postup konfigurace nástroje Evaluate Recommender

Komponenta Evaluate Recommender porovnává výstup předpovědi pomocí modelu doporučení s odpovídajícími daty "základní pravdy". Například komponenta Score SVD Recommender vytváří vyhodnocené datové sady, které můžete analyzovat pomocí funkce Evaluate Recommender.

Požadavky

Funkce Evaluate Recommender vyžaduje jako vstup následující datové sady.

Testovací datová sada

Testovací datová sada obsahuje data "základní pravdy" ve formě trojité hodnocení položek uživatele.

Datová sada s skóre

Výsledná datová sada obsahuje předpovědi, které model doporučení vygeneroval.

Sloupce v této druhé datové sadě závisí na typu předpovědi, kterou jste provedli během procesu vyhodnocování. Datová sada s skóre může například obsahovat jednu z následujících možností:

• Uživatelé, položky a hodnocení, které by uživatel pro danou položku pravděpodobně poskytl
• Seznam uživatelů a položek doporučených pro ně

Metriky

Metriky výkonu modelu se generují na základě typu vstupu. Podrobnosti najdete v následujících částech.

Vyhodnocení predikovaných hodnocení

Při vyhodnocování předpovídaného hodnocení musí datová sada s skóre (druhý vstup pro vyhodnocení doporučovače) obsahovat trojité hodnocení položek uživatele, které splňují tyto požadavky:

• První sloupec datové sady obsahuje identifikátory uživatele.
• Druhý sloupec obsahuje identifikátory položek.
• Třetí sloupec obsahuje odpovídající hodnocení položek uživatele.

Důležité

Aby bylo vyhodnocení úspěšné, musí být Usernázvy sloupců , Itema Ratingv uvedeném pořadí.

Funkce Evaluate Recommender porovnává hodnocení v datové sadě "základní pravdy" s predikovanými hodnoceními hodnocené datové sady. Potom vypočítá střední absolutní chybu (MAE) a odmocninu střední střední kvadratická chyba (RMSE).

Vyhodnocení doporučení položek

Při vyhodnocování doporučení položek použijte datovou sadu se skóre, která obsahuje doporučené položky pro každého uživatele:

• První sloupec datové sady musí obsahovat identifikátor uživatele.
• Všechny následující sloupce by měly obsahovat odpovídající doporučené identifikátory položek seřazené podle toho, jak relevantní je položka pro uživatele.

Než tuto datovou sadu připojíte, doporučujeme datovou sadu seřadit tak, aby se jako první dostaly ty nejrelevantnější položky.

Důležité

Aby funkce Vyhodnotit doporučovací funkci fungovala, musí být Usernázvy sloupců , Item 1, Item 3 Item 2atd.

Vyhodnocení nástroje Recommender vypočítá průměrný normalizovaný slevový kumulativní zisk (NDCG) a vrátí ho ve výstupní datové sadě.

Vzhledem k tomu, že není možné znát skutečnou "základní pravdu" pro doporučené položky, nástroj Evaluate Recommender používá hodnocení uživatelských položek v testovací datové sadě jako zisky ve výpočtu NDCG. Aby bylo možno vyhodnotit, komponenta bodování doporučujícího musí vytvářet doporučení pouze pro položky s hodnocením "základní pravdy" (v testovací datové sadě).

Další kroky

Podívejte se na sadu komponent dostupných pro Azure Machine Learning.