Ajánló értékelése

Ez a cikk az Ajánló kiértékelése összetevő használatát ismerteti az Azure Machine Learning Designerben. A cél a javaslati modell által készített előrejelzések pontosságának mérése. Ennek az összetevőnek a használatával különböző típusú javaslatokat értékelhet ki:

• Felhasználó és elem által előrejelzett értékelések
• Felhasználó számára ajánlott elemek

Ha javaslati modellel hoz létre előrejelzéseket, a rendszer némileg eltérő eredményeket ad vissza a támogatott előrejelzési típusok mindegyikéhez. Az Evaluate Recommender összetevő a pontozott adathalmaz oszlopformátumából következtet az előrejelzés típusára. A pontozott adathalmaz például a következőket tartalmazhatja:

• Felhasználó-elem minősítési tripla
• Felhasználók és ajánlott elemeik

Az összetevő a megfelelő teljesítménymetrikákat is alkalmazza az előrejelzés típusa alapján.

Az Evaluate Recommender konfigurálása

Az Evaluate Recommender összetevő összehasonlítja az előrejelzési kimenetet egy javaslati modell és a megfelelő "földi igazság" adatok használatával. Az SVD-ajánló pontszáma összetevő például pontozott adatkészleteket hoz létre, amelyeket az Evaluate Recommender használatával elemezhet.

Követelmények

Az Ajánló kiértékelése bemenetként a következő adathalmazokat igényli.

Adathalmaz tesztelése

A tesztadatkészlet a "földi igazság" adatokat felhasználói elem-minősítési tripla formájában tartalmazza.

Pontozott adatkészlet

A pontozott adatkészlet tartalmazza a javaslati modell által létrehozott előrejelzéseket.

A második adathalmaz oszlopai a pontozási folyamat során végrehajtott előrejelzés típusától függenek. A pontozott adathalmaz például az alábbiak valamelyikét tartalmazhatja:

• Felhasználók, elemek és azok az értékelések, amelyeket a felhasználó valószínűleg adna az elemhez
• A felhasználók és a számukra ajánlott elemek listája

Mérőszámok

A modell teljesítménymetrikái a bemenet típusa alapján jönnek létre. A következő szakaszok ismertetik a részleteket.

Előrejelzett értékelések kiértékelése

Az előrejelzett értékelések kiértékelésekor a pontozott adatkészletnek (az Ajánló kiértékelése második bemenetének) az alábbi követelményeknek megfelelő felhasználói elem-minősítési triplákat kell tartalmaznia:

• Az adathalmaz első oszlopa tartalmazza a felhasználói azonosítókat.
• A második oszlop tartalmazza az elemazonosítókat.
• A harmadik oszlop a megfelelő felhasználóielem-minősítéseket tartalmazza.

Fontos

Ahhoz, hogy a kiértékelés sikeres legyen, az oszlopneveknek User, Itemés Rating.

Az Evaluate Recommender összehasonlítja az "alapigazság" adathalmaz értékeléseit a pontozott adathalmaz előrejelzett értékelésével. Ezután kiszámítja az abszolút hiba középértékét (MAE) és a gyökér középérték négyzetes hibáját (RMSE).

Elemjavaslatok kiértékelése

Az elemjavaslatok kiértékelésekor használjon egy pontozott adatkészletet, amely tartalmazza az egyes felhasználók számára ajánlott elemeket:

• Az adathalmaz első oszlopának tartalmaznia kell a felhasználói azonosítót.
• Minden további oszlopnak tartalmaznia kell a megfelelő ajánlott elemazonosítókat, amelyeket az alapján kell rendezni, hogy mennyire releváns egy elem a felhasználó számára.

Mielőtt csatlakoztatja ezt az adathalmazt, javasoljuk, hogy rendezze az adathalmazt úgy, hogy a legrelevánsabb elemek érkezzenek először.

Fontos

Ahhoz, hogy az Evaluate Recommender működjön, az oszlopneveknek , Item 1, Item 2Item 3 és így tovább kell lenniükUser.

Az Evaluate Recommender kiszámítja az átlagos normalizált diszkontált összesített nyereséget (NDCG), és visszaadja azt a kimeneti adatkészletben.

Mivel az ajánlott elemek tényleges "alapigazsága" nem ismerhető meg, az Evaluate Recommender az NDCG számításának nyereségeként használja a tesztadatkészlet felhasználóielem-minősítéseit. Az értékeléshez az ajánló pontozási összetevőnek csak a "földi igazság" minősítésű elemekre vonatkozó javaslatokat kell készítenie (a tesztadatkészletben).

Következő lépések

Tekintse meg az Azure Machine Learning számára elérhető összetevőket .