Ajánló értékelése
Ez a cikk az Ajánló kiértékelése összetevő használatát ismerteti az Azure Machine Learning Designerben. A cél a javaslati modell által készített előrejelzések pontosságának mérése. Ennek az összetevőnek a használatával különböző típusú javaslatokat értékelhet ki:
- Felhasználó és elem által előrejelzett értékelések
- Felhasználó számára ajánlott elemek
Ha javaslati modellel hoz létre előrejelzéseket, a rendszer némileg eltérő eredményeket ad vissza a támogatott előrejelzési típusok mindegyikéhez. Az Evaluate Recommender összetevő a pontozott adathalmaz oszlopformátumából következtet az előrejelzés típusára. A pontozott adathalmaz például a következőket tartalmazhatja:
- Felhasználó-elem minősítési tripla
- Felhasználók és ajánlott elemeik
Az összetevő a megfelelő teljesítménymetrikákat is alkalmazza az előrejelzés típusa alapján.
Az Evaluate Recommender konfigurálása
Az Evaluate Recommender összetevő összehasonlítja az előrejelzési kimenetet egy javaslati modell és a megfelelő "földi igazság" adatok használatával. Az SVD-ajánló pontszáma összetevő például pontozott adatkészleteket hoz létre, amelyeket az Evaluate Recommender használatával elemezhet.
Követelmények
Az Ajánló kiértékelése bemenetként a következő adathalmazokat igényli.
Adathalmaz tesztelése
A tesztadatkészlet a "földi igazság" adatokat felhasználói elem-minősítési tripla formájában tartalmazza.
Pontozott adatkészlet
A pontozott adatkészlet tartalmazza a javaslati modell által létrehozott előrejelzéseket.
A második adathalmaz oszlopai a pontozási folyamat során végrehajtott előrejelzés típusától függenek. A pontozott adathalmaz például az alábbiak valamelyikét tartalmazhatja:
- Felhasználók, elemek és azok az értékelések, amelyeket a felhasználó valószínűleg adna az elemhez
- A felhasználók és a számukra ajánlott elemek listája
Mérőszámok
A modell teljesítménymetrikái a bemenet típusa alapján jönnek létre. A következő szakaszok ismertetik a részleteket.
Előrejelzett értékelések kiértékelése
Az előrejelzett értékelések kiértékelésekor a pontozott adatkészletnek (az Ajánló kiértékelése második bemenetének) az alábbi követelményeknek megfelelő felhasználói elem-minősítési triplákat kell tartalmaznia:
- Az adathalmaz első oszlopa tartalmazza a felhasználói azonosítókat.
- A második oszlop tartalmazza az elemazonosítókat.
- A harmadik oszlop a megfelelő felhasználóielem-minősítéseket tartalmazza.
Fontos
Ahhoz, hogy a kiértékelés sikeres legyen, az oszlopneveknek User
, Item
és Rating
.
Az Evaluate Recommender összehasonlítja az "alapigazság" adathalmaz értékeléseit a pontozott adathalmaz előrejelzett értékelésével. Ezután kiszámítja az abszolút hiba középértékét (MAE) és a gyökér középérték négyzetes hibáját (RMSE).
Elemjavaslatok kiértékelése
Az elemjavaslatok kiértékelésekor használjon egy pontozott adatkészletet, amely tartalmazza az egyes felhasználók számára ajánlott elemeket:
- Az adathalmaz első oszlopának tartalmaznia kell a felhasználói azonosítót.
- Minden további oszlopnak tartalmaznia kell a megfelelő ajánlott elemazonosítókat, amelyeket az alapján kell rendezni, hogy mennyire releváns egy elem a felhasználó számára.
Mielőtt csatlakoztatja ezt az adathalmazt, javasoljuk, hogy rendezze az adathalmazt úgy, hogy a legrelevánsabb elemek érkezzenek először.
Fontos
Ahhoz, hogy az Evaluate Recommender működjön, az oszlopneveknek , Item 1
, Item 2
Item 3
és így tovább kell lenniükUser
.
Az Evaluate Recommender kiszámítja az átlagos normalizált diszkontált összesített nyereséget (NDCG), és visszaadja azt a kimeneti adatkészletben.
Mivel az ajánlott elemek tényleges "alapigazsága" nem ismerhető meg, az Evaluate Recommender az NDCG számításának nyereségeként használja a tesztadatkészlet felhasználóielem-minősítéseit. Az értékeléshez az ajánló pontozási összetevőnek csak a "földi igazság" minősítésű elemekre vonatkozó javaslatokat kell készítenie (a tesztadatkészletben).
Következő lépések
Tekintse meg az Azure Machine Learning számára elérhető összetevőket .
Visszajelzés
https://aka.ms/ContentUserFeedback.
Hamarosan elérhető: 2024-ben fokozatosan kivezetjük a GitHub-problémákat a tartalom visszajelzési mechanizmusaként, és lecseréljük egy új visszajelzési rendszerre. További információ:Visszajelzés küldése és megtekintése a következőhöz: