Ajánló értékelése
Ez a cikk az Ajánló kiértékelése összetevő használatát ismerteti az Azure Machine Learning Designerben. A cél a javaslatmodell által készített előrejelzések pontosságának mérése. Ennek az összetevőnek a használatával különböző típusú javaslatokat értékelhet ki:
- Felhasználó és elem számára előrejelzett értékelések
- Felhasználó számára ajánlott elemek
Ha javaslatmodell használatával hoz létre előrejelzéseket, a rendszer kissé eltérő eredményeket ad vissza mindegyik támogatott előrejelzési típushoz. Az Ajánló kiértékelése összetevő a pontozott adathalmaz oszlopformátumából következtet az előrejelzés típusára. A pontozott adathalmaz például a következőket tartalmazhatja:
- Felhasználó-elem minősítési tripla
- Felhasználók és az általuk javasolt elemek
Az összetevő a megfelelő teljesítménymetrikákat is alkalmazza az előrejelzés típusa alapján.
Az Ajánló kiértékelése konfigurálása
Az Ajánló kiértékelése összetevő egy javaslatmodell és a megfelelő "alapigazság" adatok használatával hasonlítja össze az előrejelzési kimenetet. A Score SVD Recommender összetevő például olyan pontozott adathalmazokat hoz létre, amelyeket elemezhet a Kiértékelési ajánló használatával.
Követelmények
A Kiértékelési ajánló bemenetként az alábbi adatkészleteket igényli.
Adatkészlet tesztelése
A tesztadatkészlet az "alapigazság" adatokat tartalmazza a felhasználó-elem-értékelés hármas formájában.
Pontozott adatkészlet
A pontozott adatkészlet tartalmazza a javaslatmodell által létrehozott előrejelzéseket.
A második adatkészlet oszlopai a pontozási folyamat során végrehajtott előrejelzés típusától függenek. A pontozott adathalmaz például az alábbiak valamelyikét tartalmazhatja:
- Felhasználók, elemek és azok az értékelések, amelyeket a felhasználó valószínűleg adna az elemhez
- A felhasználók és a számukra ajánlott elemek listája
Mérőszámok
A modell teljesítménymetrikái a bemenet típusa alapján jönnek létre. A következő szakaszok részletesen ismertetik a részleteket.
Előrejelzett értékelések kiértékelése
Az előrejelzett értékelések kiértékelésekor a pontozott adatkészletnek (az ajánló kiértékeléséhez használt második bemenetnek) az alábbi követelményeknek megfelelő felhasználói elem-minősítési triplákat kell tartalmaznia:
- Az adathalmaz első oszlopa tartalmazza a felhasználói azonosítókat.
- A második oszlop tartalmazza az elemazonosítókat.
- A harmadik oszlop a megfelelő felhasználói elemek minősítéseit tartalmazza.
Fontos
Ahhoz, hogy a kiértékelés sikeres legyen, az oszlopneveknek , illetve Ratingaz oszlopneveknek kell lenniük.UserItem
A Evaluate Recommender az "alapigazság" adathalmazban szereplő értékeléseket hasonlítja össze a pontozott adathalmaz előrejelzett minősítésével. Ezután kiszámítja az átlagos abszolút hibát (MAE) és a gyökér középérték négyzetes hibáját (RMSE).
Elemjavaslatok kiértékelése
Az elemjavaslatok kiértékelésekor használjon egy pontozott adatkészletet, amely tartalmazza az egyes felhasználók számára ajánlott elemeket:
- Az adathalmaz első oszlopának tartalmaznia kell a felhasználói azonosítót.
- Minden további oszlopnak tartalmaznia kell a megfelelő ajánlott elemazonosítókat, amelyeket az alapján kell rendezni, hogy az adott elem mennyire releváns a felhasználó számára.
Mielőtt csatlakoztatja ezt az adatkészletet, javasoljuk, hogy rendezze az adathalmazt, hogy a legrelevánsabb elemek jöjjenek először.
Fontos
Ahhoz, hogy az Ajánló kiértékelése működjön, az oszlopneveknek , , Item 3 Item 2és így tovább kell lenniükUserItem 1.
A Evaluate Recommender kiszámítja az átlagos normalizált diszkontált összesített nyereséget (NDCG), és visszaadja a kimeneti adatkészletben.
Mivel az ajánlott elemek tényleges "alapigazsága" nem ismerhető meg, a Evaluate Recommender a tesztadatkészlet felhasználóielem-minősítéseit használja az NDCG számításának nyereségeként. Az értékeléshez az ajánló pontozási összetevőnek csak "alapigaz" minősítéssel rendelkező elemekre (a tesztadatkészletben) kell ajánlásokat készítenie.
Következő lépések
Tekintse meg az Azure Machine Learning számára elérhető összetevőket.