Aanbevelingsfunctie voor evaluatie

In dit artikel wordt beschreven hoe u het onderdeel Evaluate Recommender gebruikt in Azure Machine Learning Designer. Het doel is om de nauwkeurigheid te meten van voorspellingen die een aanbevelingsmodel heeft gemaakt. Met dit onderdeel kunt u verschillende soorten aanbevelingen evalueren:

• Classificaties voorspeld voor een gebruiker en een item
• Aanbevolen items voor een gebruiker

Wanneer u voorspellingen maakt met behulp van een aanbevelingsmodel, worden er iets andere resultaten geretourneerd voor elk van deze ondersteunde voorspellingstypen. Het onderdeel Evaluate Recommender leidt het soort voorspelling af van de kolomindeling van de scored gegevensset. De scored gegevensset kan bijvoorbeeld het volgende bevatten:

• Drievoudige classificatie van gebruikersitems
• Gebruikers en hun aanbevolen items

Het onderdeel past ook de juiste metrische prestatiegegevens toe op basis van het type voorspelling dat wordt gedaan.

Evaluate Recommender configureren

Het evaluatieaanbevelingsonderdeel vergelijkt de voorspellingsuitvoer met behulp van een aanbevelingsmodel met de bijbehorende 'grondwaar'-gegevens. Het onderdeel Score SVD Recommender produceert bijvoorbeeld scored datasets die u kunt analyseren met behulp van Evaluate Recommender.

Vereisten

Evaluate Recommender vereist de volgende gegevenssets als invoer.

Gegevensset testen

De testgegevensset bevat de 'grondwaar'-gegevens in de vorm van drievoudige beoordeling van gebruikersitems.

Beoordeelde gegevensset

De gescoorde gegevensset bevat de voorspellingen die door het aanbevelingsmodel zijn gegenereerd.

De kolommen in deze tweede gegevensset zijn afhankelijk van het type voorspelling dat u tijdens het scoreproces hebt uitgevoerd. De score van de gegevensset kan bijvoorbeeld een van de volgende items bevatten:

• Gebruikers, items en de classificaties die de gebruiker waarschijnlijk zou geven voor het item
• Een lijst met gebruikers en items die voor hen worden aanbevolen

Metrische gegevens voor

Metrische prestatiegegevens voor het model worden gegenereerd op basis van het type invoer. In de volgende secties vindt u meer informatie.

Voorspelde beoordelingen evalueren

Wanneer u voorspelde beoordelingen evalueert, moet de scored gegevensset (de tweede invoer voor Evaluate Recommender) drievoudige classificaties voor gebruikersitems bevatten die voldoen aan deze vereisten:

• De eerste kolom van de gegevensset bevat de gebruikers-id's.
• De tweede kolom bevat de item-id's.
• De derde kolom bevat de bijbehorende classificaties voor gebruikersitems.

Belangrijk

Voor een geslaagde evaluatie moeten Userde kolomnamen respectievelijk , Itemen Rating, worden gebruikt.

Evaluate Recommender vergelijkt de classificaties in de gegevensset 'ground truth' met de voorspelde waarderingen van de gescoorde gegevensset. Vervolgens wordt de gemiddelde absolute fout (MAE) en de wortel van de gemiddelde kwadratische fout (RMSE) berekend.

Aanbevelingen voor items evalueren

Wanneer u aanbevelingen voor items evalueert, gebruikt u een scoregegevensset die de aanbevolen items voor elke gebruiker bevat:

• De eerste kolom van de gegevensset moet de gebruikers-id bevatten.
• Alle volgende kolommen moeten de bijbehorende aanbevolen item-id's bevatten, gerangschikt op hoe relevant een item is voor de gebruiker.

Voordat u deze gegevensset verbindt, raden we u aan de gegevensset te sorteren, zodat de meest relevante items eerst komen.

Belangrijk

De kolomnamen moeten , UserItem 1Item 2Item 3 enzovoort, zodat Evaluate Recommender werkt.

Evalueer Aanbevelingsfunctie berekent de gemiddelde genormaliseerde cumulatieve winst (NDCG) en retourneert deze in de uitvoergegevensset.

Omdat het onmogelijk is om de werkelijke 'grondwaar' voor de aanbevolen items te kennen, gebruikt Evaluate Recommender de classificaties van gebruikersitems in de testgegevensset als winst in de berekening van de NDCG. Om te evalueren, moet het score-onderdeel van de aanbeveling alleen aanbevelingen produceren voor items met 'ground truth'-classificaties (in de testgegevensset).

Volgende stappen

Bekijk de set onderdelen die beschikbaar zijn voor Azure Machine Learning.