추천 평가

이 문서에서는 Azure Machine Learning 디자이너에서 추천 평가 구성 요소를 사용하는 방법에 대해 설명합니다. 목표는 권장 사항 모델이 만든 예측의 정확도를 측정하는 것입니다. 이 구성 요소를 사용하여 다양한 종류의 추천을 평가할 수 있습니다.

• 사용자 및 항목에 대해 예측된 등급
• 사용자에게 권장되는 항목

권장 사항 모델을 사용하여 예측을 만들 때 지원되는 각 예측 형식에 대해 약간 다른 결과가 반환됩니다. 추천 평가 구성 요소는 채점된 데이터 세트의 열 형식으로부터 예측 종류를 유추합니다. 예를 들어 점수가 매긴 데이터 세트에는 다음이 포함될 수 있습니다.

• 사용자 항목 등급 세 배
• 사용자 및 권장 항목

구성 요소는 만들어지는 예측의 유형에 따라 적절한 성능 메트릭도 적용합니다.

Evaluate Recommender를 구성하는 방법

추천 평가 구성 요소는 해당 “지상 실측” 데이터와 함께 추천 모델을 사용하여 예측 출력을 비교합니다. 예를 들어 SVD 추천 채점 구성 요소는 추천 평가를 사용하여 분석할 수 있는 채점된 데이터 세트를 생성합니다.

요구 사항

Evaluate Recommender에는 다음 데이터 세트가 입력으로 필요합니다.

테스트 데이터 세트

테스트 데이터 세트에는 사용자-항목 등급이 세 배인 "접지 진실" 데이터가 포함됩니다.

채점된 데이터 세트

점수가 매긴 데이터 세트에는 권장 사항 모델이 생성한 예측이 포함됩니다.

이 두 번째 데이터 세트의 열은 점수 매기기 프로세스 중에 수행한 예측의 종류에 따라 달라집니다. 예를 들어 점수가 매긴 데이터 세트에는 다음 중 하나가 포함될 수 있습니다.

• 사용자, 항목 및 사용자가 항목에 대해 제공할 가능성이 있는 등급
• 권장되는 사용자 및 항목 목록

메트릭

모델에 대한 성능 메트릭은 입력 형식에 따라 생성됩니다. 다음 섹션에서는 세부 정보를 제공합니다.

예측 등급 평가

예측 등급을 평가할 때 점수가 매겨진 데이터 세트(Evaluate Recommender에 대한 두 번째 입력)에는 다음 요구 사항을 충족하는 사용자 항목 등급 세 배가 포함되어야 합니다.

• 데이터 세트의 첫 번째 열에는 사용자 식별자가 포함됩니다.
• 두 번째 열에는 항목 식별자가 포함됩니다.
• 세 번째 열은 해당 사용자-항목 등급이 포함됩니다.

Important

성공적으로 평가하려면 열 이름이 각각 User, Item, Rating이어야 합니다.

Evaluate Recommender는 "지상 진리" 데이터 세트의 등급을 점수가 매길 데이터 세트의 예측 등급과 비교합니다. 그런 다음 MAE(평균 절대 오차)와 RMSE(제곱 평균 오차)를 계산합니다.

항목 권장 사항 평가

항목 권장 사항을 평가할 때 각 사용자에 대한 권장 항목이 포함된 점수가 매길 데이터 세트를 사용합니다.

• 데이터 세트의 첫 번째 열에는 사용자 식별자가 포함되어야 합니다.
• 모든 후속 열에는 항목이 사용자와 얼마나 관련이 있는지에 따라 정렬된 해당 권장 항목 식별자가 포함되어야 합니다.

이 데이터 세트를 연결하기 전에 가장 관련성이 큰 항목이 먼저 오도록 데이터 세트를 정렬하는 것이 좋습니다.

Important

Evaluate Recommender가 작동하려면 열 이름이 , Item 1Item 2Item 3 등이어야 User합니다.

추천 평가에서는 평균 NDCG(Normalized Discounted Cumulative Gain)를 계산한 다음 출력 데이터 세트에 반환합니다.

권장 항목에 대한 실제 "근거"를 알 수 없으므로 Evaluate Recommender는 테스트 데이터 세트의 사용자 항목 등급을 NDCG 계산의 이익으로 사용합니다. 평가를 수행하려면 추천 채점 구성 요소가 테스트 데이터 세트에서 “지상 실측” 등급이 지정된 항목에 대한 추천만 생성해야 합니다.

다음 단계

Azure Machine Learning에서 사용 가능한 구성 요소 집합을 참조하세요.