추천 평가

  • 아티클

이 문서에서는 Azure Machine Learning 디자이너에서 추천 평가 구성 요소를 사용하는 방법에 대해 설명합니다. 목표는 권장 사항 모델이 만든 예측의 정확도를 측정하는 것입니다. 이 구성 요소를 사용하여 다양한 종류의 추천을 평가할 수 있습니다.

  • 사용자 및 항목에 대한 예측된 등급
  • 사용자에게 권장되는 항목

권장 사항 모델을 사용하여 예측을 만들 때 지원되는 각 예측 형식에 대해 약간 다른 결과가 반환됩니다. 추천 평가 구성 요소는 채점된 데이터 세트의 열 형식으로부터 예측 종류를 유추합니다. 예를 들어 점수가 매겨진 데이터 세트에는 다음이 포함될 수 있습니다.

  • 사용자-항목-등급 삼중 쌍
  • 사용자 및 권장 항목

구성 요소는 만들어지는 예측의 유형에 따라 적절한 성능 메트릭도 적용합니다.

추천 평가를 구성하는 방법

추천 평가 구성 요소는 해당 “지상 실측” 데이터와 함께 추천 모델을 사용하여 예측 출력을 비교합니다. 예를 들어 SVD 추천 채점 구성 요소는 추천 평가를 사용하여 분석할 수 있는 채점된 데이터 세트를 생성합니다.

요구 사항

추천 평가에는 다음 데이터 세트가 입력으로 필요합니다.

테스트 데이터 세트

테스트 데이터 세트는 사용자-항목-등급 삼중 쌍 형식의 “지상 실측” 데이터를 포함합니다.

점수가 매겨진 데이터 집합입니다.

점수가 매겨진 데이터 세트에는 권장 사항 모델이 생성한 예측이 포함됩니다.

두 번째 데이터 세트의 열은 점수 매기기 프로세스 중에 수행된 예측의 종류에 따라 달라집니다. 예를 들어 점수가 매겨진 데이터 세트에는 다음 중 하나가 포함될 수 있습니다.

  • 사용자, 항목 및 사용자가 항목에 대해 제공할 가능성이 있는 등급
  • 권장되는 사용자 및 항목 목록

메트릭

모델에 대한 성능 메트릭은 입력 유형을 기반으로 생성됩니다. 자세한 내용은 아래 섹션을 참조하세요.

예측 등급 평가

예측 등급을 평가할 때 점수가 매겨진 데이터 세트(추천 평가에 대한 두 번째 입력)에는 이러한 요구 사항을 충족하는 사용자-항목-등급 삼중 쌍이 포함되어야 합니다.

  • 데이터 세트의 첫 번째 열에는 사용자 식별자가 포함됩니다.
  • 두 번째 열에는 항목 식별자가 포함됩니다.
  • 세 번째 열은 해당 사용자-항목 등급이 포함됩니다.

중요

성공적으로 평가하려면 열 이름이 각각 User, Item, Rating이어야 합니다.

추천 평가는 “지상 실측” 데이터 세트의 등급을 점수가 매겨진 데이터 세트의 예측 등급과 비교합니다. 그런 다음 MAE(평균 절대 오차)와 RMSE(제곱 평균 오차)를 계산합니다.

항목 권장 사항 평가

항목 권장 사항을 평가할 때 각 사용자에 대해 권장되는 항목을 포함하는 점수가 매겨진 데이터 세트를 사용합니다.

  • 데이터 세트의 첫 번째 열에는 사용자 식별자가 포함되어야 합니다.
  • 모든 후속 열에는 해당 항목이 사용자에게 얼마나 관련성에 있는지에 따라 정렬한 해당 권장 항목 식별자가 포함되어야 합니다.

해당 데이터 세트를 연결하기 전에 가장 관련성이 높은 항목을 먼저 가져오도록 데이터 세트를 정렬하는 것이 좋습니다.

중요

추천 평가가 작동하려면 열 이름이 User, Item 1, Item 2, Item 3 등이어야 합니다.

추천 평가에서는 평균 NDCG(Normalized Discounted Cumulative Gain)를 계산한 다음 출력 데이터 세트에 반환합니다.

권장 항목에 대한 실제 “지상 실측”을 알 수 없으므로 추천 평가에서는 테스트 데이터 세트의 사용자-항목 등급을 NDCG 계산에서 이점으로 사용합니다. 평가를 수행하려면 추천 채점 구성 요소가 테스트 데이터 세트에서 “지상 실측” 등급이 지정된 항목에 대한 추천만 생성해야 합니다.

다음 단계

Azure Machine Learning에서 사용 가능한 구성 요소 집합을 참조하세요.