오케스트레이션 워크플로 모델 세부 정보 보기

  • 아티클

모델 학습을 완료한 후에 모델 세부 정보를 보고 테스트 집합에 대해 모델이 얼마나 잘 수행되는지 확인할 수 있습니다. 모델이 얼마나 잘 수행되었는지 관찰하는 것을 평가라고 합니다. 테스트 집합은 학습 프로세스 중에 모델에 도입되지 않은 데이터로 구성됩니다.

참고 항목

테스트 세트가 발화에서 임의로 선택되므로 학습 데이터에서 테스트 세트를 자동으로 분할 옵션을 사용하면 새 모델을 학습할 때마다 다른 모델 평가 결과가 발생할 수 있습니다. 모델을 학습할 때마다 동일한 테스트 세트에서 평가가 계산되도록 하려면 학습 작업을 시작할 때 데이터 학습 및 테스트의 수동 분할 사용 옵션을 사용하고 발화를 추가할 때 테스트 세트를 정의해야 합니다.

필수 조건

모델 평가를 보기 전에 다음 항목이 필요합니다.

자세한 내용은 프로젝트 개발 수명 주기를 참조하세요.

모델 세부 정보

모델 세부 정보 보기 페이지에서 현재 학습 상태 및 마지막으로 학습된 날짜와 함께 모든 모델을 볼 수 있습니다.

  1. Language Studio에서 프로젝트 페이지로 이동합니다.

  2. 화면 왼쪽의 메뉴에서 모델 성능을 선택합니다.

  3. 이 페이지에서는 성공적으로 학습된 모델, 각 모델의 F1 점수 및 모델 만료 날짜만 볼 수 있습니다. 모델명을 선택하면 해당 성능에 대한 자세한 내용을 볼 수 있습니다.

  4. 개요에서 모델 수준 평가 메트릭 및 의도 수준 평가 메트릭을 찾을 수 있습니다. 자세한 내용은 평가 메트릭을 참조하세요.

    A screenshot of the model performance metrics in Language Studio

  5. 모델에 대한 혼동 행렬은 테스트 세트 혼동 행렬 아래에 있습니다. 의도에 대한 혼동 메트릭을 볼 수 있습니다.

    참고 항목

    여기에 표시된 모델의 의도가 표시되지 않는 경우 이는 테스트 집합에 사용된 발화에 포함되지 않기 때문입니다.

모델 데이터 로드 또는 내보내기

모델 데이터를 로드하려면 다음을 수행합니다.

  1. 모델 평가 페이지에서 모델을 선택합니다.

  2. 모델 데이터 로드 단추를 선택합니다.

  3. 나타나는 창에서 캡처해야 하는 저장되지 않은 변경 내용이 없는지 확인하고 데이터 로드를 선택합니다.

  4. 모델 데이터가 프로젝트에 다시 로드될 때까지 기다리세요. 완료되면 스키마 디자인 페이지로 다시 리디렉션됩니다.

모델 데이터를 내보내려면 다음을 수행합니다.

  1. 모델 평가 페이지에서 모델을 선택합니다.

  2. 모델 데이터 내보내기 단추를 선택합니다. 모델의 JSON 스냅샷이 로컬로 다운로드될 때까지 기다리세요.

모델 삭제

Language Studio 내에서 모델을 삭제하려면 다음을 수행합니다.

  1. 왼쪽 메뉴에서 모델 성능을 선택합니다.

  2. 삭제하려는 모델 이름을 선택하고 상단 메뉴에서 삭제를 선택합니다.

  3. 표시되는 창에서 확인을 선택하여 모델을 삭제합니다.

다음 단계

  • 모델의 성능을 검토하면서 사용되는 평가 메트릭에 대해 알아봅니다.
  • 모델 성능에 만족하는 경우 모델을 배포할 수 있습니다.