대시보드를 사용하여 앱을 개선하는 방법

Important

LUIS는 2025년 10월 1일에 사용 중지되며 2023년 4월 1일부터 새 LUIS 리소스를 만들 수 없습니다. 지속적인 제품 지원 및 다국어 기능을 활용하려면 LUIS 애플리케이션을 대화 언어 이해로 마이그레이션하는 것이 좋습니다.

예제 발화를 사용하는 경우 학습된 앱의 의도에 대한 문제를 찾아 해결합니다. 대시보드는 전체 앱 정보를 표시하고 수정해야 하는 의도를 강조 표시합니다.

대시보드 검토 분석은 반복적인 프로세스이므로 모델을 변경하고 개선할 때 반복합니다.

이 페이지에는 의도에 예제 발화가 없는 앱(패턴 전용 앱이라고 함)에 대한 관련 분석이 없습니다.

대시보드에서 어떤 문제가 해결될 수 있나요?

대시보드에서 해결되는 세 가지 문제는 다음과 같습니다.

문제	차트 색	설명
데이터 불균형.	-	이 문제는 예제 발화의 수량이 현저하게 다를 때 발생합니다. 모든 의도에는 거의 동일한 수의 예제 발화를 포함해야 합니다(None 의도 제외). 앱의 총 발화 수량의 10%~15%만 포함해야 합니다. 데이터의 균형이 맞지 않지만 의도 정확도가 특정 임계값을 초과하는 경우 이 불균형은 문제로 보고되지 않습니다. 이 문제부터 시작합니다. 다른 문제의 근본 원인이 될 수 있습니다.
명확하지 않은 예측	Orange	이 문제는 부정적인 샘플링 또는 더 많은 예제 발화가 의도에 추가되었기 때문에 최고 의도와 다음 의도의 점수가 다음 학습에서 대칭 이동할 수 있을 만큼 근접할 때 발생합니다.
잘못된 예측	빨간색	이 문제는 예제 발화에서 레이블이 지정된 의도(내부 의도)에 대해 예측되지 않을 때 발생합니다.

올바른 예측은 파란색으로 표시됩니다.

대시보드는 이러한 문제를 표시하고 영향을 받는 의도를 알려 주고 앱을 개선하기 위해 수행해야 할 작업을 제안합니다.

앱 학습 전

앱을 학습하기 전에 대시보드는 수정 제안을 포함하지 않습니다. 이러한 제안을 확인하려면 앱을 학습합니다.

게시 상태 확인

게시 상태 카드에는 활성 버전의 마지막 게시에 대한 정보가 포함되어 있습니다.

활성 버전이 수정하려는 버전인지 확인합니다.

또한 모든 외부 서비스, 게시된 지역 및 집계된 엔드포인트 적중도 표시합니다.

학습 평가 검토

학습 평가 카드에는 앱의 전반적인 정확도에 대한 집계 요약이 영역별로 포함되어 있습니다. 점수는 의도 품질을 나타냅니다.

차트는 정확하게 예측된 의도와 문제 영역을 다른 색상으로 나타냅니다. 제안에 따라 앱을 개선하면 이러한 점수가 증가합니다.

제안 수정은 문제 유형별로 구분되며 앱에 가장 중요합니다. 의도별 문제를 검토하고 수정하려면 페이지 맨 아래에 오류가 있는 의도 카드를 사용합니다.

각 문제 영역에는 수정해야 할 의도가 있습니다. 의도 이름을 선택하면 발화에 필터가 적용된 의도 페이지가 열립니다. 이 필터를 사용하면 문제를 일으킨 발화에 집중할 수 있습니다.

버전 간 변경 사항 비교

앱을 변경하기 전에 새 버전을 만듭니다. 새 버전에서 의도의 예제 발화에 대한 제안 사항을 변경한 후 다시 학습시킵니다. 대시보드 페이지의 학습 평가 카드에서 학습된 버전의 변경 내용 표시를 사용하여 변경 내용을 비교합니다.

예제 발화를 추가 또는 편집하고 재학습하여 버전 수정

앱을 수정하는 주요 방법은 예제 발화를 추가 또는 편집하고 재학습하는 것입니다. 새로운 발화 또는 변경된 발화는 다양한 발화에 대한 지침을 따라야 합니다.

예제 발화를 추가하는 작업은 다음과 같은 사용자가 수행해야 합니다.

• 다른 의도에 있는 발화에 대해 잘 이해하는 사용자
• 한 의도의 발화를 다른 의도와 어떻게 혼동할 수 있는지 알고 있는 사용자
• 서로 자주 혼동되는 두 가지 의도를 단일 의도로 축소해야 하는지 여부를 결정할 수 있는 사용자 이 경우 다른 데이터를 엔터티로 끌어와야 합니다.

패턴 및 구문 목록

분석 페이지는 패턴이나 구문 목록을 사용할 때를 나타내지 않습니다. 이러한 항목을 추가하는 경우 잘못되었거나 명확하지 않은 예측에는 도움이 되지만 데이터 불균형에는 도움이 되지 않습니다.

데이터 불균형 검토

이 문제부터 시작합니다. 다른 문제의 근본 원인이 될 수 있습니다.

데이터 불균형 의도 목록에는 데이터 불균형을 수정하기 위해 더 많은 발화를 필요로 하는 의도가 표시됩니다.

이 문제를 해결하려면:

• 더 많은 발화를 의도에 추가한 다음 다시 학습합니다.

대시보드에 제안된 경우를 제외하고는 None 의도에 발화를 추가하지 않습니다.

팁

더 많은 발화를 필요로 하는 의도에 대한 빠른 시각적 가이드로 페이지의 세 번째 섹션(발화(수) 설정을 통한 의도당 발화)을 사용합니다.

잘못된 예측 검토

잘못된 예측 의도 목록에는 특정 의도에 대한 예로 사용되지만 다른 의도에 대해 예측되는 발화가 있는 의도가 표시됩니다.

이 문제를 해결하려면:

• 의도에 맞게 보다 구체적으로 발화를 편집하고 다시 학습합니다.
• 발화가 너무 밀접하게 정렬된 경우 의도를 결합하고 다시 학습합니다.

명확하지 않은 예측 검토

명확하지 않은 예측 의도 목록은 예측 점수가 가장 가까운 경쟁 상대와 비슷한 발화가 있는 의도를 보여 주며 부정 샘플링으로 인해 발화에 대한 최상위 의도가 다음 학습에서 변경될 수 있습니다.

이 문제를 해결하려면:

• 의도에 맞게 보다 구체적으로 발화를 편집하고 다시 학습합니다.
• 발화가 너무 밀접하게 정렬된 경우 의도를 결합하고 다시 학습합니다.

의도당 발화

이 카드는 의도에서 전체 앱 상태를 표시합니다. 의도를 수정하고 다시 학습하는 경우 이 카드에서 문제를 계속 살펴보세요.

다음 차트는 해결할 문제가 거의 없는 잘 조정된 앱을 보여 줍니다.

다음 차트는 해결할 문제가 많은 균형이 맞지 않는 앱을 보여 줍니다.

각 의도의 막대 위를 마우스로 가리키면 의도에 대한 정보를 얻을 수 있습니다.

정렬 기준 기능을 사용하여 문제 유형별 의도를 정렬하고 해당 문제가 가장 큰 의도에 집중할 수 있습니다.

오류가 있는 의도

이 카드를 사용하여 특정 의도에 대한 문제를 검토할 수 있습니다. 이 카드의 기본 보기는 가장 문제가 있는 의도이므로 어디에 집중해야 할지 알 수 있습니다.

맨 위 도넛형 차트는 세 가지 문제 유형에서의 의도와 관련된 문제를 보여 줍니다. 세 가지 문제 유형에 문제가 있는 경우 각 유형에는 모든 경쟁 상대 의도와 함께 아래와 같은 자체 차트가 있습니다.

문제 및 백분율 기준 의도 필터링

이 카드 섹션에서는 오류 임계값을 벗어난 예제 발화를 찾을 수 있습니다. 이상적으로 예측을 중요하게 수정할 수 있습니다. 이 비율은 비즈니스 및 고객 중심입니다.

비즈니스에 적합한 임계값 비율을 결정합니다.

필터를 사용하여 특정 문제가 있는 의도를 찾을 수 있습니다.

필터	제안 백분율	목적
가장 문제가 있는 의도	-	여기부터 시작 - 이 의도에서 발화를 수정하면 앱이 다른 수정보다 더 향상됩니다.
기준 값 이하의 올바른 예측	60%	이 값은 선택된 의도에서 올바르지만 신뢰도 점수가 임계값보다 낮은 발화의 백분율입니다.
기준 값 이상의 명확하지 않은 예측	15%	이 값은 선택한 의도에서 가장 가까운 경쟁 상대 발화와 혼동되는 발화의 백분율입니다.
기준 값 이상의 잘못된 예측	15%	이 값은 선택한 의도에서 잘못 예측된 길이 발화의 백분율입니다.

올바른 예측 임계값

확신하는 예측 신뢰도 점수는 얼마인가요? 앱 개발이 시작 시점에서는 60%가 목표일 수 있습니다. 선택한 의도에서 수정해야 하는 모든 발화를 찾으려면 60%의 백분율로 기준 값 이하의 올바른 예측을 사용합니다.

명확하지 않거나 잘못된 예측 임계값

이 두 필터를 사용하여 선택한 의도에서 임계값을 초과하는 발화를 찾을 수 있습니다. 이러한 두 백분율을 오류 비율로 간주할 수 있습니다. 예측의 10-15% 오류 비율이 적합하면 필터 임계값을 15%로 설정하여 이 값보다 큰 모든 발화를 찾습니다.

다음 단계

• Azure 리소스 관리