사용자 지정 모델: 정확도 및 신뢰도 점수
이 콘텐츠의 적용 대상:
v4.0(미리 보기)v3.1(GA)v3.0(GA)v2.1(GA)
참고 항목
- 사용자 지정 신경망 모델은 학습 중에 정확도 점수를 제공하지 않습니다.
- 표, 표 행, 표 셀에 대한 신뢰도 점수는 사용자 지정 모델용 2024-02-29-preview API 버전부터 사용할 수 있습니다.
사용자 지정 템플릿 모델은 학습 시 예상 정확도 점수를 생성합니다. 사용자 지정 모델을 사용하여 분석된 문서는 추출된 필드에 대한 신뢰도 점수를 생성합니다. 이 문서에서는 정확도 및 신뢰도 점수를 해석하고 이러한 점수를 사용하여 정확도 및 신뢰도 결과를 개선하는 모범 사례를 알아봅니다.
정확도 점수
build(v3.0) 또는 train(v2.1) 사용자 지정 모델 작업의 출력에는 예상 정확도 점수가 포함됩니다. 이 점수는 시각적으로 유사한 문서에서 레이블이 지정된 값을 정확하게 예측하는 모델의 기능을 나타냅니다.
정확도 값 범위는 0%(낮음)와 100%(높음) 사이의 백분율입니다. 예상 정확도는 레이블이 지정된 값을 예측하기 위해 학습 데이터의 몇 가지 다른 조합을 실행하여 계산됩니다.
문서 인텔리전스 스튜디오
학습된 사용자 지정 모델(청구서)
신뢰도 점수
참고 항목
- 이제 2024-02-29-preview API 버전에 표, 행, 셀 신뢰도 점수가 포함됩니다.
- 2024-02-29-preview API부터 사용자 지정 모델의 테이블 셀에 대한 신뢰도 점수가 API에 추가되었습니다.
문서 인텔리전스 분석 결과는 예측된 단어, 키-값 쌍, 선택 표시, 지역 및 서명에 대한 예상 신뢰도를 반환합니다. 현재 모든 문서 필드가 신뢰도 점수를 반환하는 것은 아닙니다.
필드 신뢰도는 예측이 정확할 0에서 1 사이의 예상 확률을 나타냅니다. 예를 들어 신뢰도 값이 0.95(95%)이면 예측이 20번 중 19번 정확할 가능성이 있음을 나타냅니다. 정확도가 중요한 시나리오의 경우 신뢰도를 사용하여 예측을 자동으로 수락할지 아니면 사람이 검토하도록 플래그를 지정할지 결정할 수 있습니다.
문서 인텔리전스 스튜디오
분석된 청구서 미리 빌드된 청구서 모델
사용자 지정 모델의 정확도 및 신뢰도 점수 해석
사용자 지정 모델의 신뢰도 점수를 해석할 때 모델에서 반환된 모든 신뢰도 점수를 고려해야 합니다. 모든 신뢰도 점수 목록부터 시작할 예정입니다.
- 문서 형식 신뢰도 점수: 문서 형식 신뢰도는 분석된 문서가 학습 데이터 세트의 문서와 밀접하게 유사하다는 표시기입니다. 문서 형식 신뢰도가 낮다면 이는 분석된 문서의 템플릿 또는 구조적 변형을 나타냅니다. 문서 형식 신뢰도를 높이려면 해당 특정 변형으로 문서에 레이블을 지정하고 이를 학습 데이터 세트에 추가합니다. 모델이 재학습되면 해당 유형의 변형을 처리할 수 있는 능력이 더 향상되어야 합니다.
- 필드 수준 신뢰도: 추출된 레이블이 지정된 각 필드에는 관련 신뢰도 점수가 있습니다. 이 점수는 추출된 값의 위치에 대한 모델의 신뢰도를 반영합니다. 신뢰도 점수를 평가하는 동안 추출된 결과에 대한 포괄적인 신뢰도를 생성하려면 기본 추출 신뢰도도 살펴봐야 합니다. 필드 형식에 따라 텍스트 추출 또는 선택 표시에 대한
OCR결과를 평가하여 필드에 대한 종합 신뢰도 점수를 생성합니다. - 단어 신뢰도 점수 문서 내에서 추출된 각 단어에는 연관된 신뢰도 점수가 있습니다. 점수는 대화 기록의 신뢰도를 나타냅니다. 페이지 배열에는 단어 배열이 포함되어 있으며 각 단어에는 관련 범위와 신뢰도 점수가 있습니다. 사용자 지정 필드 추출 값의 범위는 추출된 단어의 범위와 일치합니다.
- 선택 표시 신뢰도 점수: 페이지 배열에는 선택 표시 배열도 포함되어 있습니다. 각 선택 표시에는 선택 표시 및 선택 상태 검색의 신뢰도를 나타내는 신뢰도 점수가 있습니다. 레이블이 지정된 필드에 선택 표시가 있는 경우 선택 표시 신뢰도와 결합된 사용자 지정 필드 선택은 전체 신뢰도 정확도를 정확하게 표현합니다.
다음 표에서는 정확도와 신뢰도 점수를 모두 해석하여 사용자 지정 모델의 성능을 측정하는 방법을 보여줍니다.
| 정확도 | 신뢰 | 결과 |
|---|---|---|
| 높음 | 높음 | • 모델은 레이블이 지정된 키 및 문서 형식으로 잘 작동합니다. • 균형 잡힌 학습 데이터 세트가 있습니다. |
| 높음 | 낮음 | • 분석된 문서는 학습 데이터 세트와 다르게 표시됩니다. • 이 모델은 레이블이 지정된 문서를 5개 이상 추가하여 재학습하는 이점을 제공합니다. • 이러한 결과는 학습 데이터 세트와 분석된 문서 간의 형식 변형을 나타낼 수도 있습니다. 새 모델을 추가하는 것이 좋습니다. |
| 낮음 | 높음 | • 이 결과는 거의 없습니다. • 낮은 정확도 점수를 얻으려면 레이블이 지정된 데이터를 더 추가하거나 시각적으로 구분되는 문서를 여러 모델로 분할합니다. |
| 낮음 | 낮음 | • 레이블이 지정된 데이터를 더 추가합니다. • 시각적으로 구분되는 문서를 여러 모델로 분할합니다. |
테이블, 행 및 셀 신뢰도
2024-02-29-preview API에 테이블, 행 및 셀 신뢰도를 추가하면 다음은 테이블, 행 및 셀 점수를 해석하는 데 도움이 되는 몇 가지 일반적인 질문입니다.
Q: 셀에 대한 신뢰도 점수는 높지만 행에 대한 신뢰도 점수는 낮은 것을 볼 수 있나요?
A: 예. 다양한 수준의 테이블 신뢰도(셀, 행, 테이블)는 해당 특정 수준에서 예측의 정확성을 캡처하기 위한 것입니다. 다른 누락 가능성이 있는 행에 속하는 올바르게 예측된 셀은 셀 신뢰도가 높지만 행의 신뢰도는 낮아야 합니다. 마찬가지로, 다른 행과 관련된 문제가 있는 테이블의 올바른 행은 행 신뢰도가 높은 반면 테이블의 전체 신뢰도는 낮습니다.
질문: 셀이 병합될 때 예상되는 신뢰도 점수는 얼마인가요? 병합으로 인해 변경 대상으로 식별된 열 수가 발생하므로 점수는 어떤 영향을 받나요?
답: 테이블 형식에 관계없이 병합된 셀의 신뢰도 값은 낮아야 합니다. 또한 누락된 셀(인접 셀과 병합되었기 때문에)도 신뢰도가 낮은 NULL 값을 가져야 합니다. 이러한 값이 얼마나 낮아질 수 있는지는 학습 데이터 세트에 따라 다르며, 점수가 낮은 병합 셀과 누락 셀 모두의 일반적인 추세가 유지되어야 합니다.
질문: 값이 선택 사항인 경우 신뢰도 점수는 어떻게 되나요? 값이 누락된 경우 NULL 값이 있고 신뢰도 점수가 높은 셀을 예상해야 하나요?
답: 학습 데이터 세트가 셀의 선택성을 나타내는 경우 모델이 학습 집합에 값이 얼마나 자주 나타나는지, 유추 중에 무엇을 기대할 수 있는지 파악하는 데 도움이 됩니다. 이 기능은 예측 또는 전혀 예측하지 않는 신뢰도를 계산할 때 사용됩니다(NULL). 학습 집합에서도 대부분 비어 있는 결측값에 대해 신뢰도가 높은 빈 필드를 예상해야 합니다.
질문: 필드가 선택 사항이고 존재하지 않거나 누락된 경우 신뢰도 점수는 어떻게 영향을 받나요? 신뢰도 점수가 그 질문에 답할 것이라는 예상 결과인가요?
답: 행에서 값이 누락되면 셀에 NULL 값과 신뢰도가 할당됩니다. 여기서 높은 신뢰도 점수는 모델 예측(값이 없음)이 정확할 가능성이 더 높다는 것을 의미합니다. 대조적으로, 낮은 점수는 모델의 불확실성이 더 크다는 신호입니다(따라서 값 누락과 같은 오류 가능성이 있음).
질문: 여러 페이지에 행이 분할된 다중 페이지 테이블을 추출할 때 셀 신뢰도와 행 신뢰도에 대해 무엇을 예상 결과해야 하나요?
답: 분할되지 않은 행보다 셀 신뢰도는 높고 행 신뢰도는 잠재적으로 낮을 것으로 예상합니다. 학습 데이터 세트의 분할 행 비율은 신뢰도 점수에 영향을 줄 수 있습니다. 일반적으로 분할 행은 테이블의 다른 행과 다르게 보입니다. 따라서 모델은 행이 올바른지 확신할 수 없습니다.
질문: 페이지 경계에서 깔끔하게 끝나고 시작하는 행이 있는 교차 페이지 테이블의 경우 신뢰도 점수가 페이지 전체에서 일관적이라고 가정하는 것이 맞나요?
A: 예. 행은 문서의 위치(또는 페이지)에 관계없이 모양과 콘텐츠가 유사해 보이므로 각 신뢰도 점수는 일관되어야 합니다.
질문: 새로운 신뢰도 점수를 활용하는 가장 좋은 방법은 무엇인가요?
답: 하향식 방식으로 시작하여 모든 수준의 테이블 신뢰도를 살펴봅니다. 먼저 테이블 전체의 신뢰도를 확인한 다음 행 수준으로 드릴다운하여 개별 행을 살펴보고 마지막으로 셀 수준의 신뢰도를 살펴봅니다. 테이블 형식에 따라 몇 가지 주의할 점이 있습니다.
고정 테이블의 경우 셀 수준 신뢰도는 이미 사물의 정확성에 대한 상당한 양의 정보를 캡처합니다. 이는 단순히 각 셀을 살펴보고 신뢰도를 살펴보는 것만으로도 예측 품질을 결정하는 데 도움이 될 수 있음을 의미합니다. 동적 테이블의 경우 수준은 서로의 위에 빌드되므로 위에서 아래로의 방식이 더 중요합니다.
높은 모델 정확도 보장
문서의 시각적 구조의 차이는 모델의 정확도에 영향을 미칩니다. 분석된 문서가 학습에 사용된 문서와 다른 경우 보고된 정확도가 일치하지 않을 수 있습니다. 문서 세트는 사람이 볼 때는 비슷하게 보이지만 AI 모델에게는 다르게 보일 수 있다는 점을 기억해야 합니다. 다음은 가장 높은 정확도를 이용한 모델 학습의 모범 사례 목록입니다. 이러한 지침에 따라 분석 중에 정확도 및 신뢰도 점수가 높은 모델을 생성하고 사람이 검토하도록 플래그가 지정된 문서 수를 줄여야 합니다.
문서의 모든 변형이 학습 데이터 세트에 포함되도록 해야 합니다. 변형에는 여러 형식이 포함됩니다(예: 디지털 PDF와 스캔된 PDF).
모델이 두 가지 유형의 PDF 문서를 모두 분석할 것으로 예상되는 경우 각 유형의 샘플을 학습 데이터 세트에 5개 이상 추가합니다.
시각적으로 고유한 문서 형식을 구분하여 다른 모델을 학습시킵니다.
- 일반적으로 사용자가 입력한 값을 모두 제거하고 문서가 비슷한 경우 기존 모델에 학습 데이터를 더 추가해야 합니다.
- 문서가 서로 다른 경우 학습 데이터를 다른 폴더로 분할하고 각 변형에 대한 모델을 학습시킵니다. 그런 다음, 다양한 변형을 단일 모델로 작성할 수 있습니다.
불필요한 레이블이 없는지 확인합니다.
서명 및 지역 레이블에 주변 텍스트가 포함되지 않는지 확인합니다.