문서 인텔리전스 사용자 지정 신경망 모델

아티클
10/16/2024

Important

문서 인텔리전스 공개 미리 보기 릴리스에서는 현재 개발 중인 기능에 대한 조기 액세스를 제공합니다. 기능, 방식 및 프로세스는 GA(일반 공급) 전에 사용자 피드백에 따라 변경될 수 있습니다.
문서 인텔리전스 클라이언트 라이브러리의 공개 미리 보기 버전은 기본적으로 REST API 버전 2024-07-31-preview입니다.
공개 미리 보기 버전 2024-07-31-preview는 현재 다음 Azure 지역에서만 사용할 수 있습니다. AI Studio의 사용자 지정 생성(문서 필드 추출) 모델은 미국 중북부 지역에서만 사용할 수 있습니다.
- 미국 동부
- 미국 서부2
- 서유럽
- 미국 중북부

이 콘텐츠의 적용 대상:v4.0(미리 보기) | 이전 버전:v3.1(GA)v3.0(GA)

이 콘텐츠의 적용 대상: v3.1(GA) | 최신 버전: v4.0(미리 보기) | 이전 버전: v3.0

이 콘텐츠의 적용 대상:v3.0(GA) | 최신 버전:v4.0(미리 보기)v3.1

사용자 지정 신경망 문서 모델 또는 신경망 모델은 레이아웃 및 언어 기능을 결합하여 문서에서 레이블이 지정된 필드를 정확하게 추출하는 딥 러닝된 모델 유형입니다. 기본 사용자 지정 신경망 모델은 구조화된 문서 및 반구조화된 문서에서 필드를 추출하는 데 적합한 다양한 문서 종류에 대해 학습됩니다. 사용자 지정 신경망 모델은 v3.0 이상 모델에서 사용할 수 있습니다. 아래 표에는 각 범주의 일반적인 문서 유형이 나와 있습니다.

문서	예제
구조적	설문 조사, 설문지
반구조적	청구서, 구매 주문

사용자 지정 신경망 모델은 사용자 지정 템플릿 모델과 동일한 레이블 지정 형식 및 전략을 공유합니다. 현재 사용자 지정 신경망 모델은 사용자 지정 템플릿 모델에서 지원하는 필드 형식의 하위 집합만 지원합니다.

모델 기능

Important

API 버전 2024-02-29-preview부터 사용자 지정 신경망 모델은 겹치는 필드 및 테이블 셀 신뢰도에 대한 지원을 추가합니다.

사용자 지정 신경망 모델은 현재 키-값 쌍, 선택 표시 및 구조화된 필드(테이블)만 지원합니다.

양식 필드	선택 표시	표 형식 필드	서명	지역 레이블 지정	겹치는 필드
지원됨	지원됨	지원됨	지원되지 않음	지원됨¹	지원됨 ²

¹ 사용자 지정 인공신경망 모델의 지역 레이블은 지정된 지역에 대한 레이아웃 API의 결과를 사용합니다. 이 기능은 값이 없으면 학습 시 텍스트가 생성되는 템플릿 모델과 다릅니다.
² 겹치는 필드는 REST API 버전 2024-02-29-preview부터 지원됩니다. 겹치는 필드에는 몇 가지 제한이 있습니다. 자세한 내용은 겹치는 필드를 참조하세요.

빌드 모드

Build 작업은 템플릿 및 신경망 사용자 지정 모델을 지원합니다. 이전 버전의 REST API 및 클라이언트 라이브러리는 현재 템플릿 모드라고 알려진 단일 빌드 모드만 지원했습니다.

인공신경망 모델은 정보가 동일하지만 페이지 구조가 다른 문서를 지원합니다. 이러한 문서의 예로는 동일한 정보를 공유하지만 회사마다 모양이 다를 수 있는 미국 W2 양식이 있습니다. 자세한 내용은 사용자 지정 모델 빌드 모드를 참조하세요.

겹치는 필드

API 버전 2024-02-29-preview 이상 릴리스에서는 사용자 지정 신경망 모델이 겹치는 필드를 지원합니다.

겹치는 필드

API 버전 2024-07-31-preview 이상 릴리스에서는 사용자 지정 신경망 모델이 겹치는 필드를 지원합니다.

겹치는 필드를 사용하려면 데이터 세트에 예상되는 겹침이 있는 샘플을 하나 이상 포함해야 합니다. 겹침에 레이블을 지정하려면 영역 레이블 지정을 사용하여 각 필드에 대한 콘텐츠 범위(겹침 포함)를 각각 지정합니다. 영역 레이블 지정은 필드 겹침을 나타내는 데 지원되는 유일한 레이블 지정 도구이므로 필드 선택 영역과 겹치는 부분에 레이블을 지정(값 강조 표시)하는 작업은 스튜디오에서 실패합니다. 겹침 지원에는 다음이 포함됩니다.

전체 겹침. 동일한 토큰 집합은 서로 다른 두 필드에 대해 레이블이 지정됩니다.
부분 겹침. 일부 토큰은 두 필드에 모두 속하지만 한 필드 또는 다른 필드의 일부인 토큰만 있습니다.

겹치는 필드에는 몇 가지 제한이 있습니다.

모든 토큰 또는 단어는 두 개의 필드로만 레이블을 지정할 수 있습니다.
테이블의 겹치는 필드는 테이블 행에 걸쳐 있을 수 없습니다.
데이터 세트의 하나 이상의 샘플에 해당 필드에 대한 겹치는 레이블이 포함된 경우에만 겹치는 필드를 인식할 수 있습니다.

겹치는 필드를 사용하려면 데이터 세트에 겹침 레이블을 지정하고 API 버전 2024-02-29-preview 이상을 사용하여 모델을 학습시킵니다.

표 형식 필드

API 버전 2022-06-30-preview 이상 릴리스에서는 사용자 지정 신경망 모델이 테이블, 행 및 셀 데이터를 더 확실하게 분석할 수 있도록 테이블 형식 필드(테이블)를 지원합니다.

API 버전 2022-06-30-preview 이상으로 학습된 모델은 표 형식 필드 레이블을 허용합니다.
API 버전 2022-06-30-preview 이상을 사용하여 사용자 지정 신경망 모델로 분석된 문서는 테이블 전체에서 집계된 표 형식 필드를 생성합니다.
결과는 분석 작업 후에 반환되는 analyzeResult 개체의 documents 배열에서 찾을 수 있습니다.

표 형식 필드는 기본적으로 크로스 페이지 테이블을 지원합니다.

여러 페이지에 걸쳐 있는 테이블에 레이블을 지정하려면 단일 테이블의 여러 페이지에 걸쳐 테이블의 각 행에 레이블을 지정합니다.
가장 좋은 방법은 데이터 세트에 예상되는 변형의 몇 가지 샘플이 포함되어 있는지 확인하는 것입니다. 예를 들어, 전체 테이블이 단일 페이지에 있고 테이블이 둘 이상의 페이지에 걸쳐 있는 샘플을 포함합니다.

표 형식 필드는 표로 인식되지 않는 문서 내에서 반복되는 정보를 추출할 때도 유용합니다. 예를 들어 이력서에서 반복되는 업무 환경 섹션에 레이블을 지정하고 테이블 형식 필드로 추출할 수 있습니다.

테이블 형식 필드는 2024-02-29-preview API로 시작하는 테이블, 행 및 셀 신뢰도를 제공합니다.

고정 또는 동적 테이블은 다음 요소에 대한 신뢰도 지원을 추가합니다.
- 테이블 신뢰도는 전체 테이블이 얼마나 정확하게 인식되는지에 대한 측정값입니다.
- 행 신뢰도, 개별 행 인식의 측정값입니다.
- 셀 신뢰도, 개별 셀 인식의 측정값입니다.
권장되는 방법은 먼저 테이블부터 시작하여, 행 다음으로 셀로 하향식으로 정확도를 검토하는 것입니다. 표, 행 및 셀 신뢰도에 대한 자세한 내용은 신뢰도 및 정확도 점수를 참조하세요.

지원되는 언어 및 로캘

지원되는 언어의 전체 목록은 언어 지원 - 사용자 지정 모델을 참조하세요.

지원되는 지역

2022년 10월 18일부터 문서 인텔리전스 사용자 지정 인공신경망 모델 학습은 추후 공지가 있을 때까지 다음 Azure 지역에서만 사용할 수 있습니다.

오스트레일리아 동부
브라질 남부
캐나다 중부
인도 중부
미국 중부
동아시아
미국 동부
미국 동부2
프랑스 중부
일본 동부
미국 중남부
동남아시아
영국 남부
서유럽
미국 서부2
US Gov 애리조나
US Gov 버지니아

팁

나열된 일부 지역 중 하나에서 학습된 모델을 다른 지역에 복사하여 적절하게 사용할 수 있습니다.

REST API 또는 문서 인텔리전스 스튜디오를 사용하여 모델을 다른 지역으로 복사합니다.

팁

나열된 일부 지역 중 하나에서 학습된 모델을 다른 지역에 복사하여 적절하게 사용할 수 있습니다.

REST API 또는 문서 인텔리전스 스튜디오를 사용하여 모델을 다른 지역으로 복사합니다.

팁

나열된 일부 지역 중 하나에서 학습된 모델을 다른 지역에 복사하여 적절하게 사용할 수 있습니다.

REST API 또는 문서 인텔리전스 스튜디오를 사용하여 모델을 다른 지역으로 복사합니다.

입력 요구 사항

최상의 결과를 위해 문서당 하나의 명확한 사진 또는 고품질 스캔을 제공합니다.

지원 파일 형식:

모델	PDF	이미지: jpeg/`jpg`, `png`, `bmp`, `tiff`, `heif`	Microsoft Office: Word(docx), Excel(xlsx), PowerPoint(pptx) 및 HTML
읽음	✔	✔	✔
레이아웃	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview 이상)
일반 문서	✔	✔
사전 제작	✔	✔
사용자 지정 인공신경망	✔	✔

✱ Microsoft Office 파일은 현재 다른 모델 또는 버전에서 지원되지 않습니다.

PDF 및 TIFF의 경우 최대 2,000페이지를 처리할 수 있습니다(무료 계층 구독의 경우 처음 2페이지만 처리됨).
문서 분석을 위한 파일 크기는 유료(S0) 계층의 경우 500MB, 무료(F0) 계층의 경우 4MB입니다.
이미지 크기는 50 x 50픽셀에서 10,000 x 10,000픽셀 사이여야 합니다.
PDF가 암호로 잠긴 경우에는 제출하기 전에 잠금을 해제해야 합니다.
추출할 텍스트의 최소 높이는 1024 x 768 픽셀 이미지의 경우 12픽셀입니다. 이 차원은 150 인치당 도트 수에서 약 8포인트 텍스트에 해당합니다.
사용자 지정 모델 학습의 경우 학습 데이터의 최대 페이지 수는 사용자 지정 템플릿 모델의 경우 500개, 사용자 지정 인공신경망 모델의 경우 50,000개입니다.
사용자 지정 추출 모델 학습의 경우 학습 데이터의 총 크기는 템플릿 모델의 경우 50MB, 신경망 모델의 경우 1G-MB입니다.
사용자 지정 분류 모델 학습의 경우 학습 데이터의 총 크기는 최대 10,000페이지인 1GB입니다.

모범 사례

사용자 지정 신경망 모델은 몇 가지 다른 방법으로 사용자 지정 템플릿 모델과 다릅니다. 사용자 지정 템플릿 또는 모델은 일관된 시각적 템플릿을 사용하여 레이블이 지정된 데이터를 추출합니다. 사용자 지정 신경망 모델은 구조화된 및 반구조화된 필드 추출을 지원합니다. 모델 형식 중에서 선택할 때 신경망 모델로 시작하여 기능적 요구 사항을 지원하는지 확인하기 위해 테스트합니다.

변형 처리 - 사용자 지정 신경망 모델은 단일 문서 종류의 다양한 형식에서 일반화할 수 있습니다. 문서 형식의 모든 변형에 대해 단일 모델을 만드는 것이 좋습니다. 학습 데이터 세트에 서로 다른 각 변형에 대해 레이블이 지정된 샘플을 5개 이상 추가합니다.
필드 이름 지정 - 데이터에 레이블을 지정할 때 값과 관련된 필드에 레이블을 지정하면 추출된 키-값 쌍의 정확도가 향상됩니다. 예를 들어 공급업체 ID를 포함하는 필드 값의 경우 필드 이름을 supplier_id로 지정하는 것이 좋습니다. 필드 이름은 문서의 언어여야 합니다.
연속 값 레이블 지정 - 값 토큰/한 필드의 단어 중 하나여야 합니다.
- 다른 필드와 인터리빙하지 않고 자연 읽기 순서로 연속 시퀀스로
- 다른 필드를 포함하지 않는 지역에서
대표 데이터 - 학습 사례의 값은 다양하고 대표적이어야 합니다. 예를 들어 필드 이름이 날짜인 경우 이 필드의 값은 날짜여야 합니다. 임의 문자열과 같은 가상 값은 모델 성능에 영향을 줄 수 있습니다.

현재 제한 사항

사용자 지정 신경망 모델은 페이지 경계를 넘어 분할된 값을 인식하지 않습니다.
사용자 지정 템플릿 모델에 레이블이 지정된 데이터 세트를 사용하여 사용자 지정 신경망 모델을 학습시키는 경우 지원되지 않는 사용자 지정 신경망 필드 형식은 무시됩니다.
사용자 지정 신경망 모델은 매월 빌드 작업 20번으로 제한됩니다. 제한을 늘려야 하는 경우 지원 요청을 엽니다. 자세한 내용은 문서 인텔리전스 서비스 할당량 및 제한을 참조하세요.

모델 학습

사용자 지정 신경망 모델은 v3.0 이상 모델에서 사용할 수 있습니다.

문서 형식	REST API	SDK	모델 레이블 지정 및 테스트
사용자 지정 문서	Document Intelligence 3.1	Document Intelligence SDK	Document Intelligence Studio

모델을 학습시키는 Build 작업은 새 buildMode 속성을 지원하며, 사용자 지정 신경망 모델을 학습시키려면 buildMode를 neural로 설정합니다.

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

https://{endpoint}/formrecognizer/documentModels:build?api-version=v3.1:2023-07-31

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

https://{endpoint}/formrecognizer/documentModels/{modelId}:copyTo?api-version=2022-08-31

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

결제

버전 2024-07-31-preview부터 표준 30분보다 더 긴 기간 동안 사용자 지정 신경망 모델을 학습시킬 수 있습니다. 이전 버전은 학습 인스턴스당 30분으로 제한되며, 매월 총 20개의 무료 학습 인스턴스가 제공됩니다. 이제 2024-07-31-preview를 사용하면 10시간의 무료 모델 학습이 제공되며 최대 10시간 동안 모델을 학습시킬 수 있습니다.

대량의 데이터 집합이 포함된 단일 모델 빌드에서 10시간을 모두 사용하거나 maxTrainingHours를 지정하여 build 작업의 최대 기간 값을 조정해 여러 빌드에서 활용할 수 있습니다.

POST https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview

{
  "modelId": "string",
  "description": "string",
  "buildMode": "neural",
  ...,
  "maxTrainingHours": 10
}

Important

10시간을 초과하는 더 긴 기간 동안 모델을 학습시키거나 추가 신경망 모델을 학습시키려는 경우 청구 요금이 적용됩니다. 청구 요금에 대한 자세한 내용은 가격 책정 페이지를 참조하세요.
maxTrainingHours를 원하는 최대 시간으로 설정하여 이 유료 학습 서비스에 옵트인할 수 있습니다. 예산이 없지만 maxTrainingHours가 10시간을 초과하여 설정된 API 호출은 실패합니다.
각 빌드는 학습 데이터 세트의 유형과 크기에 따라 소요되는 시간이 다르므로 학습 작업당 최소 30분으로 신경망 모델 학습에 소요된 실제 시간에 대해 청구 요금이 계산됩니다.
이 유료 학습 기능을 사용하면 유연한 학습 시간으로 더 긴 기간 동안 더 큰 데이터 집합을 학습시킬 수 있습니다.


GET /documentModels/{myCustomModel}
{
  "modelId": "myCustomModel",
  "trainingHours": 0.23,
  "docTypes": { ... },
  ...
}

참고 항목

문서 인텔리전스 버전 v3.1 (2023-07-31) 및 v3.0 (2022-08-31)의 경우 사용자 지정 신경망 모델의 유료 학습은 사용하도록 설정되지 않습니다. 두 가지 이전 버전의 경우 모델당 최대 30분의 학습 기간이 제공됩니다. 20개 이상의 모델 인스턴스를 학습시키려는 경우 Azure 지원 티켓을 만들어 학습 한도를 늘릴 수 있습니다.

결제

문서 인텔리전스 버전 v3.1 (2023-07-31) and v3.0 (2022-08-31)의 경우 모델당 최대 30분의 학습 기간과 매월 최대 20개의 학습을 무료로 받게 됩니다. 20개 이상의 모델 인스턴스를 학습시키려는 경우 Azure 지원 티켓을 만들어 학습 한도를 늘릴 수 있습니다. Azure 지원 티켓의 경우 summary 필드에 Increase Document Intelligence custom neural training (TPS) limit을 입력합니다.

Important

학습 한도를 늘리는 경우 2개의 사용자 지정 신경망 모델 학습 세션이 1시간 학습으로 간주됩니다. 학습 세션 수를 늘리기 위한 가격 책정에 대한 자세한 내용은 가격 책정 페이지를 참조하세요.
학습 한도를 늘리기 위한 Azure 지원 티켓은 구독 수준이 아닌 리소스 수준에서만 적용할 수 있습니다. 지원 티켓에서 리소스 ID 및 지역을 지정하여 단일 문서 인텔리전스 리소스에 대한 학습 한도 증가를 요청할 수 있습니다.

30분보다 더 긴 기간 동안 모델을 학습시키려는 경우 최신 버전 v4.0 (2024-07-31-preview)을 통해 유료 학습이 지원됩니다. 최신 버전을 사용하여 더 긴 기간 동안 모델을 학습시켜 더 큰 문서를 처리할 수 있습니다. 유료 학습에 대한 자세한 내용은 청구 v4.0을 참조하세요.

결제

Important

학습 한도를 늘리는 경우 2개의 사용자 지정 신경망 모델 학습 세션이 1시간 학습으로 간주됩니다. 학습 세션 수를 늘리기 위한 가격 책정에 대한 자세한 내용은 가격 책정 페이지를 참조하세요.
학습 한도를 늘리기 위한 Azure 지원 티켓은 구독 수준이 아닌 리소스 수준에서만 적용할 수 있습니다. 지원 티켓에서 리소스 ID 및 지역을 지정하여 단일 문서 인텔리전스 리소스에 대한 학습 한도 증가를 요청할 수 있습니다.

30분보다 더 긴 기간 동안 모델을 학습시키려는 경우 최신 버전 v4.0 (2024-07-31)을 통해 유료 학습이 지원됩니다. 최신 버전을 사용하여 더 긴 기간 동안 모델을 학습시켜 더 큰 문서를 처리할 수 있습니다. 유료 학습에 대한 자세한 내용은 청구 v4.0을 참조하세요.

다음 단계

사용자 지정 모델을 만들고 구성하는 방법을 알아봅니다.

사용자 지정 모델 빌드사용자 지정 모델 작성

다음을 통해 공유

문서 인텔리전스 사용자 지정 신경망 모델

모델 기능

빌드 모드

겹치는 필드

겹치는 필드

표 형식 필드

지원되는 언어 및 로캘

지원되는 지역

입력 요구 사항

모범 사례

현재 제한 사항

모델 학습

결제

결제

결제

다음 단계

피드백

추가 리소스