Пользовательская модель шаблона аналитики документов

Внимание

• Выпуски общедоступной предварительной версии Document Intelligence предоставляют ранний доступ к функциям, которые находятся в активной разработке. Функции, подходы и процессы могут изменяться до общедоступной доступности на основе отзывов пользователей.
• Общедоступная предварительная версия клиентских библиотек Аналитики документов по умолчанию использует REST API версии 2024-07-31-preview.
• Общедоступная предварительная версия 2024-07-31-preview в настоящее время доступна только в следующих регионах Azure. Обратите внимание, что пользовательская модель создания (извлечение полей документов) в AI Studio доступна только в регионе "Северная часть США":
  • Восточная часть США
  • Западная часть США2
  • Западная Европа
  • Северная часть США

Это содержимое относится к: версии 4.0 (предварительная версия) | Предыдущие версии: версия 3.1 (GA) версии 3.0 (GA) версии 2.1 (GA)

Пользовательский шаблон (ранее настраиваемая форма) — это простая модель документа, которая точно извлекает пары "ключ-значение", метки выбора, таблицы, регионы и подписи из документов. Модели шаблонов используют ключи макета для извлечения значений из документов и подходят для извлечения полей из строго структурированных документов с определенными визуальными шаблонами.

Модели настраиваемого шаблона используют те же формат меток и стратегию в качестве настраиваемых нейронных моделей, но поддерживают дополнительные типы полей и языки.

Возможности модели

Модели настраиваемого шаблона поддерживают пары "ключ-значение", метки выделения, таблицы, поля подписи и выделенные области.

Поля формы	Метки выделения	Табличные поля (таблицы)	Подпись	Выбранные области	Перекрывающиеся поля
Поддерживается	Поддерживаемые	Поддерживаемые	Поддерживаемые	Поддерживается	Не поддерживается

Табличные поля

В выпуске версий API версии 3.0 и более поздних версий пользовательские модели шаблонов добавляют поддержку межстраничных табличных полей (таблиц):

• Чтобы пометить таблицу, охватывающую несколько страниц, пометьте каждую строку таблицы на разных страницах в одной таблице.
• Рекомендуется убедиться, что набор данных содержит несколько примеров ожидаемых вариантов. Например, включите примеры, где вся таблица находится на одной странице и где таблицы охватывают две или более страниц, если вы ожидаете увидеть эти варианты в документах.

Табличные поля также полезны при извлечении повторяющихся данных в документе, который не распознается как таблица. Например, повторяющийся раздел об опыте работы в резюме можно пометить и извлечь как табличное поле.

Работа с вариантами

Модели шаблонов используют определенный визуальный шаблон, изменения шаблона приводят к снижению точности. В этих случаях следует разделит набор данных для обучения, чтобы включить по меньшей мере пять образцов каждого шаблона и обучить модель с использованием каждого из вариантов. После этого можно объединить модели в одну конечную точку. При работе со схожими вариантами, например с цифровыми документами в формате PDF и изображениями, рекомендуется включать в один набор данных для обучения по крайней мере по пять образцов каждого вида.

Требования к входным данным

• Для получения наилучших результатов предоставьте одну четкую фотографию или скан-копию документа высокого качества.

• Поддерживаемые форматы файлов:

  Модель	PDF	Изображение: JPEG/JPG, , BMPPNG, TIFFHEIF	Microsoft Office: Word (DOCX), Excel (XLSX), PowerPoint (PPTX) и HTML
  Читать	✔	✔	✔
  Макет	✔	✔	✔ (2024-02-29-preview, 2023-10-31-preview или более поздней версии)
  Документ общего назначения	✔	✔
  Готовое	✔	✔
  Пользовательское	✔	✔

  ✱ Файлы Microsoft Office сейчас не поддерживаются в других моделях или версиях.

• Для PDF и TIFF можно обрабатывать до 2000 страниц (с подпиской на бесплатный уровень только первые две страницы обрабатываются).

• Размер файла для анализа документов составляет 500 МБ для платного уровня (S0) и 4 МБ для бесплатного уровня (F0).

• Изображения должны иметь размеры в пределах от 50 x 50 до 10 000 x 10 000 пикселей.

• Если PDF-файлы заблокированы паролем, перед отправкой необходимо снять блокировку.

• Минимальная высота извлекаемого текста составляет 12 пикселей для изображения размером 1024 x 768 пикселей. Это измерение соответствует тексту о 8точке в 150 точек на дюйм (DPI).

• Для обучения пользовательской модели максимальный объем обучающих данных составляет 500 страниц для пользовательской модели шаблона и 50 000 страниц для пользовательской нейронной модели.

• Для обучения пользовательской модели извлечения общий размер обучающих данных составляет 50 МБ для модели шаблона и 1G-МБ для нейронной модели.

• Для обучения пользовательской модели классификации общий размер обучающих данных составляет 1GB не более 10 000 страниц.

Обучение модели

Пользовательские модели шаблонов обычно доступны начиная с API версии 2.0 и более поздних версий. Если вы начинаете с нового проекта или имеете существующий набор данных с метками, используйте API версии 3.1 или версии 3.0 с Document Intelligence Studio для обучения пользовательской модели шаблона.

Модель	REST API	SDK	Создание меток и тестирование моделей
Пользовательский шаблон	API версии 3.1	Пакет SDK для аналитики документов	Document Intelligence Studio

С помощью API версии 3.0 и более поздних версий операция сборки для обучения модели поддерживает новое buildMode свойство, чтобы обучить пользовательскую модель шаблона, задайте для нее buildMode значение template.

https://{endpoint}/documentintelligence/documentModels:build?api-version=2024-07-31-preview


{
  "modelId": "string",
  "description": "string",
  "buildMode": "template",
  "azureBlobSource":
  {
    "containerUrl": "string",
    "prefix": "string"
  }
}

Поддерживаемые языки и языковые стандарты

Ознакомьтесь со страницей поддержки языка — пользовательские модели для полного списка поддерживаемых языков.

Следующие шаги

Создание и объединение настраиваемых моделей:

Создание пользовательской моделиCompose настраиваемых моделей