Общая модель документов для аналитики документов

  • Статья

Внимание

Начиная с версий 2024-02-29-preview, 2023-10-31-preview и вперед, общая модель документов (предварительно созданный документ) устарела. Чтобы извлечь пары "ключ-значение", метки выделения, текст, таблицы и структура из документов, используйте следующие модели:

Функция версия Model ID
Layout модель с включенным необязательным параметром features=keyValuePairs строки запроса. • v4:2024-02-29-preview• v3.1
:2023-07-31 (GA)		 prebuilt-layout
Модель документа общего назначения • v3.1:2023-07-31 (GA)• v3.0:2022-08-31 (GA)

• версии 2.1 (GA)		 prebuilt-document

Это содержимое относится к:v3.1 (GA)Последняя версия:v4.0 (предварительная версия) | | Предыдущая версияфиолетовый проверка markсиний проверка mark:флажокv3.0

Это содержимое относится к:v3.0 (GA) | Latest versions:флажокфиолетовый проверка markv4.0 (preview)фиолетовый проверка markv3.1

Общая модель документов объединяет мощные возможности оптического распознавания символов (OCR) с моделями глубокого обучения для извлечения пар ключей, таблиц и выделений из документов. Общий документ доступен с API версии 3.1 и версии 3.0. Дополнительные сведения см . в руководстве по миграции.

Функции и возможности документа общего назначения

  • Общая модель документов — это предварительно обученная модель; Для этого не требуются метки или учебные курсы.

  • Один API извлекает из документов пары "ключ-значение", метки выделения, текст, таблицы и структуру.

  • Модель документа общего назначения поддерживает структурированные, частично структурированные и неструктурированные документы.

  • Знаки выделения определяются как поля со значением :selected: или :unselected:.

Пример документа, обработанный в Студии аналитики документов

Снимок экрана: общий анализ документов в Студии аналитики документов.

Извлечение пары "ключ-значение"

API общих документов поддерживает большинство типов форм и анализирует документы и извлекает ключи и связанные значения. Это оптимальный вариант для извлечения из документов стандартных пар "ключ-значение". Модель документа общего назначения можно использовать в качестве альтернативы обучению настраиваемой модели без меток.

Варианты разработки

Аналитика документов версии 3.1 поддерживает следующие средства, приложения и библиотеки:

Функция Ресурсы Model ID
Модель документа общего назначения • Аналитика
 документов• REST API
• ПАКЕТ SDK
для C#
 • Пакет SDK для Python• Пакет SDK для Java • Пакет SDK
 java для JavaScript		 предварительно созданный документ

Аналитика документов версии 3.0 поддерживает следующие средства, приложения и библиотеки:

Функция Ресурсы Model ID
Модель документа общего назначения • Аналитика
 документов• REST API
• ПАКЕТ SDK
для C#
 • Пакет SDK для Python• Пакет SDK для Java • Пакет SDK
 java для JavaScript		 предварительно созданный документ

Требования к входным данным

  • Для получения наилучших результатов предоставьте одну четкую фотографию или скан-копию документа высокого качества.

  • Поддерживаемые форматы файлов:

    Модель PDF Изображение:
    JPEG/JPG, PNG, BMP, TIFF, HEIF    		 Microsoft Office:
    Word (DOCX), Excel (XLSX), PowerPoint (PPTX) и HTML
    Читать ✔ ✔ ✔
    Макет ✔ ✔ ✔ (2024-02-29-preview, 2023-10-31-preview)
    Документ общего назначения ✔ ✔
    Готовое ✔ ✔
    Настраиваемая функция извлечения ✔ ✔
    Настраиваемая классификация ✔ ✔ ✔ (2024-02-29-preview)

  • В файлах формата PDF и TIFF обрабатывается до 2000 страниц (с подпиской уровня "Бесплатный" обрабатываются только первые две страницы).

  • Размер файла для анализа документов составляет 500 МБ для платного уровня (S0) и 4 МБ бесплатного уровня (F0).

  • Изображения должны иметь размеры в пределах от 50 x 50 до 10 000 x 10 000 пикселей.

  • Если PDF-файлы заблокированы паролем, перед отправкой необходимо снять блокировку.

  • Минимальная высота извлекаемого текста составляет 12 пикселей для изображения размером 1024 x 768 пикселей. Это измерение соответствует тексту о 8точке в 150 точек на дюйм (DPI).

  • Для обучения пользовательской модели максимальный объем обучающих данных составляет 500 страниц для пользовательской модели шаблона и 50 000 страниц для пользовательской нейронной модели.

    • Для обучения пользовательской модели извлечения общий размер обучающих данных составляет 50 МБ для модели шаблона и 1G-МБ для нейронной модели.

    • Для обучения пользовательской модели классификации общий размер обучающих данных составляет 1GB не более 10 000 страниц.

Извлечение данных модели общих документов

Попробуйте извлечь данные из форм и документов с помощью Document Intelligence Studio.

Вам потребуются следующие ресурсы:

  • Подписка Azure — ее можно создать бесплатно.

  • Экземпляр аналитики документов в портал Azure. Вы можете использовать ценовую категорию "Бесплатный" (F0), чтобы поработать со службой. После развертывания ресурса выберите Перейти к ресурсу, чтобы получить ключ и конечную точку.

Снимок экрана: расположение ключей и конечной точки на портале Azure.

Примечание.

Document Intelligence Studio и общая модель документов доступны с ПОМОЩЬЮ API версии 3.0.

  1. На домашней странице Document Intelligence Studio выберите общие документы.

  2. Вы можете проанализировать пример документа или отправить собственные файлы.

  3. Нажмите кнопку "Выполнить анализ", а при необходимости настройте параметры анализа:

    Снимок экрана: кнопки

    Попробуйте Использовать Document Intelligence Studio.

Пары "ключ-значение"

Пары "ключ-значение" — это отдельные фрагменты внутри документа, которые определяют метку или ключ и связанный с ними ответ или значение. В структурированной форме эти пары могут быть меткой и значением, которое пользователь указал для данного поля. В неструктурированном документе они могут быть датой подписания договора на основании текста в абзаце. Модель искусственного интеллекта предназначена для извлечения идентифицируемых ключей и значений на основе широкого спектра типов документов, форматов и структур.

Ключи также могут существовать в изоляции, когда модель обнаруживает, что ключ существует, но с ним не связано ни одно значение, или при обработке необязательных полей. Например, поле промежуточного имени можно оставить пустым в форме в некоторых экземплярах. Пары "ключ-значение" всегда представляют собой фрагменты текста, содержащиеся в документе. Для документов, в которых одно и то же значение описано разными способами, например клиент или пользователь, связанный ключ является клиентом или пользователем (в зависимости от контекста).

Извлечение данных

Модель Извлечение текста Пары "ключ-значение" Метки выделения Таблицы Общие имена
Документ общего назначения ✓ ✓ ✓ ✓ ✓*

✓ * — доступно только в 2023-07-31 версиях API версии 3.1 и более поздних версий API.

Поддерживаемые языки и языковые стандарты

См. страницу "Поддержка языка" — модели анализа документов для полного списка поддерживаемых языков.

Рекомендации

  • Так как ключи являются диапазонами текста, извлеченных из документа, для полуструктурированных документов ключи необходимо сопоставить с существующим словарем ключей.

  • Могут отображаться пары "ключ-значение" с ключом, но без значения (например, если пользователь не указал в форме адрес электронной почты).

Следующие шаги

  • Следуйте руководству по миграции с помощью аналитики документов версии 3.1, чтобы узнать, как использовать версию 3.1 в приложениях и рабочих процессах.

  • Изучите наш REST API.

Попробуйте в Студии аналитики документов