Начало работы с инструментом разработки примеров меток для аналитики документов

Это содержимое относится к:v2.1.

Совет

• Для повышения качества и расширенного качества модели попробуйте в Студии аналитики документов версии 3.0.
• Студия версии 3.0 поддерживает любую модель, обученную с помощью маркированных данных версии 2.1.
• Подробные сведения о переходе с версии 2.1 на версию 3.0 см. в руководстве по миграции API.
• Чтобы приступить к работе с версией 3.0, ознакомьтесь с нашими краткими руководствами по пакетам SDK для REST API или C#, Java, JavaScript или Python.

Инструмент аналитики документов Azure — это средство открытый код, позволяющее протестировать новейшие функции службы "Аналитика документов" и "Оптическое распознавание символов" (OCR):

• Анализ документов с помощью API макета. Попробуйте использовать API макета для извлечения текста, данных таблиц, меток выделения и структуры из документов.

• Анализ документов с помощью предварительно созданной модели. Начните работу с предварительно созданной моделью для извлечения данных из счетов, чеков, документов, удостоверяющих личность, или визитных карточек.

• Обучение и анализ настраиваемой формы. Используйте пользовательскую модель для извлечения данных из документов с определенными бизнес-данными и в рамках других вариантов использования.

Необходимые компоненты

Чтобы приступить к работе, вам потребуется следующее:

• Подписка Azure — создайте бесплатную учетную запись

• Служба ИИ Azure или ресурс аналитики документов. После получения подписки Azure создайте ресурс аналитики документов с несколькими службами в портал Azure, чтобы получить ключ и конечную точку. Используйте бесплатную ценовую категорию (F0), чтобы опробовать службу, а затем выполните обновление до платного уровня для рабочей среды.

  Совет

  Создайте ресурс служб искусственного интеллекта Azure, если вы планируете получить доступ к нескольким службам ИИ Azure в рамках одной конечной точки или ключа. Только для доступа к аналитике документов создайте ресурс аналитики документов. Обратите внимание, что если вы планируете использовать проверку подлинности Microsoft Entra, вам потребуется один ресурс службы.

Создание ресурса аналитики документов

Перейдите к портал Azure и создайте новый ресурс аналитики документов. На панели Создать укажите следующие сведения:

Сведения о проекте	Description
Подписка	Выберите подписку Azure, для которой предоставлен доступ.
Группа ресурсов	Группа ресурсов Azure, которая содержит ваш ресурс. Вы можете создать новую группу или добавить к имеющейся группе.
Регион	Расположение ресурса служб ИИ Azure. Разные расположения могут увеличивать задержку, но не влияют на доступность среды выполнения ресурса.
Имя	Описательное имя ресурса. Рекомендуется использовать описательное имя, например Имя_распознавателя_документов.
Ценовая категория	Плата за ресурс будет зависеть от выбранной ценовой категории и показателей использования. Дополнительные сведения см. на странице с ценами API-интерфейсов.
Проверить и создать	Нажмите кнопку "Проверить и создать", чтобы развернуть ресурс на портале Azure.

Получение ключа и конечной точки

Когда ресурс аналитики документов завершит развертывание, найдите и выберите его из списка всех ресурсов на портале. Ключ и конечная точка будут располагаться на странице Key and Endpoint (Ключ и конечная точка) ресурса в разделе Управление ресурсами. Сохраните их во временном расположении, прежде чем продолжать работу.

Анализ с помощью предварительно созданной модели

Аналитика документов предлагает несколько предварительно созданных моделей для выбора. Каждая модель имеет собственный набор поддерживаемых полей. Модель, используемая для Analyze операции, зависит от типа документа, который необходимо проанализировать. Ниже приведены готовые модели, поддерживаемые в настоящее время службой аналитики документов:

• Счет — извлекает текст, метки выбора, таблицы, пары "ключ-значение" и ключевые данные из счетов.
• Квитанция — извлекает текст и ключевые данные из квитанций.
• ID document (Удостоверение) — извлекает текст и ключевые данные из водительских прав и заграничных паспортов.
• Визитная карточка — извлекает текст и ключевые данные из визитных карточек.

1. Перейдите к инструменту аналитики документов.

2. На домашней странице примера инструмента выберите предварительно созданную модель, чтобы получить плитку данных .

   

3. Выберите тип формы для анализа из раскрывающегося меню.

4. Выберите URL-адрес для файла, который необходимо проанализировать, в одном из следующих вариантов:

   • Пример документа счета.
   • Пример удостоверения.
   • Пример изображения квитанции.
   • Пример изображения визитной карточки.

5. В поле Источник выберите URL-адрес в раскрывающемся меню, вставьте выбранный URL-адрес и нажмите кнопку Получить.

   

6. В поле конечной точки службы аналитики документов вставьте конечную точку, полученную в подписке Аналитики документов.

7. В поле ключа вставьте ключ, полученный из ресурса аналитики документов.

   

8. Щелкните элемент Run analysis (Выполнить анализ). Средство аналитики документов вызывает предварительно созданный API анализа и анализирует документ.

9. Просмотрите результаты. Просмотрите пары "ключ-значение", извлеченные, элементы строки, извлеченные текст и обнаруженные таблицы.

   

10. Скачайте выходной файл в формате JSON для просмотра подробных результатов.

    • Узел readResults содержит каждую строку текста и соответствующее расположение ограничивающего прямоугольника на странице.
    • Узел selectionMarks отображает каждую метку выбора (проверка box, радиометку) и состояние илиunselected.selected
    • В разделе pageResults содержатся извлеченные таблицы. Для каждой таблицы извлекаются текст, строка и индекс столбца, объединение строки и столбца, ограничивающий прямоугольник и т. д.
    • Поле documentResults содержит сведения о парах "ключ-значение" и об элементах строк для наиболее релевантных частей документа.

Анализ макета

API макета аналитики документов Azure извлекает текст, таблицы, знаки выделения и сведения о структуре из документов (PDF, TIFF) и изображений (JPG, PNG, BMP).

1. Перейдите к инструменту аналитики документов.

2. На домашней странице примера средства выберите Use Layout to get text, tables and selection marks (Использовать макет для получения текста, таблиц и отметок выбора).

   

3. В поле конечной точки службы аналитики документов вставьте конечную точку, полученную в подписке Аналитики документов.

4. В поле ключа вставьте ключ, полученный из ресурса аналитики документов.

5. В поле Источник выберите URL-адрес в раскрывающемся меню, вставьте следующий URL-адрес https://raw.githubusercontent.com/Azure-Samples/cognitive-services-REST-api-samples/master/curl/form-recognizer/layout-page-001.jpg и нажмите кнопку Получить.

6. Выберите Run Layout (Выполнить макет). Средство распознавания меток аналитики документов вызывает Analyze Layout API и анализирует документ.

   

7. Просмотрите результаты: просмотрите выделенный текст, извлеченный, обнаруженные знаки выделения и обнаруженные таблицы.

   

8. Скачайте выходной файл JSON для просмотра подробных результатов анализа макета.

   • Узел readResults содержит каждую строку текста с соответствующим расположением ограничивающего прямоугольника на странице.
   • Узел selectionMarks отображает каждую отметку выделения (флажок или переключатель) и состояние selected или unselected.
   • В разделе pageResults содержатся извлеченные таблицы. Для каждой таблицы извлекаются текст, строка и индекс столбца, объединение строки и столбца, ограничивающий прямоугольник и т. д.

Обучение пользовательской модели документов

Обучите пользовательскую модель анализировать и извлекать данные из форм и документов, относящихся к вашему бизнесу. API — это программа машинного обучения, обученная для распознавания полей форм в определенном содержимом, а также извлечения пар "ключ-значение" и данных таблиц. Чтобы приступить к работе, вам потребуется по крайней мере пять примеров одного типа формы, а настраиваемая модель может быть обучена с помощью помеченных наборов данных или без нее.

Предварительные условия для обучения пользовательской модели документов

• Набор данных для обучения в Хранилище BLOB-объектов Azure. Убедитесь, что все обучающие документы имеют одинаковый формат. Если у вас есть формы в разных форматах, рассортируйте их по вложенным папкам соответствующим образом. Для этого проекта можно использовать наш пример набора данных.

• Если вы не знаете, как создать учетную запись хранения Azure с контейнером, обратитесь к краткому руководству по работе со службой хранилища Azure на портале Azure.

• Настройка CORS

  CORS (общий доступ к ресурсам между источниками) необходимо настроить в учетной записи хранения Azure, чтобы она была доступна в Студии аналитики документов. Чтобы настроить CORS в портал Azure, необходимо получить доступ к вкладке CORS учетной записи хранения.

  1. Выберите вкладку CORS для учетной записи хранения.

     

  2. Начните с создания записи CORS в службе BLOB-объектов.

  3. В поле Разрешенные источники введите https://fott-2-1.azurewebsites.net.

     

     Совет

     Можно не указывать домен, а воспользоваться подстановочным знаком *, чтобы разрешить всем исходным доменам делать запросы через CORS.

  4. Выберите все доступные 8 параметров для разрешенных методов.

  5. Утвердите все допустимые и предоставляемые заголовки, введя * в каждом поле.

  6. Установите для параметра Максимальный возраст 120 секунд или любое допустимое значение.

  7. Нажмите кнопку сохранения в верхней части страницы и сохраните изменения.

Использование примера средства маркировки данных

1. Перейдите к инструменту аналитики документов.

2. На домашней странице средства выберите элемент Использовать настраиваемую форму для обучения модели с метками и получения пар "ключ-значение".

   

3. Щелкните элемент Создать проект.

   

Создание нового проекта

Задайте в поля Параметры проекта указанные ниже значения.

1. Отображаемое имя. Присвойте проекту имя.

2. Маркер безопасности. Каждый проект автоматически создает маркер безопасности, который можно использовать для шифрования и расшифровки параметров конфиденциальных проектов. Маркеры безопасности можно найти в разделе параметров приложения, который открывается щелчком по значку шестеренки в нижней части панели навигации слева.

3. Подключение к источнику. Пример средства маркировки данных подключается к источнику данных (где размещены отправленные вами формы) и к целевому объекту (где будет размещать созданные метки и выходные данные). Подключения можно настраивать и совместно использовать для нескольких проектов. При этом используется расширяемая модель поставщика, что позволяет легко добавлять новых поставщиков источника и назначения.

   • Создайте новое подключение, нажав кнопку Добавить подключение. Заполните поля указанными ниже значениями.
   • Отображаемое имя. Назовите подключение.
   • Описание. Добавьте краткое описание.
   • URL-адрес SAS. Вставьте подписанный URL-адрес (SAS) для контейнера Хранилища Blob-объектов Azure.

   • Чтобы получить URL-адрес SAS для данных обучения пользовательской модели, перейдите к ресурсу хранилища в портал Azure и выберите вкладку Обозреватель службы хранилища. Перейдите к контейнеру, щелкните правой кнопкой мыши и выберите "Получить подписанный URL-адрес". Важно получить SAS для вашего контейнера, а не для самой учетной записи хранения. Убедитесь, что заданы разрешения на чтение, запись, удаление и перечисление, а затем выберите Создать. Затем скопируйте во временное расположение значение из раздела URL-адрес. Оно должно быть в таком формате: https://<storage account>.blob.core.windows.net/<container name>?<SAS value>.

     

4. Путь к папке (необязательно). Если исходные формы находятся в папке в контейнере больших двоичных объектов, укажите имя папки.

5. Uri службы аналитики документов — URL-адрес конечной точки аналитики документов.

6. Key. Ключ аналитики документов.

7. Версия API. Сохраните значение v2.1 (по умолчанию).

8. Описание (необязательно). Опишите проект.

   

Создание меток для форм

При создании или открытии проекта открывается главное окно редактора тегов. Редактор тегов разделен на три сегмента.

• Область просмотра с возможностью изменения размера содержит прокручиваемый список форм из подключенного источника.
• Главная панель редактора позволяет применять теги.
• Панель редактора тегов позволяет пользователям изменять, блокировать, переупорядочивать и удалять теги.

Выявление текста и таблиц

Выберите Выполнить анализ непросмотренных документов на панели слева, чтобы получить сведения о тексте и таблицах для каждого документа. Средство маркировки рисует ограничивающие прямоугольники вокруг каждого текстового элемента.

Средство маркировки также показывает, какие таблицы были автоматически извлечены. Щелкните значок таблицы или сетки слева от документа и просмотрите извлеченную таблицу. Так как содержимое таблицы извлекается автоматически, мы не помечаем содержимое таблицы, а не будем полагаться на автоматическое извлечение.

Применение меток к тексту

Затем вы создадите теги (метки) и примените их к текстовым элементам, которые нужно проанализировать моделью. Обратите внимание, что набор данных "Пример метки" содержит уже помеченные поля; мы добавим другое поле.

На панели редактора тегов создайте новый тег, который хотите определять:

1. Щелкните знак плюса (+), чтобы создать новый тег.

2. Введите имя тега Total.

3. Нажмите клавишу ВВОД, чтобы сохранить тег.

4. В основном окне редактора выберите значение Total из выделенных текстовых элементов.

5. Щелкните тег Total, который хотите применить к этому значению, или нажмите соответствующую клавишу на клавиатуре. Клавиши с цифрами позволяют быстро присвоить любой из первых десяти тегов. Чтобы изменить порядок тегов, используйте значки со стрелками вверх и вниз на панели редактора тегов. Выполните следующие действия, чтобы пометить все пять форм в примере набора данных:

   Совет

   При создании меток для форм воспользуйтесь следующими советами:

   • К каждому выбранному текстовому элементу можно применить только один тег.

   • Каждый тег может применяться только один раз на каждую страницу. Если значение встречается несколько раз в одной и той же форме, создайте разные теги для каждого экземпляра. Например: "счет# 1", "счет# 2" и т. д.

   • Теги не могут охватывать несколько страниц.

   • Помечайте значения, отображаемые в форме; не пытайтесь разделить значение на две части двумя разными тегами. Например, поле адреса должно быть помечено одним тегом, даже если оно охватывает несколько строк.

   • Не включайте в поля с тегами ключи — только значения.

   • Данные таблицы должны обнаруживаться автоматически и будут доступны в окончательном выходном JSON-файле в разделе pageResults. Но если модель не сможет обнаружить все данные таблицы, вы можете присвоить метки и обучить модель дополнительно для обнаружения таблиц, как описано в разделе об обучении пользовательской модели и создании меток для форм.

   • Чтобы искать, переименовывать, упорядочивать и удалять теги, используйте кнопки справа от значка +.

   • Чтобы снять примененный тег, не удаляя его, выберите прямоугольник с тегом в представлении документа и нажмите клавишу Delete.

обучение пользовательской модели;

Щелкните значок "Обучение" на левой панели и откройте страницу обучения. Затем нажмите кнопку Обучение, чтобы начать обучение модели. После завершения процесса обучения вы увидите следующие сведения:

• Идентификатор модели, которую вы создали и обучили. Каждый вызов обучения создает новую модель с уникальным идентификатором. Скопируйте эту строку в безопасное расположение; Вам потребуется, если вы хотите выполнять прогнозирующие вызовы с помощью REST API или клиентской библиотеки.

• Средняя точность, как характеристика точности модели. Вы можете повысить точность модели, наклеив больше форм и переобучая для создания новой модели. Мы рекомендуем начать с присвоения меток пяти документам, затем проанализировать и протестировать результаты и по мере необходимости добавлять дополнительные документы.

• Список тегов и оценка точности для каждого из них. Дополнительные сведения см. в разделеИнтерпретация и повышение точности и достоверности.

  

Анализ настраиваемой формы

1. Analyze Выберите значок на панели навигации и проверьте модель.

2. Выберите исходный локальный файл. Затем найдите и выберите файл из примера набора данных, который вы ранее распаковали в тестовую папку.

3. Нажмите кнопку "Выполнить анализ", чтобы получить пары "ключ-значение", "текст" и "Таблицы" для формы. Средство применяет теги в ограничивающих полях и сообщает о достоверности каждого тега.

   

Вот и все! Вы узнали, как использовать пример средства аналитики документов для предварительно созданных, макетов и пользовательских моделей. Вы также узнали, как проанализировать пользовательскую форму с помощью данных, помеченных вручную.

Следующие шаги

Document Intelligence Studio