Интерпретация и повышение точности и оценки достоверности

Оценка достоверности указывает на вероятность, измеряя степень статистической уверенности, что извлеченный результат обнаружен правильно. Оценочная точность вычисляется путем выполнения нескольких различных сочетаний обучающих данных для прогнозирования помеченных значений. В этой статье вы узнаете, как интерпретировать оценки точности и достоверности и рекомендации по использованию этих показателей для повышения точности и достоверности результатов.

Оценка достоверности

Примечание.

• Уровень достоверности полей включает оценки достоверности слов с версией API 2024-11-30 (GA) для пользовательских моделей.
• Оценки достоверности для таблиц, строк таблиц и ячеек таблиц доступны начиная с версии API 2024-11-30 (GA) для пользовательских моделей.

Результаты анализа аналитики документов возвращают оценку достоверности для прогнозируемых слов, пар "ключ-значение", меток выбора, регионов и подписей. В настоящее время оценку достоверности возвращают не все поля документа.

Достоверность поля обозначает предполагаемую вероятность в диапазоне от 0 до 1 того, что прогноз является правильным. Например, значение достоверности 0,95 (95 %) означает, что прогноз, скорее всего, будет верным в 19 из 20 случаев. В сценариях, где точность имеет решающее значение, достоверность может использоваться для определения того, следует ли автоматически принимать прогноз или помечать его для проверки человека.

Предварительно созданная модель счета в Document Intelligence Studio

Улучшение оценок достоверности

После операции анализа просмотрите выходные данные JSON. Изучите значения confidence для каждого результата "ключ — значение" в узле pageResults. Следует также обратить внимание на оценки достоверности в узле readResults, который соответствует операции чтения текста. Достоверность результатов чтения не влияет на достоверность результатов извлечения ключа или значения, поэтому следует проверить оба. Ниже приведено несколько советов.

• Если оценка достоверности для объекта readResults является низкой, повысьте уровень качества входных документов.

• Если оценка достоверности для pageResults объекта низка, убедитесь, что документы, которые вы анализируете, имеют одинаковый тип.

• Попробуйте включить проверку человеком в рабочие процессы.

• Используйте формы, имеющие разные значения в каждом поле.

• Для пользовательских моделей используйте более широкий набор документов для обучения. Более крупный обучающий набор учит модель распознавать поля с большей точностью.

Оценки точности для пользовательских моделей

Примечание.

• Пользовательские нейронные и генеративные модели не предоставляют точностных оценок во время обучения.

Выходные данные операции пользовательской build модели (версии 3.0 и выше) или train (версии 2.1) включают оценку точности. Эта оценка представляет способность модели точно прогнозировать отмеченное значение в визуально похожем документе. Точность измеряется в процентном диапазоне от 0% (низкая) до 100 % (высокая). Рекомендуется выбрать значение 80 % или выше в качестве целевого. Для более чувствительных случаев, таких как финансовые или медицинские записи, мы рекомендуем оценить около 100 %. Вы также можете добавить этап проверки человека для проверки более критически важных рабочих процессов автоматизации.

Обученная настраиваемая модель (счет) в Document Intelligence Studio

Интерпретация показателей точности и достоверности для пользовательских моделей

Пользовательские модели шаблонов создают оценку точности при обучении. Документы, проанализированные с помощью настраиваемой модели, дают оценку достоверности для извлеченных полей. При интерпретации оценки достоверности из пользовательской модели следует учитывать все оценки достоверности, возвращаемые из модели. Начнем со списка всех показателей достоверности.

• Оценка достоверности типов документов: достоверность типа документа является индикатором тесно проанализированного документа, похожего на документы в наборе данных обучения. Если достоверность типа документа низка, это свидетельствует о шаблоне или структурных вариациях в проанализированном документе. Чтобы повысить достоверность типов документов, пометьте документ с определенным вариантом и добавьте его в обучающий набор данных. После переобученной модели необходимо лучше обучить этот класс вариантов.

• Достоверность на уровне поля: каждое извлеченное поле с меткой имеет связанную оценку достоверности. Эта оценка отражает уверенность модели в позиции извлеченного значения. При оценке показателей достоверности необходимо также взглянуть на базовую достоверность извлечения, чтобы создать исчерпывающую уверенность для извлеченного результата. OCR Оцените результаты извлечения текста или метки выделения в зависимости от типа поля, чтобы создать составную оценку достоверности для поля.

• Оценка достоверности слов, извлеченных в документе, имеет связанную оценку достоверности. Оценка представляет достоверность транскрибирования. Массив страниц содержит массив слов, и каждое слово имеет связанный диапазон и оценку достоверности. Диапазоны из извлекаемого настраиваемого поля соответствуют диапазонам извлеченных слов.

• Оценка достоверности выделения: массив страниц также содержит массив меток выделения. Каждая метка выбора имеет оценку достоверности, представляющую достоверность метки выбора и обнаружения состояния выбора. Если помеченное поле имеет метку выбора, выбор настраиваемого поля в сочетании с уверенностью в выборе является точным представлением общей точности достоверности.

В следующей таблице показано, как интерпретировать показатели точности и достоверности для измерения производительности пользовательской модели.

Правильность	Достоверность	Результат
Высокая	Высокая	• Модель хорошо работает с помеченными ключами и форматами документов. • У вас есть сбалансированный набор данных для обучения.
Высокая	Низкая	• Проанализированный документ отличается от обучающего набора данных.• Модель может воспользоваться переобучением по крайней мере с пятью более помеченными документами. • Эти результаты также могут указывать на вариант формата между набором данных обучения и проанализированным документом. Рассмотрите возможность добавления новой модели.
Низкая	Высокая	• Этот результат наиболее маловероятен.• Для оценки низкой точности добавьте больше помеченных данных или разбиите визуальные документы на несколько моделей.
Низкая	Низкая	• Добавление дополнительных помеченных данных.• Разделение визуально отдельных документов на несколько моделей.

Обеспечение высокой точности модели для пользовательских моделей

Дисперсии в визуальной структуре документов влияют на точность модели. Показатели точности могут быть нестабильными, если анализируемые документы отличаются от используемых для обучения. Не забывайте, что некоторые документы выглядят одинаковыми для людей, но при этом отличаются для моделей ИИ. Ниже приведен список рекомендаций по обучению моделей с максимальной точностью. С их помощью вы сможете создать модель с более высокими показателями точности и достоверности во время анализа и сократить число документов, помеченных для дальнейшего просмотра человеком.

• Убедитесь, что все варианты документов включены в набор данных для обучения. Варианты документов включают различные форматы, например цифровые и отсканированные документы PDF.

• Добавьте по крайней мере пять примеров каждого типа в обучающий набор данных, если предполагается, что модель будет анализировать оба типа PDF-документов.

• Отдельные визуальные типы документов для обучения различных моделей для пользовательских шаблонов и нейронных моделей.

  • Как правило, если после удаления всех введенных пользователем значений документы выглядят похожими, необходимо добавить в существующую модель дополнительные обучающие данные.
  • Если документы не похожи, распределите обучающие данные по разным папкам и обучите отдельную модель для каждого варианта. Затем разные вариации можно объединить в одну модель.

• Убедитесь, что у вас нет лишних меток.

• Убедитесь, что метка подписей и регионов не включает окружающий текст.

Доверие к таблицам, строкам и ячейкам

Ниже приведены некоторые распространенные вопросы, которые должны помочь в интерпретации показателей таблицы, строки и ячейки:

Могут ли ячейки иметь высокие оценки достоверности, в то время как строка имеет низкую оценку достоверности?

Различные уровни достоверности таблицы (ячейки, строки и таблицы) предназначены для отслеживания правильности прогноза на этом конкретном уровне. Правильно прогнозируемая ячейка, которая принадлежит строке с другими возможными промахами, будет иметь высокую достоверность ячеек, но достоверность строки должна быть низкой. Аналогичным образом правильная строка в таблице с проблемами с другими строками будет иметь высокую достоверность строк, в то время как общая достоверность таблицы будет низкой.

Как объединение ячеек влияет на оценки достоверности, учитывая изменение числа идентифицированных столбцов?

Независимо от типа таблицы, ожидание объединенных ячеек заключается в том, что они должны иметь более низкие значения достоверности. Кроме того, ячейка, которая отсутствует (так как она была объединена с соседней ячейкой), должна иметь NULL значение с более низкой достоверности. Сколько меньше этих значений может быть зависит от набора данных обучения, общая тенденция объединения и отсутствия ячейки с более низкими оценками должна храниться.

Что такое оценка достоверности для необязательных значений? Следует ли ожидать, что ячейка со значением NULL имеет высокую оценку достоверности, так как значение отсутствует?

Если обучающий набор данных отражает вариативность ячеек, это помогает модели понять, насколько часто значения встречаются в обучающем наборе, и соответственно предсказывать их появление в ходе прогнозирования. Эта функция используется при вычислении достоверности прогноза или отсутствия прогноза вообще (NULL). Вы должны ожидать пустое поле с высокой степенью достоверности для отсутствующих значений, которые в основном пусты в наборе обучения.

Может ли оценка достоверности измениться, если необязательное поле отсутствует? Отражают ли эти изменения оценки достоверности?

Если значение отсутствует из строки, ячейка имеет NULL значение и достоверность. Оценка высокой достоверности здесь должна означать, что прогноз модели (от того, что значение не имеет значения), скорее всего, будет правильным. В отличие от этого, низкая оценка должна сигнализировать больше неопределенности от модели (и, следовательно, возможность ошибки, как и значение, пропущенное).

Каковы ожидаемые уровни доверия для ячеек и строк при извлечении многостраничной таблицы с разбиением строк на разные страницы?

Ожидается, что достоверность ячеек будет высокой, а достоверность строк потенциально ниже, чем строки, которые не разделены. Доля разделенных строк в наборе данных обучения может повлиять на оценку достоверности. Как правило, разделенная строка выглядит не так, как другие строки в таблице (таким образом, модель менее уверена, что она правильна).

Для таблиц, распространяющихся на несколько страниц, можно предположить, что уровни достоверности остаются неизменными, если строки заканчиваются и начинаются без проблем на границах страниц?

Так как строки выглядят похожими в форме и содержимом, независимо от того, где они находятся в документе (или на какой странице), соответствующие оценки достоверности должны быть согласованы.

Как лучше всего использовать новые оценки достоверности?

• Посмотрите на все уровни достоверности таблиц, начиная с подхода сверху вниз: сначала проверьте достоверность таблицы в целом, а затем детализацию до уровня строки и посмотрите на отдельные строки, наконец, посмотрите на достоверность на уровне ячеек. В зависимости от типа таблицы есть несколько вещей:

• Для фиксированных таблиц достоверность на уровне ячеек уже захватывает довольно много информации о правильности вещей. Это означает, что просто перебирать каждую ячейку и смотреть на ее уверенность может быть достаточно, чтобы помочь определить качество прогноза. Для динамических таблиц уровни предназначены для создания на вершине друг друга, поэтому более важным является подход сверху вниз.

Следующий шаг

Дополнительные сведения о пользовательских моделях