Этап 1. Использование Microsoft Syntex для идентификации файлов контракта и извлечения данных

Вашей организации нужен способ идентифицировать и классифицировать все контрактные документы из множества файлов, которые вы получаете. Вы также хотите иметь возможность быстро просматривать несколько ключевых элементов в каждом из определенных файлов контракта (например, Клиент, Подрядчик и Сумма гонорара). Это можно сделать с помощью Syntex] для создания неструктурированной модели обработки документов и ее применения к библиотеке документов.

Обзор процесса

Неструктурированные модели обработки документов используют искусственный интеллект (ИИ) для автоматизации классификации файлов и извлечения информации. Эти типы моделей также оптимальны для извлечения информации из неструктурированных и частично структурированных документов, где необходимые сведения не содержатся в таблицах или формах, таких как контракты.

Неструктурированные модели обработки документов используют технологию оптического распознавания символов (OCR) для сканирования PDF-файлов, изображений и TIFF-файлов как при обучении модели с примерами файлов, так и при запуске модели с файлами в библиотеке документов.

1. Во-первых, необходимо найти по крайней мере пять примеров файлов, которые можно использовать для "обучения" модели для поиска характеристик, характерных для типа контента, который вы пытаетесь определить (контракт).

2. С помощью Syntex создайте новую неструктурированную модель обработки документов. Используя примеры файлов, необходимо создать классификатор. Обучая классификатор с помощью примеров файлов, вы научите его искать характеристики, характерные для того, что вы увидите в контрактах вашей компании. Например, создайте "объяснение" , которое выполняет поиск определенных строк, которые находятся в ваших контрактах, таких как Соглашение об обслуживании, Условия соглашения и Компенсация. Вы даже можете обучить объяснение искать эти строки в определенных разделах документа или находиться рядом с другими строками. Если вы думаете, что обучили классификатор нужным сведениям, вы можете протестировать модель на примере набора примеров файлов, чтобы увидеть, насколько она эффективна. После тестирования при необходимости вы можете внести изменения в объяснения, чтобы сделать их более эффективными.

3. В модели можно создать средство извлечения для извлечения определенных фрагментов данных из каждого контракта. Например, для каждого контракта вас больше всего волнует информация о том, кто является клиентом, имя подрядчика и общая стоимость.

4. После успешного создания модели примените ее к библиотеке документов SharePoint. При отправке документов в библиотеку документов будет запущена неструктурированная модель обработки документов, которая будет определять и классифицировать все файлы, которые соответствуют типу контента контрактов, определенному в модели. Все файлы, классифицированные как контракты, будут отображаться в пользовательском представлении библиотеки. В файлах также будут отображаться значения из каждого контракта, определенного в средстве извлечения.

   

5. Если у вас есть требования к хранению или безопасности для ваших контрактов, вы также можете использовать модель для применения метки хранения или метки конфиденциальности , которая не позволит удалить ваши контракты в течение указанного периода времени или ограничить доступ к контрактам.

Действия по созданию и обучению модели

Примечание.

Для выполнения этих действий можно использовать примеры файлов из репозитория Ресурсов решения для управления контрактами. Примеры в этом репозитории содержат как файлы модели, так и файлы, используемые для обучения модели.

Создание модели контракта

Первым шагом является создание модели контракта.

1. В центре содержимого выберите Новый>метод обучениямодели>.

2. В области Создание модели с помощью метода обучения в поле Имя введите имя модели. Для этого решения для управления контрактами можно присвоить имя модели Contract.

3. Выберите пункт Создать. В результате будет создана домашняя страница для модели.
   

   

Обучение модели классификации типа файла

Добавление примеров файлов для модели

Необходимо добавить по крайней мере пять примеров файлов, которые являются документами контракта, и один пример файла, который не является контрактным документом (например, инструкцией о работе).

1. На странице Контракт модели > в разделе Ключевые действия>Добавить примеры файлов выберите Добавить файлы.

   

2. На странице Выберите примеры файлов для модели откройте папку Контракт, выберите нужные файлы и нажмите кнопку Добавить. Если у вас нет примеров файлов, нажмите кнопку Отправить , чтобы добавить их.

Пометка файлов как положительных или отрицательных примеров

1. На странице Контракт моделей > в разделе Ключевые действия>Классифицировать файлы и выполнить обучение выберите Обучение классификатора.

   

2. На странице Классификатор контракта > models > в средстве просмотра в верхней части первого примера файла вы увидите текст с запросом, является ли файл примером созданной модели контракта. Если это положительный пример выберите Да. Если это отрицательный пример выберите Нет.

3. В списке Примеры с метками слева выберите другие файлы, которые вы хотите использовать в качестве примеров, и пометьте их.

   

Добавьте хотя бы одно объяснение для обучения классификатора

1. На странице классификатор контракта models (>Контракт модели>) выберите вкладку Обучение.

2. В разделе Обученные файлы вы увидите список примеров файлов, помеченных ранее. Выберите один из положительных файлов в списке, чтобы отобразить его в средстве просмотра.

3. В разделе Объяснения выберите Создать , а затем — Пустое.

4. На странице Создание объяснения:

   а. В поле Имя введите имя объяснения (например, "Соглашение").

   Б. В поле Тип объяснения выберите Список фраз, так как вы добавляете текстовую строку.

   c. В списке Фраза введите строку (например, "AGREEMENT"). Если в строке требуется учет регистра, можно выбрать параметр С учетом регистра.

   d. Выберите Сохранить и обучить.

   

Тестирование модели

Модель контракта можно протестировать на примерах файлов, которые она не видела ранее. Это необязательно, но это может быть полезно.

1. На странице классификатор контракта models (Модели > контракт > контракта) выберите вкладку Тест . При этом модель запускается в файлах примеров без меток.

2. В списке Тестовые файлы отображаются примеры файлов, и показано, были ли они спрогнозированы моделью как положительные или отрицательные. Используйте эти сведения, чтобы определить эффективность классификатора в определении ваших документов.

   

3. По завершении выберите Выйти из обучения.

Создание и обучение средства извлечения

1. На странице Контракт модели > в разделе Ключевые действия>Создание и обучение средств извлечения выберите Создать извлечение.

   

2. На панели Новый средство извлечения сущностей в поле Новое имя введите имя средства извлечения. Например, присвойте ему имя Client , если вы хотите извлечь имя клиента из каждого контракта.

3. После завершения нажмите Создать.

Пометка сущности, которую требуется извлечь

При создании средства извлечения откроется страница средства извлечения. Здесь вы видите список ваших примеров файлов, причем первый файл в списке отображается в средстве просмотра.

Чтобы пометить сущность, выполните следующие действия:

1. В средстве просмотра выберите данные, которые нужно извлечь из файлов. Например, если вы хотите извлечь клиент, выделите значение клиента в первом файле (в этом примере Best For You Organics) и нажмите кнопку Сохранить. Вы увидите значение из файла в списке Примеры с метками под столбцом Метка .

2. Выберите Следующий файл , чтобы автоматически сохранить, и откройте следующий файл в списке в средстве просмотра. Или нажмите кнопку Сохранить, а затем выберите другой файл в списке Примеры с метками .

3. В средстве просмотра повторите шаги 1 и 2, а затем повторяйте, пока не сохраните метку во всех файлах.

После добавления меток к файлам отобразится баннер с уведомлением о переходе к обучению. Вы можете пометить дополнительные документы или перейти к обучению.

Добавление объяснений

Можно создать объяснение, которое содержит подсказку о самом формате сущности и вариантах, которые он может иметь в файлах примеров. Например, значение даты может иметь различные форматы, например:

• 10/14/2019
• 14 октября 2019 г.
• Понедельник, 14 октября 2019 г.

Чтобы определить дату начала контракта, можно создать объяснение.

1. В разделе Объяснения выберите Создать , а затем — Пустое.

2. На странице Создание объяснения:

   а. В поле Имя введите имя объяснения (например, Дата).

   Б. В поле Тип объяснения выберите Список фраз.

   c. В поле Значение укажите вариант даты, как они отображаются в примерах файлов. Например, если у вас есть форматы даты, которые отображаются как 0/00/0000, вы вводите любые варианты, которые появляются в ваших документах, например:

   • 0/0/0000
   • 0/00/0000
   • 00/0/0000
   • 00/00/0000

3. Выберите Сохранить и обучить.

Повторное тестирование модели

Модель контракта можно протестировать на примерах файлов, которые она не видела ранее. Это необязательно, но это может быть полезно.

1. На странице классификатор контракта models (Модели > контракт > контракта) выберите вкладку Тест . При этом модель запускается в файлах примеров без меток.

2. В списке Тестовые файлы отображаются примеры файлов и показывает, может ли модель извлечь необходимые сведения. Используйте эти сведения, чтобы определить эффективность классификатора в определении ваших документов.

3. По завершении выберите Выйти из обучения.

Применение модели к библиотеке документов

Чтобы применить модель к библиотеке документов SharePoint, выполните указанные действия.

1. На странице Контракт модели > в разделе Ключевые действия>Применить модель к библиотекам выберите Применить модель.

   

2. На панели Добавление контракта выберите сайт SharePoint, содержащий библиотеку документов, к которой вы хотите применить модель. Если сайт не отображается в списке, используйте поле поиска, чтобы найти его. Нажмите Добавить.

   Примечание.

   Вам потребуются разрешения Управление списком или права на редактирование для библиотеки документов, к которой применяется модель.

3. Выбрав сайт, выберите библиотеку документов, к которой вы хотите применить модель.

4. Так как модель связана с типом контента, при ее применении к библиотеке будет добавлен тип контента и его представление с извлеченными метками, отображающимися в виде столбцов. Это представление по умолчанию является представлением библиотеки по умолчанию, но при необходимости можно выбрать, чтобы оно не было представлением по умолчанию, установив Дополнительные параметры и снимите флажок Задать это новое представление по умолчанию .

5. Нажмите кнопку Добавить, чтобы применить модель к библиотеке.

6. На странице Контракт моделей > в разделе Библиотеки с этой моделью вы увидите URL-адрес сайта SharePoint в списке.

   

7. В разделе Параметры библиотеки>параметров:

   • Добавьте столбец с именем Состояние и выберите Выбор в качестве типа столбца.
   • Примените значения In review, Утверждено и Отклонено .

После применения модели к библиотеке документов можно начать отправку документов на сайт и просмотреть результаты.

Следующий этап

Этап 2. Создание канала управления контрактами с помощью Microsoft Teams