Извлечение текста из объектов с помощью Power Automate и AI Builder

AI Builder

Аналитика документов ИИ Azure

Power Automate

Microsoft Power Platform

Функции Azure

В этой статье представлено решение для извлечения текста из изображений, чтобы его можно было индексировать и извлечь в SharePoint. С помощью AI Builder и Azure AI Document Intelligence можно настроить рабочий процесс Power Automate для использования обученной модели для извлечения текста из изображения. После настройки рабочего процесса можно быстро искать документы для понятного текста, внедренного в фигуры и объекты.

Архитектура

Скачайте файл Visio для этой архитектуры.

Рабочий процесс

1. Модель обнаружения объектов обучена в AI Builder для распознавания объектов, которые указывает пользователь.
2. Новый документ входит в библиотеку документов SharePoint, OneDrive или Teams.
3. Прибытие документа активирует событие Power Automate. Это событие:
   1. Запускает модель AI Builder. AI Builder возвращает JSON-файл, содержащий координаты пикселей всех указанных объектов.
   2. Отправляет документ в аналитику документов для полного оптического распознавания символов (OCR). Аналитика документов возвращает JSON-файл, содержащий отсканированные текстовые и пиксельные координаты текста.
   3. Выполняет функцию в Функции Azure. Функция анализирует координаты пикселей в выходных файлах AI Builder и Document Intelligence. Если обнаруженные объекты пересекаются с сканированным текстом, функция возвращает соответствующие данные в JSON-файле.
   4. Вводит метаданные или текст из обнаруженных объектов в библиотеку документов.
4. Метаданные записываются в индекс поиска SharePoint.
5. Пользователи ищут метаданные с помощью веб-частей современного поиска PnP.

Компоненты

• AI Builder — это возможность Microsoft Power Platform. Использование AI Builder для обучения моделей для распознавания объектов в изображениях. AI Builder также предлагает предварительно созданные модели для обнаружения объектов.
• аналитика документов использует модели машинного обучения для извлечения и анализа полей формы, текста и таблиц из документов.
• Power Automate является частью решений microsoft Power Platform без кода или низкокодовых интуитивно понятных решений. Power Automate — это веб-служба рабочих процессов, которая автоматизирует действия между приложениями и службами.
• Функции Azure — это бессерверная платформа вычислений на основе событий. Функции Azure выполняется по запросу и в масштабе облака.
• Решение PnP Modern Search — это набор SharePoint в современных веб-частях Microsoft 365. С помощью этих средств вы можете создавать гибкие и персонализированные интерфейсы поиска.

Альтернативные варианты

• Службы искусственного интеллекта Azure могут выполнять полную проверку документов OCR с результирующей метаданными, хранящимися в SharePoint.
• SharePoint может выполнять проверки OCR на документах и добавлять выходные данные содержимого в индекс для получения. Используйте методы поиска для целевых ключевых сведений в документах.
• Если вы хотите обработать высокий уровень документов, рассмотрите возможность использования Azure Logic Apps для настройки компонентов. Azure Logic Apps предотвращает превышение ограничений потребления в клиенте и экономии. Дополнительные сведения см. в статье Azure Logic Apps.

Подробности сценария

Схемы и промышленные схемы часто содержат объекты, содержащие текст. Сканирование документов вручную для соответствующего текста может быть трудоемким и трудоемким.

Потенциальные варианты использования

К вариантам использования относятся:

• Сложные схемы проектирования, содержащие различные типы объектов. С помощью этого решения можно быстро искать определенные компоненты на схеме. Наличие доступа к внедренным текстам в объектах полезно для исследований, предоставления нехватки или поиска уведомлений об отзыве и сбоях.
• Промышленные схемы, показывающие компоненты в производственной сборке. Это решение быстро определяет насосы, клапаны, автоматизированные коммутаторы и другие компоненты. Определение компонентов помогает предотвратить обслуживание, изоляцию опасных компонентов и повышение видимости управления рисками в организации.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.

Автор субъекта:

• Стив Pucelik | Старший специалист

Следующие шаги

• Ознакомьтесь с типами документов, которые хорошо подходят для этого решения. К типичным документам относятся схемы, производственные процессы управления и схемы, содержащие множество фигур, которые должны быть изолированы. Дополнительные сведения см. в разделе "Аналитика документов" пользовательских моделей.
• Ознакомьтесь с возможностями, которые предлагает AI Builder. Дополнительные сведения см. в обзоре AI Builder в Power Automate.
• Определите информационную архитектуру, которая может получать и обрабатывать метаданные. Дополнительные сведения см. в наборе навыков поиска ИИ Azure.
• Сведения о том, как работает решение и подходит ли оно для вариантов использования, см. в разделе "Извлечение текста из объектов".

В этой статье представлено решение для извлечения текста из изображений, чтобы его можно было индексировать и извлечь в SharePoint. С помощью AI Builder и Azure AI Document Intelligence можно настроить рабочий процесс Power Automate для использования обученной модели для извлечения текста из изображения. После настройки рабочего процесса можно быстро искать документы для понятного текста, внедренного в фигуры и объекты.

Архитектура

Скачайте файл Visio для этой архитектуры.

Рабочий процесс

1. Модель обнаружения объектов обучена в AI Builder для распознавания объектов, которые указывает пользователь.
2. Новый документ входит в библиотеку документов SharePoint, OneDrive или Teams.
3. Прибытие документа активирует событие Power Automate. Это событие:
   1. Запускает модель AI Builder. AI Builder возвращает JSON-файл, содержащий координаты пикселей всех указанных объектов.
   2. Отправляет документ в аналитику документов для полного оптического распознавания символов (OCR). Аналитика документов возвращает JSON-файл, содержащий отсканированные текстовые и пиксельные координаты текста.
   3. Выполняет функцию в Функции Azure. Функция анализирует координаты пикселей в выходных файлах AI Builder и Document Intelligence. Если обнаруженные объекты пересекаются с сканированным текстом, функция возвращает соответствующие данные в JSON-файле.
   4. Вводит метаданные или текст из обнаруженных объектов в библиотеку документов.
4. Метаданные записываются в индекс поиска SharePoint.
5. Пользователи ищут метаданные с помощью веб-частей современного поиска PnP.

Компоненты

• AI Builder — это возможность Microsoft Power Platform. Использование AI Builder для обучения моделей для распознавания объектов в изображениях. AI Builder также предлагает предварительно созданные модели для обнаружения объектов.
• аналитика документов использует модели машинного обучения для извлечения и анализа полей формы, текста и таблиц из документов.
• Power Automate является частью решений microsoft Power Platform без кода или низкокодовых интуитивно понятных решений. Power Automate — это веб-служба рабочих процессов, которая автоматизирует действия между приложениями и службами.
• Функции Azure — это бессерверная платформа вычислений на основе событий. Функции Azure выполняется по запросу и в масштабе облака.
• Решение PnP Modern Search — это набор SharePoint в современных веб-частях Microsoft 365. С помощью этих средств вы можете создавать гибкие и персонализированные интерфейсы поиска.

Альтернативные варианты

• Службы искусственного интеллекта Azure могут выполнять полную проверку документов OCR с результирующей метаданными, хранящимися в SharePoint.
• SharePoint может выполнять проверки OCR на документах и добавлять выходные данные содержимого в индекс для получения. Используйте методы поиска для целевых ключевых сведений в документах.
• Если вы хотите обработать высокий уровень документов, рассмотрите возможность использования Azure Logic Apps для настройки компонентов. Azure Logic Apps предотвращает превышение ограничений потребления в клиенте и экономии. Дополнительные сведения см. в статье Azure Logic Apps.

Подробности сценария

Схемы и промышленные схемы часто содержат объекты, содержащие текст. Сканирование документов вручную для соответствующего текста может быть трудоемким и трудоемким.

Потенциальные варианты использования

К вариантам использования относятся:

• Сложные схемы проектирования, содержащие различные типы объектов. С помощью этого решения можно быстро искать определенные компоненты на схеме. Наличие доступа к внедренным текстам в объектах полезно для исследований, предоставления нехватки или поиска уведомлений об отзыве и сбоях.
• Промышленные схемы, показывающие компоненты в производственной сборке. Это решение быстро определяет насосы, клапаны, автоматизированные коммутаторы и другие компоненты. Определение компонентов помогает предотвратить обслуживание, изоляцию опасных компонентов и повышение видимости управления рисками в организации.

Соавторы

Эта статья поддерживается корпорацией Майкрософт. Первоначально он был написан следующими участниками.

Автор субъекта:

• Стив Pucelik | Старший специалист

Следующие шаги

• Ознакомьтесь с типами документов, которые хорошо подходят для этого решения. К типичным документам относятся схемы, производственные процессы управления и схемы, содержащие множество фигур, которые должны быть изолированы. Дополнительные сведения см. в разделе "Аналитика документов" пользовательских моделей.
• Ознакомьтесь с возможностями, которые предлагает AI Builder. Дополнительные сведения см. в обзоре AI Builder в Power Automate.
• Определите информационную архитектуру, которая может получать и обрабатывать метаданные. Дополнительные сведения см. в наборе навыков поиска ИИ Azure.
• Сведения о том, как работает решение и подходит ли оно для вариантов использования, см. в разделе "Извлечение текста из объектов".