Extraia texto de objetos usando o Power Automate e o AI Builder

Este artigo apresenta uma solução para extrair texto de imagens para que ele possa ser indexado e recuperado no SharePoint. Usando o AI Builder e o Azure AI Document Intelligence, você pode configurar um fluxo de trabalho do Power Automate para usar um modelo treinado para extrair texto de uma imagem. Depois de configurar um fluxo de trabalho, você pode pesquisar rapidamente em documentos por texto significativo incorporado em formas e objetos.

Transfira um ficheiro do Visio desta arquitetura.

1. Um modelo de deteção de objetos é treinado no AI Builder para reconhecer objetos que um usuário especifica.
2. Um novo documento entra numa biblioteca de documentos do SharePoint, no OneDrive ou no Teams.
3. A chegada do documento dispara um evento Power Automatic. Esse evento:
   1. Executa o modelo AI Builder. O AI Builder retorna um arquivo JSON que contém as coordenadas de pixel de quaisquer objetos especificados.
   2. Envia o documento para o Document Intelligence para uma verificação completa de reconhecimento ótico de caracteres (OCR). O Document Intelligence retorna um arquivo JSON que contém texto digitalizado e coordenadas de pixel do texto.
   3. Executa uma função no Azure Functions. A função analisa as coordenadas de pixel nos arquivos de saída do AI Builder e do Document Intelligence. Se os objetos detetados se cruzarem com o texto digitalizado, a função retornará os dados correspondentes em um arquivo JSON.
   4. Introduz os metadados, ou o texto dos objetos detetados, numa biblioteca de documentos.
4. Os metadados são capturados em um índice de pesquisa do SharePoint.
5. Os usuários pesquisam os metadados usando as web parts PnP Modern Search.

• O AI Builder é um recurso da Microsoft Power Platform. Use o AI Builder para treinar modelos para reconhecer objetos em imagens. O AI Builder também oferece modelos pré-construídos para deteção de objetos.
• Document Intelligence usa modelos de aprendizado de máquina para extrair e analisar campos de formulário, texto e tabelas de seus documentos.
• O Power Automate faz parte das soluções intuitivas sem código ou low-code da Microsoft Power Platform. O Power Automate é um serviço de fluxo de trabalho online que automatiza ações entre aplicações e serviços.
• O Azure Functions é uma plataforma de computação sem servidor orientada por eventos. O Azure Functions é executado sob demanda e em escala na nuvem.
• A solução PnP Modern Search é um conjunto de SharePoint em Web parts modernas do Microsoft 365. Usando essas ferramentas, você pode criar experiências baseadas em pesquisa altamente flexíveis e personalizadas.

• Os serviços de IA do Azure podem fazer uma verificação OCR completa de documentos, com os metadados resultantes armazenados no SharePoint.
• O SharePoint pode executar verificações de OCR em documentos e adicionar saída de conteúdo ao índice para recuperação. Use técnicas de pesquisa para direcionar informações importantes em documentos.
• Se você quiser processar uma alta taxa de documentos, considere usar os Aplicativos Lógicos do Azure para configurar os componentes. Os Aplicativos Lógicos do Azure impedem que você atinja os limites de consumo em seu locatário e são econômicos. Para obter mais informações, consulte Aplicativos lógicos do Azure.

Diagramas esquemáticos e industriais geralmente têm objetos que contêm texto. A digitalização manual de documentos em busca de texto relevante pode ser trabalhosa e demorada.

Os casos de uso incluem:

• Diagramas esquemáticos de engenharia complicados que contêm vários tipos de objetos. Usando essa solução, você pode pesquisar rapidamente componentes específicos em um diagrama. Ter acesso a texto incorporado em objetos é útil para investigações, exposição de escassez ou procura de avisos de recall e falha.
• Diagramas industriais que mostram os componentes em uma montagem de fabricação. Esta solução identifica prontamente bombas, válvulas, interruptores automatizados e outros componentes. A identificação de componentes ajuda na manutenção preventiva, isolando componentes perigosos e aumentando a visibilidade do gerenciamento de riscos em sua organização.

Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.

Autor principal:

• Steve Pucelik - Brasil | Especialista Sr.

• Entenda os tipos de documentos que seriam adequados para essa solução. Os documentos típicos incluem diagramas esquemáticos, processos de controle de fabricação e diagramas que contêm muitas formas que precisam ser isoladas. Para obter mais informações, consulte Modelos personalizados do Document Intelligence.
• Familiarize-se com os recursos que o AI Builder oferece. Para obter mais informações, consulte Visão geral do AI Builder no Power Automatic.
• Defina uma arquitetura de informações que possa receber e processar seus metadados. Para obter mais informações, consulte conjunto de habilidades do Azure AI Search.
• Para obter informações sobre como a solução funciona e se ela é adequada para seus casos de uso, consulte Extrair texto de objetos.