Extraia texto de objetos usando o Power Automate e o AI Builder

Este artigo apresenta uma solução para extrair texto de imagens para que ele possa ser indexado e recuperado no SharePoint. Usando o AI Builder e o Azure AI Document Intelligence, você pode configurar um fluxo de trabalho do Power Automate para usar um modelo treinado para extrair texto de uma imagem. Depois de configurar um fluxo de trabalho, você pode pesquisar rapidamente em documentos por texto significativo incorporado em formas e objetos.

Arquitetura

Transfira um ficheiro do Visio desta arquitetura.

Fluxo de Trabalho

1. Um modelo de deteção de objetos é treinado no AI Builder para reconhecer objetos que um usuário especifica.
2. Um novo documento entra numa biblioteca de documentos do SharePoint, no OneDrive ou no Teams.
3. A chegada do documento dispara um evento Power Automatic. Esse evento:
   1. Executa o modelo AI Builder. O AI Builder retorna um arquivo JSON que contém as coordenadas de pixel de quaisquer objetos especificados.
   2. Envia o documento para o Document Intelligence para uma verificação completa de reconhecimento ótico de caracteres (OCR). O Document Intelligence retorna um arquivo JSON que contém texto digitalizado e coordenadas de pixel do texto.
   3. Executa uma função no Azure Functions. A função analisa as coordenadas de pixel nos arquivos de saída do AI Builder e do Document Intelligence. Se os objetos detetados se cruzarem com o texto digitalizado, a função retornará os dados correspondentes em um arquivo JSON.
   4. Introduz os metadados, ou o texto dos objetos detetados, numa biblioteca de documentos.
4. Os metadados são capturados em um índice de pesquisa do SharePoint.
5. Os usuários pesquisam os metadados usando as web parts PnP Modern Search.

Componentes

• O AI Builder é um recurso da Microsoft Power Platform. Use o AI Builder para treinar modelos para reconhecer objetos em imagens. O AI Builder também oferece modelos pré-construídos para deteção de objetos.
• O Reconhecimento de Formulários usa modelos de aprendizado de máquina para extrair e analisar campos de formulário, texto e tabelas de seus documentos.
• O Power Automate faz parte das soluções intuitivas sem código ou low-code da Microsoft Power Platform. O Power Automate é um serviço de fluxo de trabalho online que automatiza ações entre aplicações e serviços.
• O Azure Functions é uma plataforma de computação sem servidor orientada por eventos. O Azure Functions é executado sob demanda e em escala na nuvem.
• A solução PnP Modern Search é um conjunto de SharePoint em Web parts modernas do Microsoft 365. Usando essas ferramentas, você pode criar experiências baseadas em pesquisa altamente flexíveis e personalizadas.

Alternativas

• Os serviços de IA do Azure podem fazer uma verificação OCR completa de documentos, com os metadados resultantes armazenados no SharePoint.
• O SharePoint pode executar verificações de OCR em documentos e adicionar saída de conteúdo ao índice para recuperação. Use técnicas de pesquisa para direcionar informações importantes em documentos.
• Se você quiser processar uma alta taxa de documentos, considere usar os Aplicativos Lógicos do Azure para configurar os componentes. Os Aplicativos Lógicos do Azure impedem que você atinja os limites de consumo em seu locatário e são econômicos. Para obter mais informações, consulte Aplicativos lógicos do Azure.

Detalhes do cenário

Diagramas esquemáticos e industriais geralmente têm objetos que contêm texto. A digitalização manual de documentos em busca de texto relevante pode ser trabalhosa e demorada.

Potenciais casos de utilização

Os casos de uso incluem:

• Diagramas esquemáticos de engenharia complicados que contêm vários tipos de objetos. Usando essa solução, você pode pesquisar rapidamente componentes específicos em um diagrama. Ter acesso a texto incorporado em objetos é útil para investigações, exposição de escassez ou procura de avisos de recall e falha.
• Diagramas industriais que mostram os componentes em uma montagem de fabricação. Esta solução identifica prontamente bombas, válvulas, interruptores automatizados e outros componentes. A identificação de componentes ajuda na manutenção preventiva, isolando componentes perigosos e aumentando a visibilidade do gerenciamento de riscos em sua organização.

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que podem ser usados para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Microsoft Azure Well-Architected Framework.

Considere estes pontos ao analisar e processar documentos:

• O AI Builder só pode capturar coordenadas quadradas ao usar um modelo treinado. Objetos com texto fora de seus limites, como triângulos e círculos, podem potencialmente adicionar informações indesejadas e desnecessárias.
• Os metadados gerados pelo Azure Functions podem conter caracteres extras se houver texto fora dos limites do objeto.
• O processo de criação do AI Builder pode marcar mais de um objeto. O arquivo JSON resultante do Azure Functions contém todos os tipos de objeto e texto. O aplicativo consome os metadados e precisa analisar e processar os resultados.

Disponibilidade

O Azure replica dados para garantir durabilidade e alta disponibilidade. A redundância de dados protege você contra eventos planejados e não planejados, incluindo falhas transitórias de hardware, quedas de rede ou de energia e desastres naturais. Escolha replicar seus dados dentro do mesmo datacenter, em datacenters zonais dentro da mesma região ou em regiões geograficamente separadas.

Escalabilidade

O Azure Functions é altamente escalável. Esta plataforma oferece vários planos que são automaticamente dimensionados sob demanda quando os eventos são acionados. Para obter mais informações, consulte Dimensionamento controlado por eventos.

O Azure Functions tem um limite de 200 instâncias. Se você precisar escalar além desse limite, adicione várias regiões ou planos de aplicativos.

Segurança

A segurança oferece garantias contra ataques deliberados e o abuso de seus valiosos dados e sistemas. Para obter mais informações, consulte Visão geral do pilar de segurança.

Use práticas de segurança padrão para os componentes que você usa e para a biblioteca de documentos do SharePoint na qual você armazena os metadados.

O Document Intelligence foi concebido tendo em mente a conformidade, a privacidade e a segurança. Ele autentica o acesso usando uma chave de API, criptografa dados durante o trânsito e o armazenamento e retorna resultados usando a chave de API. Para obter mais informações, consulte Dados, privacidade e segurança para o Reconhecimento de formulário.

O AI Builder depende da segurança do ambiente e das funções e privilégios de segurança do Dataverse para conceder acesso aos recursos de IA no Power Apps. Os privilégios são definidos por padrão no Dataverse. Os administradores de sistema podem usar as funções de segurança internas padrão sem ações adicionais. Para mais informações, consulte Descrição geral de Segurança.

Otimização de custos

A otimização de custos consiste em procurar formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Visão geral do pilar de otimização de custos.

• Para o Power Automate, certifique-se de que as licenças que comprou e atribuiu são adequadas para o volume de documentos que processa. Inclua um conector premium HTTP para chamar o Document Intelligence e o Azure Functions.
• Compre créditos do AI Builder com base no uso esperado do modelo.
• Para estimar o custo dos produtos e configurações do Azure, use a calculadora de preços do Azure.

Implementar este cenário

Para obter mais informações sobre como implantar esse cenário, consulte o Blog da Comunidade do Power Automate e o repositório Extrair texto de objetos do GitHub.

Contribuidores

Este artigo é mantido pela Microsoft. Foi originalmente escrito pelos seguintes contribuidores.

Autor principal:

• Steve Pucelik - Brasil | Especialista Sr.

Próximos passos

• Entenda os tipos de documentos que seriam adequados para essa solução. Os documentos típicos incluem diagramas esquemáticos, processos de controle de fabricação e diagramas que contêm muitas formas que precisam ser isoladas. Para obter mais informações, consulte Modelos do reconhecedor de formulários.
• Familiarize-se com os recursos que o AI Builder oferece. Para obter mais informações, consulte Visão geral do AI Builder no Power Automatic.
• Defina uma arquitetura de informações que possa receber e processar seus metadados. Para obter mais informações, consulte Conjunto de habilidades de Pesquisa Cognitiva.
• Para obter informações sobre como a solução funciona e se ela é adequada para seus casos de uso, consulte Extrair texto de objetos.