Este artigo apresenta uma solução para extrair texto de imagens para que ele possa ser indexado e recuperado no SharePoint. Usando o AI Builder e o Reconhecimento de Formulários do Azure, você pode configurar um fluxo de trabalho do Power Automate para usar um modelo treinado para extrair texto de uma imagem. Depois de configurar um fluxo de trabalho, você pode pesquisar rapidamente documentos em busca de texto significativo inserido em formas e objetos.
Arquitetura
Baixe um Arquivo Visio dessa arquitetura.
Workflow
- Um modelo de detecção de objetos é treinado no AI Builder para reconhecer objetos especificados por um usuário.
- Um novo documento insere uma biblioteca de documentos do SharePoint, OneDrive ou Teams.
- A chegada do documento dispara um evento do Power Automate. Esse evento:
- Executa o modelo do AI Builder. O AI Builder retorna um arquivo JSON que contém as coordenadas de pixel de quaisquer objetos especificados.
- Envia o documento para o Reconhecimento de Formulários para uma verificação completa de reconhecimento óptico de caracteres (OCR). O Reconhecimento de Formulários retorna um arquivo JSON que contém coordenadas de texto e pixel digitalizadas do texto.
- Executa uma função no Azure Functions. A função analisa as coordenadas de pixel nos arquivos de saída do AI Builder e do Reconhecimento de Formulários. Se os objetos detectados interseccionarem com o texto verificado, a função retornará os dados correspondentes em um arquivo JSON.
- Insere os metadados ou o texto de objetos detectados em uma biblioteca de documentos.
- Os metadados são capturados em um índice de pesquisa do SharePoint.
- Os usuários pesquisam os metadados usando Web Parts de Pesquisa Moderna PnP.
Componentes
- O AI Builder é uma funcionalidade do Power Platform. Use o AI Builder para treinar modelos para reconhecer objetos em imagens. O AI Builder também oferece modelos predefinidos para detecção de objetos.
- O Reconhecimento de Formulários usa modelos de aprendizado de máquina para extrair e analisar campos de formulário, texto e tabelas de seus documentos.
- O Power Automate faz parte das soluções intuitivas no-code ou low-code do Power Platform. O Power Automate é um serviço de fluxo de trabalho online que automatiza as ações entre os aplicativos e serviços.
- O Azure Functions é uma plataforma de computação sem servidor orientada a eventos. O Azure Functions é executado sob demanda e em escala na nuvem.
- A solução de Pesquisa Moderna do PnP é um conjunto de Web Parts modernas do SharePoint Online. Usando essas ferramentas, você pode criar experiências altamente flexíveis e personalizadas baseadas em pesquisa.
Alternativas
- Os Serviços Cognitivos do Azure podem fazer uma verificação OCR completa de documentos, com os metadados resultantes armazenados no SharePoint.
- O SharePoint pode executar verificações OCR em documentos e adicionar a saída de conteúdo ao índice para recuperação. Use técnicas de pesquisa para direcionar informações importantes em documentos.
- Se você quiser processar uma alta taxa de documentos, considere o uso de Aplicativos Lógicos do Azure para configurar os componentes. Os Aplicativos Lógicos do Azure impedem que você atinja os limites de consumo no locatário e têm bom custo/benefício. Para obter mais informações, confira Aplicativos Lógicos do Azure.
Detalhes do cenário
Diagramas esquemáticos e industriais geralmente têm objetos que contêm texto. A verificação manual de documentos para texto relevante pode ser trabalhosa e demorada.
Possíveis casos de uso
Os casos de uso incluem:
- Diagramas esquemáticos de engenharia complicados que contêm vários tipos de objetos. Usando essa solução, você pode pesquisar rapidamente componentes específicos em um diagrama. É útil ter acesso ao texto inserido em objetos para investigações, expor escassez ou procurar avisos de recall e falha.
- Diagramas industriais que mostram os componentes em um assembly de fabricação. Essa solução identifica prontamente bombas, válvulas, comutadores automatizados e outros componentes. A identificação de componentes ajuda na manutenção preventiva, isolando componentes perigosos e aumentando a visibilidade do gerenciamento de riscos em sua organização.
Considerações
Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios de orientação que podem ser usados para aprimorar a qualidade de uma carga de trabalho. Para obter mais informações, confira Microsoft Azure Well-Architected Framework.
Considere estes pontos ao analisar e processar documentos:
- O AI Builder só pode capturar coordenadas quadradas ao usar um modelo treinado. Objetos com texto fora dos limites, como triângulos e círculos, poderiam potencialmente adicionar informações indesejadas e desnecessárias.
- Os metadados oriundos do Azure Functions podem conter caracteres extras se houver texto fora dos limites do objeto.
- O processo de criação do AI Builder pode marcar mais de um objeto. O arquivo JSON resultante do Azure Functions contém todos os tipos de objeto e texto. O aplicativo consome os metadados e precisa analisar e processar os resultados.
Disponibilidade
O Azure replica dados para garantir a durabilidade e a alta disponibilidade. A redundância de dados protege você contra eventos planejados e não planejados, incluindo falhas de hardware transitórias, interrupções de energia ou rede e desastres naturais. Escolha replicar os dados no mesmo data center, em data centers zonais na mesma região ou entre regiões separadas geograficamente.
Escalabilidade
O Azure Functions é altamente escalonável. Essa plataforma oferece vários planos que são dimensionados automaticamente sob demanda quando os eventos são disparados. Para obter mais informações, consulte Dimensionamento controlado por eventos.
o Azure Functions tem um limite de 200 instâncias. Se você precisar dimensionar além desse limite, adicione várias regiões ou planos do aplicativo.
Segurança
A segurança fornece garantias contra ataques deliberados e o abuso de seus dados e sistemas valiosos. Para saber mais, confira Visão geral do pilar de segurança.
Use práticas de segurança padrão para os componentes que você usa e para a biblioteca de documentos do SharePoint na qual você armazena os metadados.
O Reconhecimento de Formulários foi projetado com a conformidade, a privacidade e a segurança em mente. Ele autentica o acesso usando uma chave de API, criptografa dados durante o trânsito e o armazenamento e retorna resultados usando a chave de API. Para obter mais informações, consulte Dados, privacidade e segurança do Reconhecimento de Formulários.
O AI Builder conta com segurança do ambiente e privilégios e funções de segurança do Dataverse para conceder acesso aos recursos de IA no Power Apps. Os privilégios são definidos por padrão no Dataverse. Os administradores do sistema podem usar as funções de segurança internas padrão sem outras ações. Para obter mais informações, confira Visão geral de segurança.
Otimização de custo
A otimização de custos é a análise de maneiras de reduzir as despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, confira Visão geral do pilar de otimização de custo.
- Para o Power Automate, verifique se as licenças adquiridas e atribuídas são adequadas para o volume de documentos que você processa. Inclua um conector HTTP Premium para chamar o Reconhecimento de Formulários e o Azure Functions.
- Compre créditos do AI Builder com base no uso esperado do modelo.
- Para estimar o custo de produtos e configurações do Azure, use a calculadora de preços do Azure.
Implantar este cenário
Para obter mais informações sobre como implantar esse cenário, consulte o Blog da Comunidade do Power Automate e o repositório do GitHub Extrair Texto de Objetos.
Colaboradores
Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.
Autor principal:
- Steve Pucelik | Especialista Sênior
Próximas etapas
- Entenda os tipos de documentos que seriam adequados para essa solução. Documentos típicos incluem diagramas esquemáticos, processos de controle de fabricação e diagramas que contêm muitas formas que precisam ser isoladas. Para obter mais informações, consulte Modelos de Reconhecimento de Formulários.
- Familiarize-se com os recursos que o AI Builder oferece. Para obter mais informações, consulte Visão geral do AI Builder no Power Automate.
- Defina uma arquitetura de informações que possa receber e processar seus metadados. Para obter mais informações, consulte Conjunto de habilidades do Cognitive Search.
- Para obter informações sobre como a solução funciona e se ela é adequada para seus casos de uso, consulte Extrair texto de objetos.