Extrair texto de objetos usando Power Automate e AI Builder

AI Builder

IA do Azure para Informação de Documentos

Power Automate

Microsoft Power Platform

Azure Functions

Este artigo apresenta uma solução para extrair texto de imagens para que ele possa ser indexado e recuperado no SharePoint. Ao usar o AI Builder e o IA do Azure para Informação de Documentos, você pode configurar um fluxo de trabalho do Power Automate para usar um modelo treinado para extrair texto de uma imagem. Depois de configurar um fluxo de trabalho, você pode pesquisar rapidamente documentos em busca de texto significativo inserido em formas e objetos.

Arquitetura

Baixe um Arquivo Visio dessa arquitetura.

Fluxo de Trabalho

1. Um modelo de detecção de objetos é treinado no AI Builder para reconhecer objetos especificados por um usuário.
2. Um novo documento insere uma biblioteca de documentos do SharePoint, OneDrive ou Teams.
3. A chegada do documento dispara um evento do Power Automate. Esse evento:
   1. Executa o modelo do AI Builder. O AI Builder retorna um arquivo JSON que contém as coordenadas de pixel de quaisquer objetos especificados.
   2. Envia o documento para a Informação de documentos para uma verificação completa de reconhecimento óptico de caracteres (OCR). A Informação de documentos retorna um arquivo JSON que contém coordenadas de texto e pixel digitalizadas do texto.
   3. Executa uma função no Azure Functions. A função analisa as coordenadas de pixel nos arquivos de saída do AI Builder e da Informação de documentos. Se os objetos detectados interseccionarem com o texto verificado, a função retornará os dados correspondentes em um arquivo JSON.
   4. Insere os metadados ou o texto de objetos detectados em uma biblioteca de documentos.
4. Os metadados são capturados em um índice de pesquisa do SharePoint.
5. Os usuários pesquisam os metadados usando Web Parts de Pesquisa Moderna PnP.

Componentes

• AI Builder é um recurso do Microsoft Power Platform. Use o AI Builder para treinar modelos para reconhecer objetos em imagens. O AI Builder também oferece modelos predefinidos para detecção de objetos.
• Document Intelligence usa modelos de machine learning para extrair e analisar campos de formulário, texto e tabelas de seus documentos.
• Power Automate faz parte das soluções intuitivas no-code ou low-code do Microsoft Power Platform. O Power Automate é um serviço de fluxo de trabalho online que automatiza as ações entre os aplicativos e serviços.
• O Azure Functions é uma plataforma de computação sem servidor orientada a eventos. O Azure Functions é executado sob demanda e em escala na nuvem.
• A solução de Pesquisa Moderna do PnP é um conjunto de web parts modernas do SharePoint no Microsoft 365. Usando essas ferramentas, você pode criar experiências altamente flexíveis e personalizadas baseadas em pesquisa.

Alternativas

• Os Serviços de IA do Azure podem fazer uma verificação OCR completa de documentos, com os metadados resultantes armazenados no SharePoint.
• O SharePoint pode executar verificações OCR em documentos e adicionar a saída de conteúdo ao índice para recuperação. Use técnicas de pesquisa para direcionar informações importantes em documentos.
• Se você quiser processar uma alta taxa de documentos, considere o uso de Aplicativos Lógicos do Azure para configurar os componentes. Os Aplicativos Lógicos do Azure impedem que você atinja os limites de consumo no locatário e têm bom custo/benefício. Para obter mais informações, confira Aplicativos Lógicos do Azure.

Detalhes do cenário

Diagramas esquemáticos e industriais geralmente têm objetos que contêm texto. A verificação manual de documentos para texto relevante pode ser trabalhosa e demorada.

Possíveis casos de uso

Os casos de uso incluem:

• Diagramas esquemáticos de engenharia complicados que contêm vários tipos de objetos. Usando essa solução, você pode pesquisar rapidamente componentes específicos em um diagrama. É útil ter acesso ao texto inserido em objetos para investigações, expor escassez ou procurar avisos de recall e falha.
• Diagramas industriais que mostram os componentes em um assembly de fabricação. Essa solução identifica prontamente bombas, válvulas, comutadores automatizados e outros componentes. A identificação de componentes ajuda na manutenção preventiva, isolando componentes perigosos e aumentando a visibilidade do gerenciamento de riscos em sua organização.

Colaboradores

Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.

Autor principal:

• Steve Pucelik | Especialista Sênior

Próximas etapas

• Entenda os tipos de documentos que seriam adequados para essa solução. Documentos típicos incluem diagramas esquemáticos, processos de controle de fabricação e diagramas que contêm muitas formas que precisam ser isoladas. Para obter mais informações, consulte Modelos personalizados do Document Intelligence.
• Familiarize-se com os recursos que o AI Builder oferece. Para obter mais informações, consulte Visão geral do AI Builder no Power Automate.
• Defina uma arquitetura de informações que possa receber e processar seus metadados. Para obter mais informações, consulte conjunto de habilidades do Azure AI Search.
• Para obter informações sobre como a solução funciona e se ela é adequada para seus casos de uso, consulte Extrair texto de objetos.

Este artigo apresenta uma solução para extrair texto de imagens para que ele possa ser indexado e recuperado no SharePoint. Ao usar o AI Builder e o IA do Azure para Informação de Documentos, você pode configurar um fluxo de trabalho do Power Automate para usar um modelo treinado para extrair texto de uma imagem. Depois de configurar um fluxo de trabalho, você pode pesquisar rapidamente documentos em busca de texto significativo inserido em formas e objetos.

Arquitetura

Baixe um Arquivo Visio dessa arquitetura.

Fluxo de Trabalho

1. Um modelo de detecção de objetos é treinado no AI Builder para reconhecer objetos especificados por um usuário.
2. Um novo documento insere uma biblioteca de documentos do SharePoint, OneDrive ou Teams.
3. A chegada do documento dispara um evento do Power Automate. Esse evento:
   1. Executa o modelo do AI Builder. O AI Builder retorna um arquivo JSON que contém as coordenadas de pixel de quaisquer objetos especificados.
   2. Envia o documento para a Informação de documentos para uma verificação completa de reconhecimento óptico de caracteres (OCR). A Informação de documentos retorna um arquivo JSON que contém coordenadas de texto e pixel digitalizadas do texto.
   3. Executa uma função no Azure Functions. A função analisa as coordenadas de pixel nos arquivos de saída do AI Builder e da Informação de documentos. Se os objetos detectados interseccionarem com o texto verificado, a função retornará os dados correspondentes em um arquivo JSON.
   4. Insere os metadados ou o texto de objetos detectados em uma biblioteca de documentos.
4. Os metadados são capturados em um índice de pesquisa do SharePoint.
5. Os usuários pesquisam os metadados usando Web Parts de Pesquisa Moderna PnP.

Componentes

• AI Builder é um recurso do Microsoft Power Platform. Use o AI Builder para treinar modelos para reconhecer objetos em imagens. O AI Builder também oferece modelos predefinidos para detecção de objetos.
• Document Intelligence usa modelos de machine learning para extrair e analisar campos de formulário, texto e tabelas de seus documentos.
• Power Automate faz parte das soluções intuitivas no-code ou low-code do Microsoft Power Platform. O Power Automate é um serviço de fluxo de trabalho online que automatiza as ações entre os aplicativos e serviços.
• O Azure Functions é uma plataforma de computação sem servidor orientada a eventos. O Azure Functions é executado sob demanda e em escala na nuvem.
• A solução de Pesquisa Moderna do PnP é um conjunto de web parts modernas do SharePoint no Microsoft 365. Usando essas ferramentas, você pode criar experiências altamente flexíveis e personalizadas baseadas em pesquisa.

Alternativas

• Os Serviços de IA do Azure podem fazer uma verificação OCR completa de documentos, com os metadados resultantes armazenados no SharePoint.
• O SharePoint pode executar verificações OCR em documentos e adicionar a saída de conteúdo ao índice para recuperação. Use técnicas de pesquisa para direcionar informações importantes em documentos.
• Se você quiser processar uma alta taxa de documentos, considere o uso de Aplicativos Lógicos do Azure para configurar os componentes. Os Aplicativos Lógicos do Azure impedem que você atinja os limites de consumo no locatário e têm bom custo/benefício. Para obter mais informações, confira Aplicativos Lógicos do Azure.

Detalhes do cenário

Diagramas esquemáticos e industriais geralmente têm objetos que contêm texto. A verificação manual de documentos para texto relevante pode ser trabalhosa e demorada.

Possíveis casos de uso

Os casos de uso incluem:

• Diagramas esquemáticos de engenharia complicados que contêm vários tipos de objetos. Usando essa solução, você pode pesquisar rapidamente componentes específicos em um diagrama. É útil ter acesso ao texto inserido em objetos para investigações, expor escassez ou procurar avisos de recall e falha.
• Diagramas industriais que mostram os componentes em um assembly de fabricação. Essa solução identifica prontamente bombas, válvulas, comutadores automatizados e outros componentes. A identificação de componentes ajuda na manutenção preventiva, isolando componentes perigosos e aumentando a visibilidade do gerenciamento de riscos em sua organização.

Colaboradores

Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.

Autor principal:

• Steve Pucelik | Especialista Sênior

Próximas etapas

• Entenda os tipos de documentos que seriam adequados para essa solução. Documentos típicos incluem diagramas esquemáticos, processos de controle de fabricação e diagramas que contêm muitas formas que precisam ser isoladas. Para obter mais informações, consulte Modelos personalizados do Document Intelligence.
• Familiarize-se com os recursos que o AI Builder oferece. Para obter mais informações, consulte Visão geral do AI Builder no Power Automate.
• Defina uma arquitetura de informações que possa receber e processar seus metadados. Para obter mais informações, consulte conjunto de habilidades do Azure AI Search.
• Para obter informações sobre como a solução funciona e se ela é adequada para seus casos de uso, consulte Extrair texto de objetos.