Editar

Automatize o processamento de documentos usando a inteligência de documentos de IA

Azure AI Search
Serviços de IA do Azure
Azure Cosmos DB
IA do Azure para Informação de Documentos
Azure Machine Learning

Este artigo descreve uma solução escalonável e segura para a criação de um pipeline de processamento de documentos automatizado. A solução utiliza AI para Informação de Documentos para a extração estruturada de dados. Modelos de NLP (processamento de linguagem natural) e modelos personalizados enriquecem os dados.

Arquitetura

Diagrama de arquitetura que mostra como os dados fluem pelos estágios de extração, enriquecimento e análise do processamento de documentos.

Baixe um Arquivo Visio dessa arquitetura.

Fluxo de dados

As seções a seguir descrevem os vários estágios do processo de extração de dados.

Ingestão e extração de dados

  1. Os documentos são ingeridos por meio de um navegador no front-end de um aplicativo Web. Os documentos contêm imagens ou estão em formato PDF. O Serviço de Aplicativo do Azure hospeda um aplicativo de back-end. A solução roteia os documentos para esse aplicativo por meio do Gateway de Aplicativo do Azure. Esse balanceador de carga é executado com o Firewall do Aplicativo Web do Azure, que ajuda a proteger o aplicativo contra ataques e vulnerabilidades comuns.

  2. O aplicativo de back-end publica uma solicitação para um ponto de extremidade da API REST do IA do Azure para Informação de Documentos que usa um destes modelos:

    A resposta da IA do Azure para Informação de Documentos contém dados brutos de reconhecimento óptico de caracteres (OCR) e extrações estruturadas. A IA do Azure para Informação de Documentos também atribui [valores de confiança][Características e limitações do Reconhecimento de Formulários – Avaliação do cliente] aos dados extraídos.

  3. O aplicativo de back-end do Serviço de Aplicativo usa os valores de confiança para verificar a qualidade da extração. Se a qualidade estiver abaixo de um limite especificado, o aplicativo sinaliza os dados para verificação manual. Quando a qualidade da extração atende aos requisitos, os dados entram no Azure Cosmos DB para consumo de aplicativo downstream. O aplicativo também pode retornar os resultados para o navegador front-end.

  4. Outras fontes fornecem imagens, arquivos PDF e outros documentos. As fontes incluem anexos de email e servidores FTP (File Transfer Protocol). Ferramentas como o Azure Data Factory e o AzCopy transferem esses arquivos para o Armazenamento de Blobs do Azure. Os Aplicativos Lógicos do Azure oferecem pipelines para extrair automaticamente anexos de emails.

  5. Quando um documento entra no Armazenamento de Blobs, uma função do Azure é disparada. A função :

    • Posta uma solicitação para o ponto de extremidade pré-criado relevante do IA do Azure para Informação de Documentos.
    • Recebe a resposta.
    • Avalia a qualidade da extração.

  6. Os dados extraídos entram no Azure Cosmos DB.

Enriquecimento de dados

O pipeline usado para enriquecimento de dados depende do caso de uso.

  1. O enriquecimento de dados pode incluir os seguintes recursos de NLP:

    • NER (reconhecimento de entidade nomeada)
    • A extração de informações pessoais, frases-chave, informações de integridade e outras entidades dependentes do domínio

    Para enriquecer os dados, o aplicativo Web:

  2. Modelos personalizados executam detecção de fraude, análise de risco e outros tipos de análise nos dados:

    • Os serviços do Azure Machine Learning treinam e implantam os modelos personalizados.
    • Os dados extraídos são recuperados do Azure Cosmos DB.
    • Os modelos derivam insights dos dados.

    Essas possibilidades existem para inferência:

  3. Os dados enriquecidos entram no Azure Cosmos DB.

Análise e visualizações

  1. Os aplicativos usam o OCR bruto, os dados estruturados dos pontos de extremidade da IA do Azure para Informação de Documentos e os dados enriquecidos do NLP:

    • O Power BI exibe os dados e apresenta relatórios sobre eles.
    • Os dados funcionam como uma fonte para o Azure Cognitive Search.
    • Outros aplicativos consomem os dados.

Componentes

  • O Serviço de Aplicativo é uma oferta de PaaS (plataforma como serviço) no Azure. Você pode usar o Serviço de Aplicativo para hospedar aplicativos Web que podem ser dimensionados ou dimensionados manualmente ou automaticamente. O serviço dá suporte a várias linguagens e estruturas, como ASP.NET, ASP.NET Core, Java, Ruby, Node.js, PHP e Python.

  • O Gateway de Aplicativo é um balanceador de carga de camada 7 (camada de aplicativo) que gerencia o tráfego para aplicativos Web. Você pode executar o Gateway de Aplicativo com o Firewall do Aplicativo Web do Azure para ajudar a proteger aplicativos Web contra explorações e vulnerabilidades comuns.

  • O Azure Functions é uma plataforma de computação sem servidor que você pode usar para criar aplicativos. Com o Functions, você pode usar gatilhos e associações para reagir a alterações nos serviços do Azure, como o Armazenamento de Blobs e o Azure Cosmos DB. As funções podem executar tarefas agendadas, processar dados em tempo real e processar filas de mensagens.

  • A IA do Azure para Informação de Documentos é parte dos Serviços de IA do Azure. A IA do Azure para Informação de Documentos oferece uma coleção de pontos de extremidade pré-criados para extrair dados de faturas, documentos, recibos, cartões de identificação e cartões de visita. Esse serviço mapeia cada parte dos dados extraídos para um campo como um par chave-valor. A IA do Azure para Informação de Documentos também extrai o conteúdo e a estrutura da tabela. O formato de saída é JSON.

  • O Armazenamento do Azure é uma solução de armazenamento em nuvem que inclui objeto, blob, arquivo, disco, fila e armazenamento de tabelas.

  • O Armazenamento de Blobs é um serviço que faz parte do Armazenamento do Azure. O Armazenamento de Blobs oferece armazenamento otimizado de objetos de nuvem para grandes quantidades de dados não estruturados.

  • O Azure Data Lake Storage é um data lake seguro e escalonável para cargas de trabalho de análise de alto desempenho. Normalmente, os dados vêm de várias fontes heterogêneas e podem ser estruturados, semiestruturados ou não estruturados. O Azure Data Lake Storage Gen2 combina recursos do Azure Data Lake Storage Gen1 com o Armazenamento de Blobs. Como uma solução de última geração, o Data Lake Storage Gen2 fornece semântica do sistema de arquivos, segurança em nível de arquivo e escala. Mas também oferece as funcionalidades de armazenamento em camadas, de alta disponibilidade e de recuperação de desastre do Armazenamento de Blobs.

  • O Azure Cosmos DB é um banco de dados NoSQL totalmente gerenciado, altamente responsivo e escalonável. O Azure Cosmos DB oferece segurança de nível empresarial e dá suporte a APIs para muitos bancos de dados, idiomas e plataformas. Exemplos incluem SQL, MongoDB, Gremlin, Table e Apache Cassandra. As opções de dimensionamento automático sem servidor no Azure Cosmos DB gerenciam com eficiência as demandas de capacidade dos aplicativos.

  • A Linguagem de IA oferece muitos serviços NLP que você pode usar para entender e analisar texto. Alguns desses serviços são personalizáveis, como NER personalizado, classificação de texto personalizado, compreensão de linguagem de conversa e resposta a perguntas.

  • O Machine Learning é uma plataforma aberta para gerenciar o desenvolvimento e a implantação de modelos de machine learning em escala. O Machine Learning atende a níveis de habilidade de diferentes usuários, como cientistas de dados ou analistas de negócios. A plataforma dá suporte a estruturas abertas comumente usadas e oferece seleção automatizada de recursos e algoritmos. Você pode implantar modelos em vários destinos. Exemplos incluem AKS, Instâncias de Contêiner do Azure como um serviço Web para inferência em tempo real em escala e Máquina Virtual do Azure para pontuação em lote. Os pontos de extremidade gerenciados no Machine Learning abstraem a infraestrutura necessária para inferência de modelo em tempo real ou em lote.

  • O AKS é um serviço kubernetes totalmente gerenciado que facilita a implantação e o gerenciamento de aplicativos em contêineres. O AKS oferece tecnologia kubernetes sem servidor, uma experiência integrada de CI/CD (integração contínua e entrega contínua) e segurança e governança de nível empresarial.

  • O Power BI é uma coleção de serviços de software e aplicativos que exibem informações de análise.

  • O Azure Cognitive Search é um serviço de pesquisa na nuvem que fornece infraestrutura, APIs e ferramentas para pesquisa. Você pode usar o Azure Cognitive Search para criar experiências de pesquisa sobre conteúdo privado e heterogêneo em aplicativos web, móveis e empresariais.

Alternativas

Detalhes do cenário

Automatizar o processamento de documentos e a extração de dados é uma tarefa integral em organizações em todas as verticais do setor. A IA é uma das soluções comprovadas nesse processo, embora alcançar 100% de precisão seja uma realidade distante. Mas, usar a IA para digitalização em vez de processos puramente manuais pode reduzir o esforço manual em até 90%.

O OCR (reconhecimento óptico de caracteres) pode extrair conteúdo de imagens e arquivos PDF, que compõem a maioria dos documentos que as organizações usam. Esse processo usa a pesquisa de palavras-chave e a correspondência de expressões regulares. Esses mecanismos extraem dados relevantes do texto completo e criam uma saída estruturada. Essa abordagem tem desvantagens. A revisão do processo pós-extração para atender à alteração de formatos de documento requer um esforço extensivo de manutenção.

Possíveis casos de uso

Essa solução é ideal para o setor financeiro. Também pode se aplicar às indústrias automotiva, de viagens e hotelaria. As seguintes tarefas podem se beneficiar dessa solução:

  • Aprovando relatórios de despesas
  • Processando faturas, recibos e faturas para declarações de seguro e auditorias financeiras
  • Processando declarações que incluem faturas, resumos de quitação e outros documentos
  • Automatizando aprovações de SoW (instrução de trabalho)
  • Automatizando a extração de ID para fins de verificação, como com passaportes ou carteiras de motorista
  • Automatizando o processo de inserção de dados de cartão de visita em sistemas de gerenciamento de visitantes
  • Identificando padrões de compra e documentos financeiros duplicados para detecção de fraudes

Considerações

Estas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios de orientação que podem ser usados para aprimorar a qualidade de uma carga de trabalho. Para obter mais informações, confira Microsoft Azure Well-Architected Framework.

Tenha esses pontos em mente ao usar essa solução.

Disponibilidade

A disponibilidade da arquitetura depende dos serviços do Azure que compõem a solução:

Escalabilidade

Segurança

A segurança fornece garantias contra ataques deliberados e o abuso de seus dados e sistemas valiosos. Para saber mais, confira Visão geral do pilar de segurança.

  • O Firewall do Aplicativo Web do Azure ajuda a proteger seu aplicativo contra vulnerabilidades comuns. Essa opção de Gateway de Aplicativo usa regras OWASP (Open Web Application Security Project) para evitar ataques como scripts entre sites, sequestros de sessão e outras explorações.

  • Para melhorar a segurança do Serviço de Aplicativo, considere estas opções:

    • O Serviço de Aplicativo pode acessar recursos na Rede Virtual do Azure por meio da integração de rede virtual.
    • Você pode usar o Serviço de Aplicativo em um Ambiente do Serviço de Aplicativo, que você implanta em uma rede virtual dedicada. Essa abordagem ajuda a isolar a conectividade entre o Serviço de Aplicativo e outros recursos na rede virtual.

    Para obter mais informações, consulte Segurança no Serviço de Aplicativo do Azure.

  • O Armazenamento de Blobs e o Azure Cosmos DB criptografam dados inativos. Você pode proteger esses serviços usando pontos de extremidade de serviço ou pontos de extremidade privados.

  • O Azure Functions dá suporte à integração de rede virtual. Usando essa funcionalidade, os aplicativos de funções podem acessar recursos dentro de uma rede virtual. Para obter mais informações, consulte Opções de rede do Azure Functions.

  • Você pode configurar a IA do Azure para Informação de Documentos e a Linguagem de IA para acesso de redes virtuais específicas ou de pontos de extremidade privados. Esses serviços criptografam dados em repouso. Você pode usar chaves de assinatura, tokens ou o Microsoft Entra ID para autenticar solicitações para esses serviços. Para obter mais informações, consulte Autenticar solicitações para os Serviços de IA do Azure.

  • O Machine Learning oferece muitos níveis de segurança:

Resiliência

Otimização de custo

A otimização de custos é a análise de maneiras de reduzir as despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, confira Visão geral do pilar de otimização de custo.

O custo de implementar essa solução depende de quais componentes você usa e quais opções você escolhe para cada componente.

Muitos fatores podem afetar o preço de cada componente:

  • O número de documentos que você processa
  • O número de solicitações simultâneas que seu aplicativo recebe
  • O tamanho dos dados que você armazena após o processamento
  • Sua região de implantação

Esses recursos fornecem informações sobre as opções de preços do componente:

Depois de decidir sobre um tipo de preço para cada componente, use a calculadora de preços do Azure para estimar o custo da solução.

Colaboradores

Esse artigo é mantido pela Microsoft. Ele foi originalmente escrito pelos colaboradores a seguir.

Autor principal:

Próximas etapas