Use o Código Genie para processamento inteligente de documentos

O Genie Code constrói pipelines de processamento de documentos de ponta a ponta orquestrando análise sintática, classificação, extração e validação. Aponte-o para PDFs não estruturados, contratos ou faturas, e ele avalia a qualidade com base em dados rotulados e faz iterações para melhorá-la, para que você possa avaliar quando um pipeline está pronto para produção.

Requisitos

Para usar o Código Genie para processamento de documentos:

Construa um pipeline de processamento de documentos com o Genie Code

  1. Abra o código do Genie na página de Jobs & Pipelines ou no editor SQL.

  2. Declare seu objetivo e aponte suas fontes. Consulte seus volumes, tabelas e arquivos.

    Um prompt para o Genie Code indicando a classificação e o objetivo de extração, os campos a extrair por tipo de contrato e o volume fonte, com uma solicitação para uma tarefa noturna.

  3. Deixe crescer. Depois que o Genie Code tem material suficiente, ele constrói o trabalho do Lakeflow usando as melhores práticas.

  4. Revise e execute. Revise o SQL gerado e as tarefas, edite o que quiser e execute o trabalho quando estiver pronto.

    Um grafo de jobs Lakeflow em execução para processamento de contratos, ao lado do painel de chat do Código Genie que resume as tarefas, funções e tabelas de saída geradas.

  5. Comece pequeno, depois escale. Execute em uma amostra, revise o resultado, avalie a qualidade e itere antes de processar o conjunto de dados completo.

Com o que o Genie Code pode ajudar?

Construa um trabalho de processamento de documentos de ponta a ponta

Descreva o resultado, e o Genie Code constrói um trabalho completo do Lakeflow, usando apenas as etapas que seu objetivo precisa:

  • Descubra arquivos-fonte em um volume e acompanhe sua identidade e alterações.
  • Analise documentos em conteúdo estruturado com ai_parse_document (texto, tabelas, figuras e layout de página).
  • Classifique cada documento em seus próprios rótulos ( ai_classify por exemplo, contratos de afiliados, marketing ou consultoria).
  • Extraia campos estruturados contra um esquema com ai_extract, incluindo citações e pontuações de confiança.
  • Publique uma saída limpa e estruturada em uma tabela do Unity Catalog.

Cada função de IA é uma tarefa própria, então o trabalho permanece modular e você pode re-executá-lo, preencher ou editar depois.

Melhore a qualidade da extração com avaliação e subida de colinas

Genie Code trata a qualidade como algo que se mede, não como algo que se adivinha. Dada uma tabela rotulada de saídas esperadas, ele executa uma avaliação em nível de campo e fecha o ciclo:

  • Medição. Avalie a extração atual por campo para ver exatamente quais campos precisam de melhoria.
  • Melhore. O Genie Code propõe uma correção, na maioria das vezes uma descrição de campo mais precisa, mostrada como um diff revisável que você aprova antes de ser aplicada.
  • Reavalie. Cada alteração aceita repete o conjunto de avaliações e mostra resultados antes e depois, então melhorias e regressões são visíveis.

O ciclo se repete até que a qualidade atenda ao seu critério, de modo que você avalia se está pronto com base nas pontuações e no nível de confiança, não em uma saída que apenas parece plausível.

Validar resultados e encaminhar exceções

O Genie Code constrói portas de qualidade no pipeline. Ele combina verificações determinísticas (esquemas, campos obrigatórios, totais), confiança do modelo e regras de negócio para decidir o que passa, e mantém as linhas falhadas visíveis.

Depure seus documentos visualmente

O Genie Code abre a interface de análise de documentos para mostrar as páginas renderizadas ao lado do conteúdo analisado e dos campos extraídos. Use-o para localizar um resultado ruim: se o texto estiver faltando ou distorcido na saída analisada, o problema é a análise ou o arquivo fonte. Se o texto for analisado mas um campo estiver errado, o problema é a extração. De qualquer forma, valide com documentos reais antes de expandir.

Inspecionar e solucionar problemas em pipelines existentes

O Genie Code funciona com pipelines que você já tem, não apenas com novos. Ele pode explicar uma tarefa, analisar seu design e custo sem alterar nada, encontrar a causa raiz de uma etapa que falhou ou está lenta e fazer a menor correção possível, sem mexer nas partes que estão funcionando.

Prompts de exemplo

Construa um pipeline de ponta a ponta

  • Contratos chegam em @my_catalog.raw.contracts. Construir um trabalho diário que classifique cada um em afiliados, marketing, consultoria, hospedagem e custódia; extrair os campos que importam para cada tipo de contrato; e escrever tabelas de ouro."
  • Tenho um volume de notas fiscais digitalizadas em @my_catalog.raw.invoices. Construa um trabalho que os analise, extraia o fornecedor, o número da fatura, itens de linha e o total, e escreva os resultados em uma tabela."

Melhore a qualidade com avaliação e subida de colinas

  • "Como eu sei que isso é bom o suficiente para rodar em milhões de fileiras? Avalie a extração em relação à minha tabela @my_catalog.default.eval_table rotulada e me diga quais campos são os mais fracos."
  • "A precisão no invoice_total campo pode ser maior. Melhore iterativamente o esquema e as instruções, reexecute a avaliação e me mostre o antes e depois."
  • "Defina limiares de confiança por campo a partir dos resultados da avaliação e encaminhe linhas de baixa confiança para revisar."

Validar resultados e encaminhar exceções

  • Adicione a validação que verifique os campos obrigatórios e se a soma dos itens de linha corresponde ao total da fatura, e mantenha as linhas com falha.
  • Coloque em quarentena, em uma tabela separada, os documentos que violam uma regra de negócio (por exemplo, imposto pago maior que o salário) para revisão humana.

Depure seus documentos visualmente

  • "Mostre-me os resultados analisados desses PDFs ao lado das páginas originais para que eu possa conferir os resultados analisados."
  • "A data de vigência está errada em alguns contratos de consultoria. Abra a visualização analisada para eu saber se é um problema de análise ou extração."

Inspecionar e solucionar problemas em pipelines existentes

  • "Explique o que cada tarefa neste trabalho de processamento de documentos faz e onde os resultados estão escritos."
  • "Essa tarefa de análise começou a falhar. Encontre a causa a partir da saída da execução recente e recomende a menor correção.
  • "Revise este projeto de pipeline de processamento de documentos conforme as melhores práticas e me diga se ele está pronto para rodar no conjunto de dados completo."

Recursos adicionais

  • Última atualização em