Utiliza el código Genie para el procesamiento inteligente de documentos

Genie Code construye pipelines de procesamiento de documentos de extremo a extremo orquestando análisis sintáctico, clasificación, extracción y validación. Dirígelo a PDFs no estructurados, contratos o facturas, y evaluará la calidad comparándola con datos etiquetados e iterará para mejorarla, para que puedas determinar cuándo un proceso está listo para producción.

Requisitos

Para usar Genie Code en el procesamiento de documentos:

Construye una canalización de procesamiento documental con Genie Code

  1. Abra Genie Code en la página Trabajos y flujos o en el editor de SQL.

  2. Indica tu objetivo y apunta tus fuentes. Consulta tus volúmenes, tablas y archivos.

    Un prompt a Genie Code indicando el objetivo de clasificación y extracción, los campos a extraer por tipo de contrato y el volumen fuente, con una solicitud de tarea nocturna programada.

  3. Deja que se acumule. Después de que Genie Code tenga suficiente material para trabajar, construye el trabajo de Lakeflow usando las mejores prácticas.

  4. Revisa y ejecuta. Revisa el SQL y las tareas generadas, edita lo que quieras y ejecuta el trabajo cuando estés listo.

    Un grafo de trabajos Lakeflow en ejecución para el procesamiento de contratos, junto al panel de chat de Código Genie que resume las tareas, funciones y tablas de salida generadas.

  5. Empieza poco a poco y luego escala. Ejecuta sobre una muestra, revisa el resultado, evalúa la calidad e itera antes de procesar el conjunto completo de datos.

¿Con qué puede ayudar Genie Code?

Crea un trabajo de procesamiento de documentos de extremo a extremo

Describe el resultado y Genie Code construye un trabajo completo de Lakeflow, usando solo las etapas que tu objetivo necesita:

  • Descubre archivos fuente en un volumen y rastrea su identidad y cambios.
  • Analiza documentos en contenido estructurado con ai_parse_document (texto, tablas, figuras y maquetación de página).
  • Clasifica cada documento bajo tus propias etiquetas ( ai_classify por ejemplo, contratos de afiliados, marketing o consultoría).
  • Extrae campos estructurados según un esquema con ai_extract, incluidas citas y niveles de confianza.
  • Publica una salida limpia y estructurada en una tabla de Unity Catalog.

Cada función de IA es una tarea propia, así que el trabajo se mantiene modular y puedes reejecutarlo, rellenarlo o editarlo más adelante.

Mejora la calidad de la extracción mediante evaluación y subidas de colinas

Genie Code trata la calidad como algo que mides, no como una suposición. Dada una tabla etiquetada de salidas esperadas, ejecuta una evaluación a nivel de campo y luego cierra el bucle:

  • Medir. Evalúa la extracción campo por campo para ver exactamente qué campos son más débiles.
  • Mejora. Genie Code propone una corrección, normalmente una descripción de campo más nítida, mostrada como un diferencial revisable que apruebas antes de que se aplique.
  • Reevalúa. Cada cambio aceptado repite el conjunto de evaluaciones y muestra resultados antes y después, por lo que tanto mejoras como regresiones son visibles.

El bucle se repite hasta que la calidad alcanza tu listón, así que juzgas la preparación por las puntuaciones y la confianza, no por una producción que parece plausible.

Validar resultados y encaminar excepciones

Genie Code incorpora controles de calidad en la canalización. Combina comprobaciones deterministas (esquemas, campos requeridos, totales), confianza en el modelo y reglas de negocio para decidir qué pasa, y mantiene visibles las filas fallidas.

Depura tus documentos visualmente

Genie Code abre la interfaz de análisis de documentos para mostrar las páginas renderizadas junto al contenido analizado y los campos extraídos. Úsalo para localizar un resultado negativo: si falta texto o está distorsionado en la salida analizada, el problema es el análisis o el archivo fuente. Si el texto se ha analizado correctamente pero un campo es incorrecto, el problema está en la extracción. En cualquier caso, verifícalo con documentos reales antes de ampliarlo.

Inspeccionar y solucionar problemas en tuberías existentes

Genie Code funciona con las canalizaciones que ya tienes, no solo con las nuevas. Puede explicar un trabajo, revisar su diseño y coste sin cambiar nada, encontrar la causa raíz de una fase fallida o lenta, y hacer la solución más pequeña dejando las piezas funcional intactas.

Ejemplos de indicaciones

Construir una tubería de extremo a extremo

  • Los contratos llegan a @my_catalog.raw.contracts. Crear un trabajo diario que clasifique cada uno en afiliación, marketing, consultoría, hosting y depósito en garantía; extraer los campos que importan para cada tipo de contrato; y escribir tablas de oro."
  • "Tengo un volumen de facturas escaneadas en @my_catalog.raw.invoices. Construye un trabajo que los analize, extraiga el proveedor, el número de factura, las partidas y el total, y escriba los resultados en una tabla."

Mejora la calidad con evaluaciones y subidas de cuesta

  • "¿Cómo sé que esto es lo suficientemente bueno para funcionar en millones de filas? Evalúa la extracción con mi tabla @my_catalog.default.eval_table etiquetada y dime qué campos son los más débiles."
  • "La precisión en el invoice_total campo podría ser mayor. Mejora iterativamente el esquema y las instrucciones, vuelve a hacer la evaluación y muéstrame el antes y después."
  • Establece umbrales de confianza por campo a partir de los resultados de la evaluación y dirige las filas con baja confianza a revisión.

Validar resultados y encaminar excepciones

  • Añade una validación que compruebe los campos obligatorios y que las partidas sumen el total de la factura, y mantén las filas que no superen la validación.
  • Ponga en cuarentena los documentos que no cumplan una regla de negocio (por ejemplo, impuestos pagados superiores al salario) en una tabla separada para revisión humana.

Depura tus documentos visualmente

  • "Muéstrame los resultados analizados de estos PDFs junto a las páginas originales para que pueda comprobar los resultados analizados."
  • "La fecha de entrada en vigor es incorrecta en algunos contratos de consultoría. Abre la vista del análisis para poder determinar si se trata de un problema de análisis sintáctico o de extracción.

Inspeccionar y solucionar problemas en tuberías existentes

  • "Explica qué hace cada tarea en este trabajo de procesamiento de documentos y dónde están escritos los resultados."
  • "Esta tarea de análisis empezó a fallar. Identifica la causa en la salida de la ejecución más reciente y recomienda la corrección mínima.
  • "Revisa este diseño de pipeline de procesamiento de documentos según las mejores prácticas y dime si está listo para ejecutarse en el conjunto de datos completo."

Recursos adicionales

  • Se actualizó por última vez el