Procesamiento inteligente de documentos

El procesamiento inteligente de documentos (IDP) convierte contenido no estructurado (como archivos PDF, archivos DOCX, imágenes y presentaciones) en datos estructurados y enriquecidos que impulsan agentes, aplicaciones y análisis de nivel inferior.

Azure Databricks te ofrece cinco formas de ejecutar IDP, todas basadas en las mismas funciones de IA desarrolladas por la investigación:

  • Agent Bricks UI: Una experiencia visual sin código para analizar, extraer y clasificar documentos. Úsalo para probar documentos de muestra, refinar un esquema o etiquetas y validar visualmente los resultados antes de escalar.
  • Funciones de IA para SQL: Ejecute funciones inteligentes para el procesamiento de documentos directamente en el Lakehouse. Úsalos para procesar documentos a gran escala, combinar etapas entre sí y crear canalizaciones con gobernanza y aptas para producción en Lakeflow Pipelines.
  • APIs REST: Llama a las mismas funciones de IA desde aplicaciones, servicios y flujos de automatización.
  • API asíncrona (Beta): Ejecuta ai_parse_document, ai_extract, o ai_classify asíncronamente en muchas entradas de un archivo en un volumen de Unity Catalog, y obtén los resultados en un archivo dentro de un volumen. Para ai_parse_document, la entrada también puede ser un directorio de volumen. Consulta la referencia de la API asíncrona.
  • Tareas de funciones de IA en Lakeflow Jobs (Beta): Añadir una tarea ai_parse_document, ai_extract o ai_classify a un trabajo para procesar documentos nuevos y modificados de forma programada, sin escribir SQL. Consulte tareas de función de IA para trabajos.

Capacidades inteligentes de procesamiento de documentos

Capacidad Interfaz de Agent Bricks Función SQL REST API API asíncrona (Beta)
Convierta archivos PDF, DOCX, imágenes y PPT en texto estructurado, tablas y descripciones de figura. Análisis de documentos ai_parse_document Documento de análisis artificial API asíncrona
Extraiga campos estructurados de documentos o texto sin formato mediante un esquema que defina. Extracción de información ai_extract Extracto de IA API asíncrona
Asigne categorías predefinidas a documentos o texto y admita hasta 500 etiquetas. Clasificación ai_classify Clasificación por IA API asíncrona
Transformar documentos analizados en fragmentos semánticos listos para generación aumentada de recuperación (RAG) e indexación de búsqueda por IA. ai_prep_search (Beta)

Casos de uso comunes

IDP en Azure Databricks potencia una amplia gama de aplicaciones posteriores.

  • Generación aumentada de recuperación (RAG): analiza y estructura documentos para mejorar la fragmentación, la calidad de recuperación y la base conceptual de las aplicaciones LLM.
  • Extracción y análisis de conocimientos: extraiga los campos clave y los metadatos para habilitar la búsqueda, los informes y la inteligencia empresarial en los datos del documento.
  • Flujos de trabajo controlados por agentes: enrutar, clasificar y enriquecer documentos para admitir la toma de decisiones automatizada y la ejecución de tareas.
  • Descripción y clasificación de documentos: organice grandes corporas de documentos por tipo, tema o contenido para el procesamiento descendente.

Cómo funciona

Azure Databricks permite el procesamiento inteligente de documentos como un flujo de trabajo unificado de un extremo a otro en Lakehouse. La ingesta, el análisis, el enriquecimiento y el análisis de bajada se basan en una sola plataforma, por lo que cada fase funciona sin problemas sin necesidad de integración compleja ni movimiento de datos.

  1. Ingesta y orquestación

    Use canalizaciones de Lakeflow para ingerir documentos sin procesar (como archivos PDF, imágenes y archivos DOCX) y organizar las canalizaciones. Dado que la ingesta y la orquestación se integran de forma nativa con Lakehouse, los documentos fluyen directamente al procesamiento posterior sin infraestructura adicional.

  2. Análisis de documentos (capa bronce)

    Aplicar ai_parse_document para convertir archivos sin procesar en representaciones estructuradas. Esto crea una capa de bronce estandarizada que captura texto, tablas/descripciones de imágenes y estructura de documentos, formando una base coherente para todos los casos de uso descendentes.

  3. Extracción y clasificación

    Use ai_extract y ai_classify para enriquecer documentos analizados con campos estructurados y metadatos. Estas funciones funcionan directamente en las salidas analizadas, lo que permite extraer información clave, clasificar documentos y enrutarlos a través de flujos de trabajo sin pasos de transformación adicionales.

  4. Preparación para la recuperación (RAG)

    Aplique ai_prep_search (Beta) para transformar documentos analizados en fragmentos semánticos enriquecidos con contexto de nivel de documento, como títulos, encabezados de sección y referencias de página. La salida está formateada para la indexación de AI Search, lo que proporciona una base coherente para las cargas de trabajo de RAG y recuperación.

  5. Análisis y puesta en funcionamiento

    Aproveche funciones de IA adicionales u otras herramientas (paneles de IA/BI, aplicaciones, búsqueda de IA) para análisis, recuperación (RAG) y flujos de trabajo controlados por agentes. Dado que todos los datos permanecen en Lakehouse, los datos de documentos estructurados se pueden usar inmediatamente para la búsqueda, los paneles y las aplicaciones.