Extracción de texto de objetos mediante Power Automate y AI Builder

AI Builder

Inteligencia de documentos de Azure AI

Power Automate

Microsoft Power Platform

Funciones de Azure

En este artículo se presenta una solución para extraer texto de imágenes para que se pueda indexar y recuperar en SharePoint. Mediante AI Builder y Documento de inteligencia de Azure AI, puede configurar un flujo de trabajo de Power Automate para usar un modelo entrenado a fin de extraer texto de una imagen. Una vez que haya configurado un flujo de trabajo, puede buscar rápidamente en documentos texto significativo que esté insertado en formas y objetos.

Arquitectura

Descargue un archivo Visio de esta arquitectura.

Flujo de trabajo

1. Un modelo de detección de objetos se entrena en AI Builder para reconocer los objetos especificados por un usuario.
2. Un nuevo documento entra en una biblioteca de documentos de SharePoint, OneDrive o Teams.
3. La llegada del documento desencadena un evento de Power Automate. Ese evento:
   1. Ejecuta el modelo de AI Builder. AI Builder devuelve un archivo JSON que contiene las coordenadas de píxeles de los objetos especificados.
   2. Envía el documento a Document Intelligence para un análisis completo de reconocimiento óptico de caracteres (OCR). Document Intelligence devuelve un archivo JSON que contiene texto analizado y coordenadas de píxeles del texto.
   3. Ejecuta una función en Azure Functions. La función analiza las coordenadas de píxeles en los archivos de salida de AI Builder y Document Intelligence. Si los objetos detectados forman una intersección con el texto analizado, la función devuelve los datos coincidentes en un archivo JSON.
   4. Introduce los metadatos o el texto de los objetos detectados en una biblioteca de documentos.
4. Los metadatos se capturan en un índice de búsqueda de SharePoint.
5. Los usuarios buscan los metadatos mediante elementos web de PnP Modern Search.

Componentes

• AI Builder es una funcionalidad de Microsoft Power Platform. Use AI Builder para entrenar modelos para reconocer objetos en imágenes. AI Builder también ofrece modelos creados previamente para la detección de objetos.
• Document Intelligence usa modelos de aprendizaje automático para extraer y analizar campos de formulario, texto y tablas de los documentos.
• Power Automate forma parte de las soluciones intuitivas sin código o con poco código de Microsoft Power Platform. Power Automate es un servicio de flujos de trabajo en línea que automatiza acciones entre aplicaciones y servicios.
• Azure Functions es una plataforma de proceso sin servidor basada en eventos. Azure Functions se ejecuta a petición y a gran escala en la nube.
• La solución de PnP Modern Search es un conjunto de elementos web modernos de SharePoint en Microsoft 365. Con estas herramientas, puede crear experiencias de búsqueda muy flexibles y personalizadas.

Alternativas

• Servicios de Azure AI puede realizar un análisis completo de reconocimiento óptico de caracteres, con los metadatos resultantes almacenados en SharePoint.
• SharePoint puede ejecutar exámenes de reconocimiento óptico de caracteres en documentos y agregar la salida del contenido al índice para su recuperación. Use técnicas de búsqueda para seleccionar como destino la información importante de los documentos.
• Si desea procesar una alta tasa de documentos, considere la posibilidad de usar Azure Logic Apps para configurar los componentes. Azure Logic Apps le impide alcanzar los límites de consumo en el inquilino y es rentable. Para más información, consulte Azure Logic Apps.

Detalles del escenario

Los diagramas esquemáticos e industriales suelen tener objetos que contienen texto. El análisis manual de documentos en busca de texto pertinente puede ser laborioso y lento.

Posibles casos de uso

Entre los casos de uso se incluyen los siguientes:

• Diagramas esquemáticos de ingeniería complicados que contienen varios tipos de objetos. Con esta solución, puede buscar rápidamente componentes específicos en un diagrama. Tener acceso al texto incrustado de los objetos es útil para las investigaciones, la exposición de situaciones de escasez o la búsqueda de avisos de recuperación y error.
• Diagramas industriales que muestran los componentes de un ensamblado de fabricación. Esta solución identifica rápidamente las bombas, las válvulas, los conmutadores automatizados y otros componentes. La identificación de los componentes ayuda con el mantenimiento preventivo, aislando los componentes peligrosos y aumentando la visibilidad de la administración de riesgos en su organización.

Colaboradores

Microsoft mantiene este artículo. Originalmente lo escribieron los siguientes colaboradores.

Autor principal:

• Steve Pucelik | Especialista sénior

Pasos siguientes

• Comprenda los tipos de documentos que serían adecuados para esta solución. Entre los documentos típicos se incluyen diagramas esquemáticos, procesos de control de fabricación y diagramas que contienen muchas formas que deben aislarse. Para obtener más información, consulte Modelos personalizados de Document Intelligence.
• Familiarícese con las funcionalidades que ofrece AI Builder. Para obtener más información, consulte Información general de AI Builder en Power Automate.
• Defina una arquitectura de información que pueda recibir y procesar los metadatos. Para más información, consulte conjunto de aptitudes de Azure AI Search.
• Para obtener información sobre cómo funciona la solución y si es adecuada para los casos de uso, consulte Extract text from objects.

En este artículo se presenta una solución para extraer texto de imágenes para que se pueda indexar y recuperar en SharePoint. Mediante AI Builder y Documento de inteligencia de Azure AI, puede configurar un flujo de trabajo de Power Automate para usar un modelo entrenado a fin de extraer texto de una imagen. Una vez que haya configurado un flujo de trabajo, puede buscar rápidamente en documentos texto significativo que esté insertado en formas y objetos.

Arquitectura

Descargue un archivo Visio de esta arquitectura.

Flujo de trabajo

1. Un modelo de detección de objetos se entrena en AI Builder para reconocer los objetos especificados por un usuario.
2. Un nuevo documento entra en una biblioteca de documentos de SharePoint, OneDrive o Teams.
3. La llegada del documento desencadena un evento de Power Automate. Ese evento:
   1. Ejecuta el modelo de AI Builder. AI Builder devuelve un archivo JSON que contiene las coordenadas de píxeles de los objetos especificados.
   2. Envía el documento a Document Intelligence para un análisis completo de reconocimiento óptico de caracteres (OCR). Document Intelligence devuelve un archivo JSON que contiene texto analizado y coordenadas de píxeles del texto.
   3. Ejecuta una función en Azure Functions. La función analiza las coordenadas de píxeles en los archivos de salida de AI Builder y Document Intelligence. Si los objetos detectados forman una intersección con el texto analizado, la función devuelve los datos coincidentes en un archivo JSON.
   4. Introduce los metadatos o el texto de los objetos detectados en una biblioteca de documentos.
4. Los metadatos se capturan en un índice de búsqueda de SharePoint.
5. Los usuarios buscan los metadatos mediante elementos web de PnP Modern Search.

Componentes

• AI Builder es una funcionalidad de Microsoft Power Platform. Use AI Builder para entrenar modelos para reconocer objetos en imágenes. AI Builder también ofrece modelos creados previamente para la detección de objetos.
• Document Intelligence usa modelos de aprendizaje automático para extraer y analizar campos de formulario, texto y tablas de los documentos.
• Power Automate forma parte de las soluciones intuitivas sin código o con poco código de Microsoft Power Platform. Power Automate es un servicio de flujos de trabajo en línea que automatiza acciones entre aplicaciones y servicios.
• Azure Functions es una plataforma de proceso sin servidor basada en eventos. Azure Functions se ejecuta a petición y a gran escala en la nube.
• La solución de PnP Modern Search es un conjunto de elementos web modernos de SharePoint en Microsoft 365. Con estas herramientas, puede crear experiencias de búsqueda muy flexibles y personalizadas.

Alternativas

• Servicios de Azure AI puede realizar un análisis completo de reconocimiento óptico de caracteres, con los metadatos resultantes almacenados en SharePoint.
• SharePoint puede ejecutar exámenes de reconocimiento óptico de caracteres en documentos y agregar la salida del contenido al índice para su recuperación. Use técnicas de búsqueda para seleccionar como destino la información importante de los documentos.
• Si desea procesar una alta tasa de documentos, considere la posibilidad de usar Azure Logic Apps para configurar los componentes. Azure Logic Apps le impide alcanzar los límites de consumo en el inquilino y es rentable. Para más información, consulte Azure Logic Apps.

Detalles del escenario

Los diagramas esquemáticos e industriales suelen tener objetos que contienen texto. El análisis manual de documentos en busca de texto pertinente puede ser laborioso y lento.

Posibles casos de uso

Entre los casos de uso se incluyen los siguientes:

• Diagramas esquemáticos de ingeniería complicados que contienen varios tipos de objetos. Con esta solución, puede buscar rápidamente componentes específicos en un diagrama. Tener acceso al texto incrustado de los objetos es útil para las investigaciones, la exposición de situaciones de escasez o la búsqueda de avisos de recuperación y error.
• Diagramas industriales que muestran los componentes de un ensamblado de fabricación. Esta solución identifica rápidamente las bombas, las válvulas, los conmutadores automatizados y otros componentes. La identificación de los componentes ayuda con el mantenimiento preventivo, aislando los componentes peligrosos y aumentando la visibilidad de la administración de riesgos en su organización.

Colaboradores

Microsoft mantiene este artículo. Originalmente lo escribieron los siguientes colaboradores.

Autor principal:

• Steve Pucelik | Especialista sénior

Pasos siguientes

• Comprenda los tipos de documentos que serían adecuados para esta solución. Entre los documentos típicos se incluyen diagramas esquemáticos, procesos de control de fabricación y diagramas que contienen muchas formas que deben aislarse. Para obtener más información, consulte Modelos personalizados de Document Intelligence.
• Familiarícese con las funcionalidades que ofrece AI Builder. Para obtener más información, consulte Información general de AI Builder en Power Automate.
• Defina una arquitectura de información que pueda recibir y procesar los metadatos. Para más información, consulte conjunto de aptitudes de Azure AI Search.
• Para obtener información sobre cómo funciona la solución y si es adecuada para los casos de uso, consulte Extract text from objects.