Revoluciona las inspecciones de vehículos con EVVIE

El Enterprise Visual Vehicle Inspection Engine (EVVIE) utiliza IA y Microsoft Power Platform para revolucionar el proceso de inspección de vehículos. Al automatizar las inspecciones, EVVIE ahorra tiempo y mejora la precisión, lo que la convierte en una herramienta invaluable para las organizaciones que administran grandes flotas de vehículos. Este artículo proporciona una descripción general de la arquitectura, el flujo de trabajo y los componentes clave de EVVIE, ofreciendo información sobre cómo esta innovadora solución puede agilizar las inspecciones y el mantenimiento de vehículos.

Para obtener una demostración y más información sobre EVVIE, visite aka.ms/EVVIE.

Propina

En este artículo se describe una idea de solución. Su arquitecto de la nube puede usar esta guía para ayudar a visualizar los componentes principales de una implementación típica de esta arquitectura. Utilice este artículo como punto de partida para diseñar una solución bien arquitectada que se alinee con los requisitos específicos de su carga de trabajo.

Diagrama de arquitectura

Workflow

EVVIE utiliza una combinación única de recursos de Power Platform y Microsoft Azure para automatizar el proceso de inspección de vehículos utilizando modelos avanzados de IA. A grandes rasgos, el proceso interno de EVVIE es el siguiente:

1. Una aplicación de lienzo de Power Apps sirve como interfaz para permitir a los usuarios recopilar fotos de los daños del vehículo como parte de una inspección del vehículo. Las imágenes se codifican como una cadena en base64.

2. La aplicación utiliza un conector personalizado para proporcionar las imágenes capturadas a una API personalizada, una aplicación de función Azure basada en .NET.

3. La aplicación de función recibe y analiza la llamada HTTP API de la aplicación, captura las fotos e interactúa con un modelo de lenguaje multimodal en el servicio Azure OpenAI. El modelo revisa las fotos y clasifica los daños en tres campos: área del automóvil, nivel de gravedad y descripción general del daño.

4. La aplicación de inspección recibe la respuesta de la aplicación de funciones y presenta la evaluación de daños creada por IA al usuario, que puede aceptar, modificar o rechazar la evaluación. El usuario finaliza la evaluación y la envía para el vehículo en cuestión. La evaluación se almacena de forma segura en Dataverse.

5. Un modelo impulsado por páginas personalizadas permite a los administradores revisar los datos de inspección de vehículos.

Componentes

Microsoft Dataverse: Todos los datos recopilados como parte de las inspecciones de vehículos, como fotos de daños, clasificación del nivel de gravedad y descripciones, se almacenan en Dataverse.

Power Apps: El personal de campo que inspecciona los vehículos y el personal administrativo que revisa las inspecciones utilizan aplicaciones construidas en Power Apps, el marco de desarrollo de aplicaciones sin código o con poco código de Microsoft.

Conector personalizado: Un conector personalizado permite que la aplicación móvil de inspección de vehículos EVVIE (utilizada por el personal que inspecciona los vehículos en el campo) llame a un servicio de back-end que utiliza IA avanzada para evaluar las fotos proporcionadas.

Azure Functions: Azure Functions, la plataforma de cómputo sin servidor basada en eventos de Microsoft, actúa como una API web a la que la aplicación EVVIE puede llamar mediante una solicitud HTTP a través del conector personalizado. La aplicación de función Azure recibe las imágenes a través de la llamada API, usa un modelo de IA avanzado para evaluar los daños y devuelve la evaluación a la aplicación.

Azure OpenAI AI Service: EVVIE utiliza un modelo de IA multimodal para evaluar los daños en las imágenes proporcionadas y clasificarlos en tres campos: nivel de gravedad (1-5), área del vehículo (como puertas, parabrisas, parachoques delantero) y descripción de los daños. Si bien se puede usar cualquier modelo de lenguaje multimodal futuro (es decir, "o1" u "o3" una vez que estén ampliamente disponibles), GPT-4o se usa en el momento de escribir este artículo.

Detalles del escenario

EVVIE ayuda a las organizaciones con grandes flotas de vehículos a gestionar las inspecciones y el mantenimiento periódicos. Las inspecciones rutinarias llevan tiempo y distraen al personal de un trabajo más valioso.

Para aliviar esta carga y ahorrar tiempo, EVVIE utiliza IA generativa avanzada multimodal para evaluar y registrar automáticamente los daños del vehículo. En lugar de documentar manualmente cada caso de daño, los miembros del personal proporcionan a EVVIE una foto. A partir de esta única imagen, EVVIE evalúa los daños, registra su ubicación en el vehículo, determina el nivel de gravedad y proporciona una breve descripción.

EVVIE se inspira en conversaciones con el Departamento del Sheriff del Condado de Los Ángeles, que administra una flota de miles de vehículos. Tradicionalmente, cada oficial tenía que inspeccionar su vehículo con bolígrafo, papel y portapapeles antes de comenzar su turno, documentar cualquier daño y enviar esta información a su supervisor. Sin embargo, esta inspección rutinaria a menudo se quedaba en el camino debido a las tareas urgentes, lo que dejaba poco tiempo para una engorrosa inspección de 20 minutos.

Con EVVIE, los oficiales solo necesitan abrir una aplicación en su teléfono y tomar una foto del vehículo. La IA documenta los daños e informa de ellos al supervisor, lo que elimina la necesidad de procesos en papel.

Consideraciones

Estas consideraciones implementan los pilares de Power Platform Well-Architected, un conjunto de principios rectores que mejoran la calidad de una carga de trabajo. Obtenga más información en Microsoft Power Platform Well-Architected.

Confiabilidad

Cada componente Microsoft basado en la nube en la arquitectura de EVVIE está diseñado para una confiabilidad excepcional, lo que garantiza que cumpla constantemente con los objetivos críticos de tiempo de actividad y recuperación. Esta confiabilidad se logra a través de la redundancia escalable, lo que proporciona un rendimiento y una resiliencia sólidos.

Seguridad

Para la versión de prueba de concepto de EVVIE, la API web basada en Azure Functions que interactúa con la aplicación no incluye ningún protocolo de seguridad. Cualquier persona que conozca los puntos finales únicos de la API (URL) puede acceder al servicio de back-end de EVVIE.

En una implementación de producción, es esencial que el integrador de sistemas implemente una capa de autenticación estándar, como la autenticación basada en claves a través de Azure API Management. Dichas medidas de seguridad garantizan que solo se acceda al servicio API de back-end según lo previsto por la aplicación front-end de EVVIE.

Excelencia operativa

Como prueba de concepto, EVVIE se construye desde cero con requisitos ficticios para mostrar la capacidad de la tecnología para evaluar los daños de los vehículos. Todos los aspectos, desde el proceso de inspección hasta los criterios que EVVIE evalúa (área de daño, nivel de gravedad, descripción y las áreas específicas del vehículo donde se pueden identificar los daños), pueden y deben personalizarse para satisfacer las necesidades únicas de cualquier organización que implemente EVVIE.

Por ejemplo, un integrador de sistemas puede:

• Ajusta las áreas específicas de un vehículo donde EVVIE puede identificar daños.
• Refina la solicitud del sistema utilizada para indicar el modelo.
• Implemente un número mínimo de requisitos fotográficos.

Estas modificaciones garantizan que EVVIE funcione de manera óptima y se alinee con las necesidades específicas de la organización.

Eficiencia en el rendimiento

Dos posibles cuellos de botella pueden afectar significativamente a la escalabilidad de EVVIE:

• Azure API basada en funciones: Como puerta de entrada de EVVIE al servicio de IA para la evaluación de daños en vehículos, es crucial garantizar que la aplicación de funciones Azure esté configurada para una escala masiva. En función del consumo de la organización, puede ser aconsejable implementar en un plan dedicado para garantizar la escalabilidad.

• Azure OpenAI Service: El modelo de Azure OpenAI, al que llama la aplicación de funciones, es esencial para evaluar y registrar los daños. Es fundamental asegurarse de que la implementación Azure OpenAI, en la que se basa la API de back-end, esté siempre operativa. Dado que Azure OpenAI utiliza un sistema basado en tokens, es importante garantizar que el modelo utilizado en EVVIE tenga una alta cuota de tokens para el período de uso determinado.

Optimización de la experiencia

El equipo que desarrolló EVVIE dedicó mucho tiempo y esfuerzo a optimizar la interfaz de usuario y la experiencia del usuario para que fuera intuitivo y fácil para el personal inspeccionar los vehículos y revisar las inspecciones.

La aplicación de inspección de EVVIE es un aplicación de lienzo que se puede modificar fácilmente a través de una interfaz simple de seleccionar y arrastrar, similar a PowerPoint, para satisfacer mejor las necesidades de la organización.

La interfaz que se presenta al personal administrativo para revisar estas inspecciones es aplicación basada en modelo con una página personalizada, que es igualmente fácil de modificar de acuerdo con los requisitos específicos.

IA responsable

Caso de uso no confidencial: la aplicación EVVIE opera dentro de un dominio no confidencial, lo que reduce significativamente el riesgo de sesgo que afecta negativamente las inspecciones de vehículos. Dada la naturaleza de la evaluación de daños en los vehículos, hay un margen mínimo para que el sesgo influya en los resultados.

IA generativa controlada: Los modelos de IA generativa empleados por EVVIE utilizan características que restringen sus evaluaciones a plantillas predefinidas. Este diseño garantiza que la IA proporcione respuestas específicas y objetivas guiadas por el desarrollador, lo que limita la creatividad y se centra en evaluaciones precisas y coherentes.

Colaboradores

Microsoft mantiene este artículo. Los siguientes colaboradores escribieron este artículo.

Autores principales:

• Tim Hanewich, Power Platform Especialista Técnico
• Kelly Cason, Especialista Técnica en Aplicaciones Empresariales

Pasos siguientes

Para ver un vídeo de demostración, una explicación más detallada de la funcionalidad, la arquitectura, el código fuente y más, visite EVVIE en GitHub en aka.ms/EVVIE.