Revoluciona as inspeccións de vehículos con EVVIE

O Enterprise Visual Vehicle Inspection Engine (EVVIE) utiliza intelixencia artificial e Microsoft Power Platform para revolucionar o proceso de inspección de vehículos. Ao automatizar as inspeccións, EVVIE aforra tempo e mellora a precisión, converténdoo nunha ferramenta inestimable para as organizacións que xestionan grandes flotas de vehículos. Este artigo ofrece unha visión xeral da arquitectura, o fluxo de traballo e os compoñentes clave de EVVIE, ofrecendo información sobre como esta solución innovadora pode axilizar as inspeccións e o mantemento dos vehículos.

Para unha demostración e máis información sobre EVVIE, visita aka.ms/EVVIE.

Suxestión

Este artigo describe unha idea de solución. O teu arquitecto na nube pode usar esta orientación para axudar a visualizar os principais compoñentes para unha implementación típica desta arquitectura. Use este artigo como punto de partida para deseñar unha solución ben diseñada que se axuste aos requisitos específicos da súa carga de traballo.

Diagrama de arquitectura

Workflow

EVVIE utiliza unha combinación única de Power Platform e Microsoft Azure recursos para automatizar o proceso de inspección do vehículo mediante modelos avanzados de IA. A un alto nivel, o proceso interno de EVVIE é o seguinte:

1. A Power Apps aplicación de lenzo serve como interface para permitir aos usuarios recoller fotos de danos no vehículo como parte dunha inspección do vehículo. As imaxes están codificadas como unha cadea base64.

2. A aplicación usa un conector personalizado para proporcionar as imaxes capturadas a unha API personalizada, unha aplicación de funcións Azure baseada en .NET.

3. A aplicación de funcións recibe e analiza a chamada da API HTTP da aplicación, obtén as fotos e interactúa cun modelo de linguaxe multimodal en Azure OpenAI Service. O modelo revisa as fotos e clasifica os danos en tres campos: área do coche, nivel de gravidade e descrición xeral do dano.

4. A aplicación de inspección recibe a resposta da aplicación de funcións e presenta a avaliación de danos creada pola IA ao usuario, quen pode aceptar, modificar ou rexeitar a avaliación. O usuario finaliza a avaliación e envíaa para o vehículo indicado. A avaliación está almacenada de forma segura Dataverse.

5. Un modelo dirixido con páxinas personalizadas permite aos administradores revisar os datos de inspección de vehículos.

Compoñentes

Microsoft Dataverse: todos os datos recollidos como parte das inspeccións de vehículos, como fotos de danos, clasificación do nivel de gravidade e descricións, almacénanse en Dataverse.

Power Apps: O persoal sobre o terreo que inspecciona os vehículos e o persoal administrativo que revisa as inspeccións usan aplicacións integradas en Power Apps, o marco de desenvolvemento de aplicacións sen código ou baixo código de Microsoft.

Conector personalizado: un conector personalizado permite que a aplicación de inspección de vehículos móbiles EVVIE (utilizada polo persoal que inspecciona vehículos no campo) chame a un servizo de back-end que utiliza IA avanzada para avaliar as fotos proporcionadas.

Azure Functions: Azure Functions, a plataforma informática sen servidor baseada en eventos de Microsoft, actúa como unha API web á que a aplicación EVVIE pode chamar mediante unha solicitude HTTP a través do conector personalizado. A aplicación da función Azure recibe as imaxes a través da chamada API, usa un modelo avanzado de IA para avaliar os danos e devolve a avaliación á aplicación.

Azure OpenAI Servizo: EVVIE utiliza un modelo de IA multimodal para avaliar os danos nas imaxes proporcionadas e clasificalos en tres campos: nivel de gravidade (1-5), área do vehículo (como portas, parabrisas, parachoques dianteiro) e descrición dos danos. Aínda que se pode usar calquera modelo de linguaxe multimodal futuro (é dicir, "o1" ou "o3" unha vez que estean amplamente dispoñibles), GPT-4o utilízase ao momento de escribir este artigo.

Detalles do escenario

EVVIE axuda ás organizacións con grandes flotas de vehículos a xestionar inspeccións e mantemento regulares. As inspeccións de rutina levan tempo e distraen ao persoal do traballo máis valioso.

Para aliviar esta carga e aforrar tempo, EVVIE usa IA xerativa multimodal avanzada para avaliar e rexistrar automaticamente os danos no vehículo. En lugar de documentar manualmente cada caso de dano, os membros do persoal proporcionan a EVVIE unha foto. A partir desta única imaxe, EVVIE avalía os danos, rexistra a súa localización no vehículo, determina o nivel de gravidade e ofrece unha breve descrición.

EVVIE está inspirado nas conversacións co Departamento do Sheriff do Condado de LA, que xestiona unha flota de miles de vehículos. Tradicionalmente, cada oficial tiña que revisar o seu vehículo con bolígrafo, papel e portapapeis antes de comezar a súa quenda, documentar calquera dano e enviar esta información ao seu supervisor. Non obstante, esta inspección de rutina a miúdo quedou no camiño debido a tarefas urxentes, deixando pouco tempo para unha inspección engorrosa de 20 minutos.

Con EVVIE, os axentes só necesitan abrir unha aplicación no seu teléfono e facer unha foto do vehículo. A IA documenta o dano e infórmao ao supervisor, eliminando a necesidade de procesos baseados en papel.

Consideracións

Estas consideracións implementan os piares de Power Platform Well-Architected, un conxunto de principios orientadores que melloran a calidade dunha carga de traballo. Obtén máis información en Microsoft Power Platform Ben arquitecto.

Fiabilidade

Cada compoñente baseado na nube de Microsoft da arquitectura de EVVIE está deseñado para ofrecer unha fiabilidade excepcional, o que garante que cumpra constantemente os obxectivos críticos de tempo de actividade e recuperación. Esta fiabilidade conséguese a través da redundancia escalable, que proporciona un rendemento robusto e resistencia.

Seguranza

Para a compilación de proba de concepto de EVVIE, a API web baseada en Azure Functions que interactúa coa aplicación non inclúe ningún protocolo de seguridade. Calquera persoa que coñeza os puntos finais da API (URL) únicos pode acceder ao servizo de fondo de EVVIE.

Nunha implantación de produción, é esencial que o integrador de sistemas implemente unha capa de autenticación estándar, como a autenticación baseada en claves a través de Azure API Management. Estas medidas de seguridade garanten que só se acceda ao servizo de API de fondo segundo o previsto pola aplicación de interface EVVIE.

Excelencia operativa

Como proba de concepto, EVVIE está construído desde cero con requisitos ficticios para mostrar a capacidade da tecnoloxía para avaliar os danos no vehículo. Cada aspecto, desde o proceso de inspección ata os criterios que avalía EVVIE (área de danos, nivel de gravidade, descrición e as áreas específicas do vehículo onde se poden identificar os danos) poden e deben personalizarse para satisfacer as necesidades únicas de calquera organización que implante EVVIE.

Por exemplo, un integrador de sistemas pode:

• Axusta as áreas específicas dun vehículo onde EVVIE pode identificar danos.
• Refina o indicador do sistema utilizado para instruír o modelo.
• Implementar un número mínimo de requisitos fotográficos.

Estas modificacións garanten que EVVIE funcione de forma óptima e se aliña coas necesidades específicas da organización.

Eficiencia de desempeño

Dous pescozos potenciais poden afectar significativamente a escalabilidade de EVVIE:

• API baseada en funcións de Azure: Como porta principal de EVVIE ao servizo de intelixencia artificial para a avaliación de danos no vehículo, é fundamental asegurarse de que a aplicación de funcións de Azure estea configurada para unha escala masiva. Dependendo do consumo da organización, pode ser recomendable implementar un plan dedicado para garantir a escalabilidade.

• Azure OpenAI Servizo: o modelo Azure OpenAI , chamado pola aplicación de funcións, é esencial para avaliar e rexistrar danos. É fundamental asegurarse de que a implementación de Azure OpenAI , na que se basea a API de fondo, estea sempre operativa. Dado que Azure OpenAI usa un sistema baseado en tokens, é importante garantir que o modelo usado en EVVIE teña unha alta cota de tokens para o período de uso determinado.

Optimización da experiencia

O equipo que desenvolveu EVVIE dedicou moito tempo e esforzo a optimizar a interface de usuario e a experiencia do usuario para que o persoal sexa intuitivo e sinxelo para inspeccionar vehículos e revisar as inspeccións.

A aplicación de inspección de EVVIE é unha aplicación de lenzo que se pode modificar facilmente mediante unha sinxela interface de selección e arrastre, semellante a PowerPoint, para satisfacer mellor as necesidades da organización.

A interface que se presenta ao persoal administrativo para revisar estas inspeccións é unha aplicación dirixida por modelos cunha páxina personalizada, que é igualmente fácil de modificar segundo requisitos específicos.

IA responsable

Caso de uso non sensible: A aplicación EVVIE funciona dentro dun dominio non sensible, o que reduce significativamente o risco de sesgo que afecte negativamente ás inspeccións de vehículos. Dada a natureza da avaliación de danos no vehículo, hai un espazo mínimo para que o sesgo inflúa nos resultados.

AI xerativa controlada: Os modelos de IA xerativa empregados por EVVIE usan funcións que limitan as súas avaliacións a modelos predefinidos. Este deseño garante que a IA proporcione respostas concretas e concretas segundo as guías do programador, limitando a creatividade e centrándose en avaliacións precisas e coherentes.

Colaboradores

Microsoft mantén este artigo. Os seguintes colaboradores escribiron este artigo.

Autores principais:

• Tim Hanewich, Power Platform Especialista técnico
• Kelly Cason, especialista técnica en aplicacións empresariais

Pasos seguintes

Para ver un vídeo de demostración, máis explicacións sobre a funcionalidade, a arquitectura, o código fonte e moito máis, visita EVVIE en GitHub en aka.ms/EVVIE.