Revolucione as inspeções de veículos com o EVVIE

O Motor de Inspeção de Veículos Visual Empresarial (EVVIE) usa IA e o Microsoft Power Platform para revolucionar o processo de inspeção de veículos. Ao automatizar as inspeções, o EVVIE economiza tempo e aumenta a precisão, tornando-se uma ferramenta inestimável para organizações que gerem grandes frotas de veículos. Este artigo fornece uma descrição geral da arquitetura, fluxo de trabalho e componentes-chave do EVVIE, oferecendo informações sobre como esta solução inovadora pode simplificar as inspeções e a manutenção de veículos.

Para uma demonstração e mais informações sobre o EVVIE, visite aka.ms/EVVIE.

Sugestão

Este artigo descreve uma ideia de solução. O seu arquiteto de nuvem pode usar estas diretrizes para ajudar a visualizar os componentes principais de uma implementação típica desta arquitetura. Use este artigo como ponto de partida para conceber uma solução bem arquitetada que se alinhe com os requisitos específicos da sua carga de trabalho.

Diagrama da arquitetura

Fluxo de trabalho

O EVVIE usa uma combinação única de recursos do Power Platform e do Microsoft Azure para automatizar o processo de inspeção de veículos usando modelos de IA avançados. A um nível elevado, o processo interno do EVVIE é o seguinte:

1. A aplicação de tela Power Apps serve como a interface para permitir que utilizadores recolham fotos de danos ao veículo como parte de uma inspeção de veículo. As imagens são codificadas como uma cadeia Base64.

2. A aplicação usa um conector personalizado para fornecer as imagens capturadas para uma API personalizada, uma aplicação de funções do Azure baseada em .NET.

3. A aplicação de funções recebe e analisa a chamada à API HTTP da aplicação, obtém as fotos e faz a interface com um modelo de linguagem multimodal no Serviço OpenAI do Azure. O modelo analisa as fotos e classifica os danos em três campos: área do automóvel, nível de gravidade e descrição geral dos danos.

4. A aplicação de inspeção recebe a resposta da função de aplicações e apresenta a avaliação de danos criada pela IA ao utilizador, que pode aceitar, modificar ou rejeitar a avaliação. O utilizador finaliza a avaliação e a submete-a para o veículo em questão. A avaliação é armazenada de forma segura no Dataverse.

5. Um modelo condicionado com páginas personalizadas permite que os administradores revejam os dados de inspeção dos veículos.

Componentes

Microsoft Dataverse: todos os dados recolhidos como parte das inspeções de veículos, como fotos de danos, classificação de nível de gravidade e descrições, são armazenados no Dataverse.

Power Apps: a equipa no terreno que inspeciona os veículos e a equipa administrativa que analisa as inspeções utilizam aplicações na estrutura de desenvolvimento de aplicações integrada no-code/low-code no Power Apps da Microsoft.

Conector personalizado: um conector personalizado permite à inspeção de veículos móveis EVVIE (usada pela equipa que inspeciona veículos no terreno) chamar um serviço de back-end que usa IA avançada para avaliar as fotos fornecidas.

Funções do Azure: Funções do Azure, a plataforma de computação sem servidor condicionada por eventos da Microsoft, atua como uma API Web que a aplicação EVVIE pode chamar usando um pedido HTTP através do conector personalizado. A aplicação de funções do Azure recebe as imagens através da chamada à API, usa um modelo de IA avançado para avaliar danos e devolve a avaliação à aplicação.

Serviço OpenAI do Azure: o EVVIE usa um modelo de IA multimodal para avaliar os danos nas imagens fornecidas e classificá-los em três campos: nível de gravidade (1-5), área do veículo (como portas, para-brisas, para-choques dianteiro) e descrição dos danos. Embora qualquer modelo de linguagem multimodal futuro possa ser usado (ou seja, "o1" ou "o3" uma vez que estejam amplamente disponíveis), GPT-4o é usado na altura em que este artigo foi escrito.

Detalhes do cenário

O EVVIE ajuda organizações com grandes frotas de veículos a gerir inspeções e manutenções regulares. As inspeções de rotina levam tempo e distraem a equipa de um trabalho mais valioso.

Para aliviar esta carga e poupar tempo, o EVVIE usa o multimodal avançado de IA generativa para avaliar automaticamente e registar danos nos veículos. Em vez de documentar manualmente cada ocorrência de dano, os membros da equipa fornecem uma foto ao EVVIE. A partir desta única imagem, o EVVIE avalia os danos, regista a localização no veículo, determina o nível de gravidade e fornece uma breve descrição.

O EVVIE inspira-se em conversas com o Departamento do Xerife do Condado de LA, que gere uma frota de milhares de veículos. Tradicionalmente, cada agente da polícia tinha de inspecionar o seu veículo com caneta, papel e prancheta antes de iniciar o turno, documentar qualquer dano e enviar essas informações ao supervisor. No entanto, esta inspeção de rotina muitas vezes era esquecida devido a tarefas urgentes, deixando pouco tempo para uma inspeção complicada de 20 minutos.

Com o EVVIE, os agentes da polícia só precisam de abrir uma aplicação no telemóvel e tirar uma foto do veículo. A IA documenta os danos e reporta-os ao supervisor, eliminando a necessidade de processos em papel.

Considerações

Estas considerações implementam os pilares do Well-Architected do Power Platform, um conjunto de princípios orientadores que melhoram a qualidade de uma carga de trabalho. Mais informações em Well-Architected do Microsoft Power Platform.

Fiabilidade

Cada componente baseado na nuvem da Microsoft na arquitetura do EVVIE foi concebido para fiabilidade excecional, garantindo que satisfaz consistentemente os objetivos críticos de tempo de atividade e recuperação. Esta fiabilidade é alcançada através de redundância dimensionável, proporcionando um desempenho e resiliência robustos.

Segurança

Para a criação da prova de conceito do EVVIE, a API Web baseada em Funções do Azure que faz a interface com a aplicação não inclui nenhum protocolo de segurança. Qualquer pessoa ciente dos pontos finais de API (URLs) exclusivos pode, potencialmente, aceder ao serviço de back-end do EVVIE.

Numa implementação de produção, é essencial que o integrador de sistemas implemente uma camada de autenticação padrão, como a autenticação baseada em chave através do API Management do Azure. Tais medidas de segurança garantem que o serviço de API de back-end só é acedido conforme pretendido pelo front-end da aplicação EVVIE.

Excelência Operacional

Como prova de conceito, o EVVIE foi criado de raiz com requisitos fictícios para demonstrar a capacidade da tecnologia para avaliar danos no veículo. Todos os aspetos, desde o processo de inspeção até aos critérios que o EVVIE avalia — área de danos, nível de gravidade, descrição e as áreas específicas do veículo onde os danos podem ser identificados — podem e devem ser personalizados para satisfazer as necessidades exclusivas de qualquer organização que implemente o EVVIE.

Por exemplo, um integrador de sistemas pode:

• Ajustar as áreas específicas de um veículo onde o EVVIE pode identificar danos.
• Refinar o pedido do sistema usado para instruir o modelo.
• Implementar um número mínimo de requisitos de fotografia.

Estas modificações garantem que o EVVIE opera de forma otimizada e que está alinhado com as necessidades específicas da organização.

Eficiência de Desempenho

Dois estrangulamentos potenciais podem afetar significativamente a escalabilidade do EVVIE:

• API baseada em Funções do Azure: como porta de entrada do EVVIE para o serviço de IA para avaliação de danos em veículos, é crucial garantir que a aplicação de funções do Azure está configurada para grande escala. Dependendo do consumo da organização, a implementação num plano dedicado pode ser aconselhável para garantir a escalabilidade.

• Serviço OpenAI do Azure: o modelo OpenAI do Azure, chamado pela aplicação de funções, é essencial para avaliar e registar danos. É fundamental garantir que a implementação do OpenAI do Azure, no qual a API de back-end depende, está sempre operacional. Como o OpenAI do Azure usa um sistema baseado em token, é importante garantir que o modelo usado no EVVIE tem uma alta cota de tokens para o período de uso determinado.

Otimização da Experiência

A equipa que desenvolveu o EVVIE dedicou tempo e esforço significativos para otimizar a interface de utilizador e a experiência de utilizador para tornar intuitivo e fácil para a equipa inspecionar veículos e rever inspeções.

A aplicação de inspeção do EVVIE é uma aplicação de tela que pode ser facilmente modificada através de uma interface simples de selecionar e arrastar, semelhante ao PowerPoint, para melhor satisfazer as necessidades da organização.

A interface apresentada à equipa administrativa para rever estas inspeções é uma aplicação condicionada por modelo com uma página personalizada, que é igualmente fácil de modificar de acordo com requisitos específicos.

IA responsável

Caso de utilização não sensível: a aplicação EVVIE opera dentro de um domínio não sensível, reduzindo significativamente o risco de desvio que afeta negativamente as inspeções de veículos. Dada a natureza da avaliação de danos em veículos, há pouco espaço para desvios influenciarem os resultados.

IA generativa controlada: os modelos de IA generativa controlados empregados pelo EVVIE usam caraterísticas que restringem as respetivas avaliações em modelos predefinidos. Este design garante que a IA fornece respostas específicas e factuais, conforme orientado pelo programador, limitando a criatividade e focando-se em avaliações precisas e consistentes.

Contribuidores

A Microsoft mantém este artigo. Este artigo foi escrito pelos contribuidores a seguir.

Principais autores:

• Tim Hanewich, Especialista Técnico do Power Platform
• Kelly Cason, Especialista Técnica de Business Applications

Próximos passos

Para um vídeo de demonstração, mais explicações sobre funcionalidades, arquitetura, código fonte e muito mais, visite o EVVIE no GitHub em aka.ms/EVVIE.