Del via

Revolutioner bilsyn med EVVIE

Enterprise Visual Vehicle Inspection Engine (EVVIE) bruger AI og Microsoft Power Platform til at revolutionere køretøjsinspektionsprocessen. Ved at automatisere inspektioner sparer EVVIE tid og forbedrer nøjagtigheden, hvilket gør det til et uvurderligt værktøj for organisationer, der administrerer store køretøjsflåder. Denne artikel giver et overblik over EVVIEs arkitektur, arbejdsgang og nøglekomponenter og giver indsigt i, hvordan denne innovative løsning kan strømline køretøjsinspektioner og vedligeholdelse.

For en demo og mere information om EVVIE, besøg aka.ms/EVVIE.

Tip

I denne artikel beskrives en løsningsidé. Din cloudarkitekt kan bruge denne vejledning til at visualisere hovedkomponenterne til en typisk implementering af denne arkitektur. Brug denne artikel som udgangspunkt for at designe en velopbygget løsning, der passer til din arbejdsbelastnings specifikke krav.

Arkitekturdiagram

Arkitekturdiagram over Enterprise Visual Vehicle Inspection Engines brug af lav kode og pro-kode til at udføre AI-assisteret bilinspektion.

Arbejdsflow

EVVIE bruger en unik blanding af Power Platform og Microsoft Azure ressourcer til at automatisere køretøjsinspektionsprocessen ved hjælp af avancerede AI-modeller. På et højt niveau er EVVIEs interne proces som følger:

  1. En Power Apps lærredapp fungerer som grænsefladen for at give brugerne mulighed for at indsamle fotos af køretøjsskader som en del af en køretøjsinspektion. Billeder kodes som en base64-streng.

  2. Appen bruger en brugerdefineret connector til at levere de hentede billeder til en brugerdefineret API, en .NET-baseret Azure funktionsapp.

  3. Funktionsappen modtager og analyserer HTTP API-kaldet fra appen, henter fotos og grænseflader med en multimodal sprogmodel i Azure OpenAI Service. Modellen gennemgår billederne og klassificerer skaden i tre felter: bilens område, sværhedsgrad og generel beskrivelse af skaden.

  4. Appen Inspektion modtager svaret fra funktionsappen og præsenterer den AI-oprettede skadesvurdering for brugeren, som kan acceptere, ændre eller afvise vurderingen. Brugeren afslutter vurderingen og indsender den for det givne køretøj. Vurderingen opbevares sikkert i Dataverse.

  5. En modeldrevet med brugerdefinerede sider giver administratorer mulighed for at gennemgå data om bilsyn.

Komponenter

Microsoft Dataverse: Alle data, der indsamles som en del af køretøjsinspektioner, såsom fotos af skader, rangordning af sværhedsgrad og beskrivelser, gemmes i Dataverse.

Power Apps: Personale i marken, der inspicerer køretøjerne, og det administrative personale, der gennemgår inspektionerne, bruger apps bygget i Power Apps, Microsoft's appudviklingsramme uden kode / lav kode.

Brugerdefineret connector: En brugerdefineret connector gør det muligt for EVVIE-appen til inspektion af mobile køretøjer (bruges af personale, der inspicerer køretøjer i marken) at ringe til en backend-tjeneste, der bruger avanceret AI til at vurdere de leverede fotos.

Azure Funktioner: Azure Functions, Microsoft's hændelsesdrevne serveruafhængige beregningsplatform, fungerer som en web-API, som EVVIE-appen kan kalde ved hjælp af en HTTP-anmodning via den brugerdefinerede connector. Azure funktionsapp modtager billederne via API-kaldet, bruger en avanceret AI-model til at vurdere skader og returnerer vurderingen til appen.

Azure OpenAI Service: EVVIE bruger en multimodal AI-model til at vurdere skaden i leverede billeder og klassificere den i tre felter: sværhedsgrad (1-5), køretøjets område (såsom døre, forrude, forkofanger) og beskrivelse af skade. Mens enhver fremtidig multimodal sprogmodel kan bruges (det vil sige "o1" eller "o3", når de er bredt tilgængelige), GPT-4o bruges på tidspunktet for denne skrivning.

Detaljer om scenariet

EVVIE hjælper organisationer med store køretøjsflåder med at administrere regelmæssige inspektioner og vedligeholdelse. Rutinemæssige inspektioner tager tid og distraherer personalet fra mere værdifuldt arbejde.

For at lette denne byrde og spare tid bruger EVVIE avanceret multimodal generativ AI til automatisk at vurdere og logge køretøjsskader. I stedet for manuelt at dokumentere hver enkelt skade, giver medarbejderne EVVIE et foto. Fra dette ene billede vurderer EVVIE skaden, logger dens placering på køretøjet, bestemmer sværhedsgraden og giver en kort beskrivelse.

EVVIE er inspireret af samtaler med LA County Sheriff's Department, som administrerer en flåde på tusindvis af køretøjer. Traditionelt måtte hver officer undersøge deres køretøj med pen, papir og udklipsholder, før de startede deres vagt, dokumentere eventuelle skader og indsende disse oplysninger til deres overordnede. Denne rutinemæssige inspektion faldt dog ofte ved vejen på grund af tryk på opgaver, hvilket efterlod lidt tid til en besværlig 20-minutters inspektion.

Med EVVIE behøver officerer kun at åbne en app på deres telefon og tage et billede af køretøjet. AI dokumenterer skaden og rapporterer den til overordnede, hvilket fjerner behovet for papirbaserede processer.

Overvejelser

Disse overvejelser implementerer søjlerne i Power Platform Well-Architected, et sæt vejledende principper, der forbedrer kvaliteten af en arbejdsbyrde. Få mere at vide i Microsoft Power Platform Well-Architected.

Pålidelighed

Hver Microsoft skybaseret komponent i EVVIEs arkitektur er designet til enestående pålidelighed, hvilket sikrer, at den konsekvent opfylder kritiske oppetids- og gendannelsesmål. Denne pålidelighed opnås gennem skalerbar redundans, hvilket giver robust ydeevne og robusthed.

Sikkerhed

Til EVVIEs proof of concept-opbygning inkluderer den Azure Functions-baserede web-API, der grænseflader med appen, ingen sikkerhedsprotokoller. Enhver, der er opmærksom på de unikke API-slutpunkter (URL'er), kan potentielt få adgang til EVVIEs back-end-tjeneste.

I en produktionsudrulning er det vigtigt for systemintegratoren at implementere et standardgodkendelseslag, f.eks. nøglebaseret godkendelse via Azure API Management. Sådanne sikkerhedsforanstaltninger sikrer, at back-end API-tjenesten kun tilgås som tilsigtet af EVVIE front-end-appen.

Driftsmæssige præstationer

Som et proof of concept er EVVIE bygget fra bunden med fiktive krav for at fremvise teknologiens evne til at vurdere køretøjsskader. Hvert aspekt, fra inspektionsprocessen til de kriterier, EVVIE evaluerer - skadeområde, sværhedsgrad, beskrivelse og de specifikke områder af køretøjet, hvor skaden kan lokaliseres - kan og bør tilpasses til at imødekomme de unikke behov hos enhver organisation, der implementerer EVVIE.

En systemintegrator kan f.eks.:

  • Juster de specifikke områder af et køretøj, hvor EVVIE kan identificere skader.
  • Finjuster den systemprompt, der bruges til at instruere modellen.
  • Implementer et minimum antal fotokrav.

Disse ændringer sikrer, at EVVIE fungerer optimalt og tilpasser sig organisationens specifikke behov.

Ydeevneeffektivitet

To potentielle flaskehalse kan påvirke EVVIEs skalerbarhed betydeligt:

  • Azure Funktionsbaseret API: Som EVVIEs hoveddør til AI-tjenesten til vurdering af køretøjsskader er det afgørende at sikre, at Azure funktionsappen er konfigureret til massiv skala. Afhængigt af organisationens forbrug kan det være tilrådeligt at udrulle til en dedikeret plan for at sikre skalerbarhed.

  • Azure OpenAI Service: The Azure OpenAI model, kaldet af funktionsappen, er afgørende for at vurdere og logge skader. Det er afgørende at sikre, at Azure-installationen OpenAI, som back-end-API'en er afhængig af, altid er operationel. Da Azure OpenAI bruger et tokenbaseret system, er det vigtigt at garantere, at modellen, der bruges i EVVIE, har en høj tokenkvote i den givne brugsperiode.

Optimering af oplevelse

Teamet, der udviklede EVVIE, dedikerede betydelig tid og kræfter til at optimere brugergrænsefladen og brugeroplevelsen for at gøre det intuitivt og nemt for personalet at inspicere køretøjer og gennemgå inspektioner.

EVVIEs inspektionsapp er en lærredapp, der let kan ændres via en simpel vælg-og-træk-grænseflade, der ligner PowerPoint, for bedre at imødekomme organisationens behov.

Grænsefladen, der præsenteres for administrativt personale til gennemgang af disse inspektioner, er en modelbaseret app med en brugerdefineret side, som er lige så let at ændre i henhold til specifikke krav.

Ansvarlig kunstig intelligens

Ikke-følsom brugssag: EVVIE programmet fungerer inden for et ikke-følsomt domæne, hvilket reducerer risikoen for bias, der påvirker bilinspektioner negativt, betydeligt. I betragtning af karakteren af vurdering af køretøjsskader er der minimal plads til, at bias kan påvirke resultaterne.

Kontrollerede generativ AI: Generativ AI-modeller, der anvendes af EVVIE, bruger funktioner, der begrænser deres vurderinger til foruddefinerede skabeloner. Dette design sikrer, at AI giver specifikke, faktuelle svar som styret af udvikleren, hvilket begrænser kreativiteten og fokuserer på nøjagtige, konsistente vurderinger.

Bidragydere

Microsoft vedligeholder denne artikel. Følgende bidragydere skrev denne artikel.

Hovedforfattere:

  • Tim Hanewich, Power Platform Teknisk specialist
  • Kelly Cason Teknisk specialist inden for forretningsapplikationer

Næste trin

For en demovideo, yderligere forklaring af funktionalitet, arkitektur, kildekode og mere, besøg EVVIE på GitHub på aka.ms/EVVIE.