Forradalmasítsa a járműellenőrzéseket az EVVIE-vel

Az Enterprise Visual Vehicle Inspection Engine (EVVIE) mesterséges intelligenciát használ, és Microsoft Power Platform forradalmasítja a járművizsgálati folyamatot. Az ellenőrzések automatizálásával az EVVIE időt takarít meg és növeli a pontosságot, így felbecsülhetetlen értékű eszköz a nagy járműflottákat kezelő szervezetek számára. Ez a cikk áttekintést nyújt az EVVIE architektúrájáról, munkafolyamatáról és kulcsfontosságú összetevőiről, betekintést nyújtva abba, hogy ez az innovatív megoldás hogyan egyszerűsítheti a járművek ellenőrzését és karbantartását.

Az EVVIE-vel kapcsolatos bemutatóért és további információkért látogasson el ide aka.ms/EVVIE.

Tipp.

Ez a cikk egy megoldási ötletet ismertet. A felhőtervező ezzel az útmutatóval vizualizálhatja az architektúra tipikus implementációjának fő összetevőit. Ez a cikk kiindulási pontként szolgál egy jól megtervezett megoldás megtervezéséhez, amely megfelel a számítási feladat konkrét követelményeinek.

Architektúradiagram

Workflow

Az EVVIE a Power Platform Microsoft Azure járművek és erőforrások egyedülálló keverékét használja a járművizsgálati folyamat automatizálására fejlett mesterséges intelligencia modellek segítségével. Magas szinten az EVVIE belső folyamata a következő:

1. A Power Apps vászonalapú alkalmazás felületként szolgál, amely lehetővé teszi a felhasználók számára, hogy fényképeket gyűjtsenek a jármű sérüléseiről a jármű ellenőrzésének részeként. A képek base64 sztringként vannak kódolva.

2. Az alkalmazás egy egyéni összekötőt használ a rögzített képek egyéni API-hoz való biztosításához, egy . NET-alapú Azure-függvényalkalmazás.

3. A függvényalkalmazás fogadja és elemzi a HTTP API-hívást az alkalmazásból, lekéri a fényképeket, és egy multimodális nyelvi modellel csatlakozik az Azure-szolgáltatáshoz OpenAI . A modell áttekinti a fényképeket, és három területre sorolja a károkat: az autó területe, súlyossági szintje és a sérülés általános leírása.

4. Az ellenőrző alkalmazás megkapja a választ a függvényalkalmazástól, és bemutatja az AI által létrehozott kárfelmérést a felhasználónak, aki elfogadhatja, módosíthatja vagy elutasíthatja az értékelést. A felhasználó véglegesíti az értékelést, és benyújtja azt az adott járműre. Az értékelés biztonságosan van tárolva Dataverse.

5. Az egyéni oldalakkal rendelkező modellvezérelt rendszerek lehetővé teszik a rendszergazdák számára, hogy áttekintsék a járművizsgálati adatokat.

Összetevők

Microsoft Dataverse: A járműellenőrzések részeként gyűjtött összes adatot, például a sérülésekről készült fényképeket, a súlyossági besorolást és a leírásokat a rendszer tárolja Dataverse.

Power Apps: A járműveket ellenőrző terepi személyzet és az ellenőrzéseket felülvizsgáló adminisztratív személyzet beépített alkalmazásokat Power Apps használ, a Microsoft kód nélküli/kevés kódolást igénylő alkalmazásfejlesztési keretrendszerét.

Egyéni csatlakozó: Az egyéni csatlakozó lehetővé teszi, hogy az EVVIE mobil járművizsgáló alkalmazás (amelyet a terepen a járműveket ellenőrző személyzet használ) hívjon egy háttérszolgáltatást, amely fejlett mesterséges intelligenciát használ a megadott fényképek értékelésére.

Azure Functions: Azure Functions, a Microsoft eseményvezérelt, kiszolgáló nélküli számítási platformja webes API-ként működik, amelyet az EVVIE-alkalmazás HTTP-kéréssel hívhat meg az egyéni összekötőn keresztül. Az Azure-függvényalkalmazás az API-híváson keresztül fogadja a rendszerképeket, egy speciális AI-modellt használ a károk felméréséhez, és visszaadja az értékelést az alkalmazásnak.

Azure-szolgáltatás OpenAI : Az EVVIE egy multimodális AI-modell segítségével értékeli a megadott képeken látható károkat, és három mezőbe sorolja azt: súlyossági szint (1–5), a jármű területe (például ajtók, szélvédő, első lökhárító) és a sérülés leírása. Bár bármely jövőbeli multimodális nyelvi modell használható (azaz az "o1" vagy az "o3", ha ezek széles körben elérhetők), GPT-4o az írás idején használatos.

A forgatókönyv részletei

Az EVVIE segít a nagy járműflottával rendelkező szervezeteknek a rendszeres ellenőrzések és karbantartások kezelésében. A rutinellenőrzések időt vesznek igénybe, és elvonják a személyzet figyelmét az értékesebb munkáról.

Ennek a tehernek a enyhítése és az időmegtakarítás érdekében az EVVIE fejlett multimodális generatív mesterséges intelligenciát használ a járművek sérüléseinek automatikus felmérésére és naplózására. Ahelyett, hogy manuálisan dokumentálnák az egyes károkat, a személyzet tagjai fényképet adnak az EVVIE-nek. Ebből az egyetlen képből az EVVIE felméri a kárt, naplózza annak helyét a járművön, meghatározza a súlyossági szintet, és rövid leírást ad.

Az EVVIE-t a Los Angeles megyei seriff osztályával folytatott beszélgetések ihlették, amely több ezer járműből álló flottát kezel. Hagyományosan minden tisztnek tollal, papírral és vágólappal kellett felmérnie járművét a műszak megkezdése előtt, dokumentálnia kellett az esetleges sérüléseket, és ezeket az információkat be kellett nyújtania felettesének. Ez a rutinellenőrzés azonban gyakran elmaradt a sürgős feladatok miatt, így kevés idő maradt a nehézkes 20 perces ellenőrzésre.

Az EVVIE segítségével a rendőröknek csak meg kell nyitniuk egy alkalmazást a telefonjukon, és le kell fényképezniük a járművet. A mesterséges intelligencia dokumentálja a károkat, és jelenti a felügyelőnek, így nincs szükség papíralapú folyamatokra.

Szempontok

Ezek a megfontolások a Well-Architected pilléreit Power Platform valósítják meg, amelyek a számítási feladatok minőségét javító irányadó elvek halmazát tartalmazzák. További információ: Microsoft Power Platform Well-Architected.

Megbízhatóság

Az EVVIE architektúrájának minden Microsoft felhőalapú összetevőjét kivételes megbízhatóságra tervezték, biztosítva, hogy következetesen megfeleljen a kritikus üzemidő- és helyreállítási céloknak. Ez a megbízhatóság skálázható redundanciával érhető el, amely robusztus teljesítményt és rugalmasságot biztosít.

Biztonsági

Az EVVIE megvalósíthatósági vizsgálatához az alkalmazáshoz kapcsolódó Azure Functions-alapú webes API nem tartalmaz biztonsági protokollokat. Bárki, aki ismeri az egyedi API-végpontokat (URL-eket), potenciálisan hozzáférhet az EVVIE háttérszolgáltatásához.

Éles környezetben elengedhetetlen, hogy a rendszerintegrátor szabványos hitelesítési réteget valósítson meg, például kulcsalapú hitelesítést az Azure API Managementen keresztül. Az ilyen biztonsági intézkedések biztosítják, hogy a back-end API szolgáltatáshoz csak az EVVIE front-end alkalmazás szándéka szerint férjen hozzá.

Működés eredményessége

A koncepció bizonyítékaként az EVVIE a semmiből épült fel, fiktív követelményekkel, hogy bemutassa a technológia képességét a járművek sérüléseinek felmérésére. Az ellenőrzési folyamattól kezdve az EVVIE által értékelt kritériumokig – a sérülés területe, a súlyossági szint, a leírás és a jármű azon konkrét területei, ahol a sérülés pontosan meghatározható – minden szempontot testre lehet és kell szabni, hogy megfeleljen az EVVIE-t alkalmazó szervezetek egyedi igényeinek.

Egy rendszerintegrátor például:

• Állítsa be a jármű azon területeit, ahol az EVVIE azonosítani tudja a sérüléseket.
• Finomítsa a modell utasításához használt rendszerpromptot.
• Hajtson végre minimális számú fényképes követelményt.

Ezek a módosítások biztosítják, hogy az EVVIE optimálisan működjön, és igazodjon a szervezet egyedi igényeihez.

Teljesítmény hatékonysága

Két lehetséges szűk keresztmetszet befolyásolhatja jelentősen az EVVIE skálázhatóságát:

• Azure Functions-alapú API: Az EVVIE bejárati ajtaja a járműkárok felméréséhez szükséges AI-szolgáltatáshoz kulcsfontosságú, hogy az Azure-függvényalkalmazás nagy léptékre legyen konfigurálva. A szervezet felhasználásától függően a méretezhetőség biztosítása érdekében célszerű lehet egy dedikált csomagban üzembe helyezni.

• Azure-szolgáltatás OpenAI : A függvényalkalmazás által meghívott Azure-modell OpenAI elengedhetetlen a károk felméréséhez és naplózásához. Kritikus fontosságú annak biztosítása, hogy az Azure-beli OpenAI üzemelő példány, amelyre a háttérbeli API támaszkodik, mindig működőképes legyen. Mivel az Azure OpenAI jogkivonat-alapú rendszert használ, fontos garantálni, hogy az EVVIE-ben használt modell magas jogkivonat-kvótával rendelkezik az adott használati időszakra.

Élményoptimalizálás

Az EVVIE-t fejlesztő csapat jelentős időt és energiát fordított a felhasználói felület és a felhasználói élmény optimalizálására, hogy a személyzet számára intuitív és egyszerű legyen a járművek ellenőrzése és az ellenőrzések áttekintése.

Az EVVIE ellenőrző alkalmazása egy vászonalapú alkalmazás, amely a PowerPointhoz hasonlóan egy egyszerű kijelölési és húzási felületen keresztül könnyen módosítható, hogy jobban megfeleljen a szervezet igényeinek.

Az ellenőrzések áttekintéséhez a rendszergazdai személyzet számára bemutatott felület egy modellvezérelt alkalmazás egyéni oldallal, amely ugyanolyan könnyen módosítható az adott követelményeknek megfelelően.

Felelősen alkalmazott mesterséges intelligencia

Nem érzékeny felhasználási eset: Az EVVIE alkalmazás nem érzékeny területen működik, jelentősen csökkentve a járműellenőrzéseket negatívan befolyásoló torzítás kockázatát. Tekintettel a járműkárok felmérésének jellegére, minimális lehetőség van az elfogultságra az eredmények befolyásolására.

Ellenőrzött generatív AI: Az EVVIE által alkalmazott generatív AI-modellek olyan funkciókat használnak, amelyek előre meghatározott sablonokba korlátozzák értékeléseiket. Ez a kialakítás biztosítja, hogy a mesterséges intelligencia konkrét, tényszerű válaszokat adjon a fejlesztő irányítása szerint, korlátozva a kreativitást, és a pontos, következetes értékelésekre összpontosítva.

Közreműködők

A Microsoft tartja fenn ezt a cikket. A következő közreműködők írták ezt a cikket.

Főbb szerzők:

• Tim Hanewich, Power Platform műszaki szakember
• Kelly Cason, üzleti alkalmazások műszaki szakértője

További lépések

A bemutató videóért, a funkcionalitás, az architektúra, a forráskód és egyebek további magyarázatáért látogasson el az EVVIE oldalára a GitHubon a címen aka.ms/EVVIE.