Revoluce v kontrolách vozidel s EVVIE

Podnikový modul k vizuální inspekci vozidla (EVVIE) využívá umělou inteligenci a Microsoft Power Platform k revoluční změně v procesu kontroly vozidel. Automatizací kontrol EVVIE šetří čas a zvyšuje přesnost, což z ní činí neocenitelný nástroj pro organizace spravující velké vozové parky. Tento článek poskytuje přehled o architektuře, pracovních postupech a klíčových komponentách EVVIE a nabízí přehled o tom, jak může toto inovativní řešení zefektivnit kontroly a údržbu vozidel.

Ukázku a další informace o EVVIE naleznete na adrese aka.ms/EVVIE.

Tip

Tento článek popisuje nápad na řešení. Architekt cloudu může tyto pokyny použít k vizualizaci hlavních komponent pro typickou implementaci této architektury. Tento článek použijte jako výchozí bod k návrhu dobře navrženého řešení, které je v souladu s konkrétními požadavky vaší úlohy.

Schéma architektury

Workflow

EVVIE využívá jedinečnou kombinaci zdrojů Power Platform a Microsoft Azure k automatizaci procesu kontroly vozidel pomocí pokročilých modelů umělé inteligence. Interní proces společnosti EVVIE je v obecné rovině následující:

1. Aplikace plátna Power Apps slouží jako rozhraní, které uživatelům umožňuje shromažďovat fotografie poškození vozidla v rámci kontroly vozidla. Obrázky jsou kódovány jako řetězec base64.

2. Aplikace používá vlastní konektor k poskytnutí zachycených obrázků do vlastního rozhraní API, aplikace funkce Azure založená na .NET.

3. Aplikace funkcE přijímá a parsuje volání rozhraní HTTP API z aplikace, načítá fotografie a rozhraní s multimodálním jazykovým modelem v Azure OpenAI Service. Model si prohlédne fotografie a klasifikuje poškození do tří polí: oblast vozu, úroveň závažnosti a obecný popis poškození.

4. Aplikace Kontrola obdrží odpověď z aplikace funkcí a zobrazí posouzení poškození vytvořené AI uživateli, který může posouzení přijmout, upravit nebo odmítnout. Uživatel dokončí posouzení a odešle jej pro dané vozidlo. Hodnocení je bezpečně uloženo v Dataverse.

5. Řízené modelem s vlastními stránkami dovoluje správcům prohlížet data z kontrol vozidel.

Komponenty

Microsoft Dataverse: Všechny údaje shromážděné v rámci kontrol vozidla, jako jsou fotografie poškození, hodnocení úrovně závažnosti a popisy, jsou uloženy v Dataverse.

Power Apps: Pracovníci v terénu, kteří kontrolují vozidla, a administrativní pracovníci, kteří kontrolují kontroly, používají aplikace vytvořené v Power Apps, vývojářské rozhraní s bez nebo s minimálním psaním kódu.

Vlastní konektor: Vlastní konektor umožňuje mobilní aplikaci EVVIE pro kontrolu vozidel (používanou personálem kontrolujícím vozidla v terénu) zavolat back-endovou službu, která využívá pokročilou umělou inteligenci k vyhodnocení poskytnutých fotografií.

Azure Functions: Azure Functions, bezserverová výpočetní platforma Microsoft řízená událostmi, funguje jako webové rozhraní API, které může aplikace EVVIE volat pomocí požadavku HTTP prostřednictvím vlastního konektoru. Aplikace funkcí Azure přijímá obrázky prostřednictvím volání rozhraní API, používá pokročilý model AI k posouzení poškození a vrací posouzení do aplikace.

Azure OpenAI Service: Společnost EVVIE využívá multimodální model umělé inteligence k posouzení poškození na poskytnutých snímcích a klasifikuje ho do tří polí: úroveň závažnosti (1–5), oblast vozidla (jako jsou dveře, čelní sklo, přední nárazník) a popis poškození. I když lze použít jakýkoli budoucí multimodální jazykový model (tj. „o1“ nebo „o3“, jakmile budou široce dostupné), používá se v době psaní tohoto článku GPT-4o.

Podrobnosti scénáře

EVVIE pomáhá organizacím s rozsáhlými vozovými parky řídit pravidelné kontroly a údržbu. Rutinní kontroly zabírají čas a odvádějí pozornost zaměstnanců od hodnotnější práce.

Aby se tato zátěž zmírnila a ušetřil čas, používá EVVIE pokročilý multimodální generativní AI k automatickému vyhodnocení a evidenci poškození vozidla. Místo toho, aby zaměstnanci ručně dokumentovali každý případ poškození, poskytnou EVVIE fotografii. Na základě tohoto jediného snímku EVVIE vyhodnotí poškození, zaznamená jeho polohu na vozidle, určí stupeň závažnosti a poskytne stručný popis.

EVVIE se inspirovala rozhovory s oddělením šerifa okresu LA, které spravuje vozový park čítající tisíce vozidel. Tradičně musel každý pracovník před spuštěním směna zkontrolovat své vozidlo tužkou, papírem a kancelářskou deskou, zdokumentovat případné poškození a předat tuto informaci svému nadřízenému. Tato rutinní kontrola však byla často odsunuta na vedlejší kolej kvůli naléhavým povinnostem, takže na těžkopádnou 20minutovou kontrolu zbývalo jen málo času.

S EVVIE stačí policistům otevřít aplikaci v telefonu a vozidlo vyfotit. Umělá inteligence zdokumentuje poškození a nahlásí jej nadřízenému, čímž odpadá potřeba papírových procesů.

Důležité informace

Tyto aspekty implementují pilíře Well-Architected Power Platform, sadu hlavních principů, které zlepšují kvalitu úloh. Další informace najdete v tématu Well-Architected Microsoft Power Platform.

Spolehlivost

Každá Microsoft cloudová komponenta v architektuře EVVIE je navržena pro výjimečnou spolehlivost a zajišťuje konzistentní plnění kritických cílů v oblasti provozuschopnosti a obnovy. Této spolehlivosti je dosaženo prostřednictvím škálovatelné redundance, která poskytuje robustní výkon a odolnost.

Zabezpečení

Webové rozhraní API založené na Azure Functions, které je propojeno s aplikací, neobsahuje žádné bezpečnostní protokoly. Každý, kdo zná jedinečné koncové body API (URL), může potenciálně získat přístup k back-endové službě EVVIE.

V produkčním nasazení je nezbytné, aby systémový integrátor implementoval standardní vrstvu ověřování, jako je ověřování na základě klíčů prostřednictvím Azure API Management. Tato bezpečnostní opatření zajišťují, že back-endová služba API je přístupná pouze tak, jak je zamýšleno front-endovou aplikací EVVIE.

Provozní dokonalost

Jako důkaz konceptu je EVVIE postaven od nuly s fiktivními požadavky, aby ukázal schopnost technologie vyhodnotit poškození vozidla. Každý aspekt, od procesu kontroly až po kritéria, která EVVIE vyhodnocuje – oblast poškození, úroveň závažnosti, popis a konkrétní oblasti vozidla, kde lze poškození určit – může a měl by být přizpůsoben tak, aby vyhovoval jedinečným potřebám každé organizace, která EVVIE používá.

Systémový integrátor může například:

• Upravte konkrétní oblasti vozidla, kde EVVIE dokáže identifikovat poškození.
• Upřesněte systémovou výzvu použitou pro instruování modelu.
• Implementujte minimální počet požadavků na fotografie.

Tyto úpravy zajišťují, že EVVIE funguje optimálně a je v souladu se specifickými potřebami organizace.

Efektivita výkonu

Škálovatelnost EVVIE mohou významně ovlivnit dvě potenciální úzká místa:

• Rozhraní API založené na Azure Functions: Vzhledem k tomu, že EVVIE je vstupní branou do služby umělé inteligence pro hodnocení poškození vozidel, je důležité zajistit, aby aplikace funkcí Azure byla nakonfigurována pro masivní škálování. V závislosti na spotřebě organizace může být vhodné nasadit do vyhrazeného plánu, aby se zajistila škálovatelnost.

• Azure OpenAI Service: Model Azure OpenAI, který volá aplikace funkcí, je nezbytný pro posouzení a protokolování poškození. Je důležité zajistit, aby nasazení Azure OpenAI, na které back-endové rozhraní API spoléhá, bylo vždy funkční. Vzhledem k tomu, že Azure OpenAI používá systém založený na tokenech, je důležité zaručit, že model použitý v EVVIE má vysokou kvótu tokenů pro dané období používání.

Využití optimalizace

Tým, který vyvinul EVVIE, věnoval značný čas a úsilí optimalizaci uživatelského rozhraní a uživatelského prostředí, aby bylo pro zaměstnance intuitivní a snadné kontrolovat vozidla a prohlížet inspekce.

Inspekční aplikace EVVIE je aplikace plátna, kterou lze snadno upravit pomocí jednoduchého rozhraní pro výběr a přetažení, podobného PowerPointu, aby lépe vyhovovala potřebám organizace.

Rozhraní, které se předkládá administrativním pracovníkům pro kontrolu těchto kontrol, je modelem řízená aplikace s vlastní stránkou, kterou lze stejně snadno upravit podle konkrétních požadavků.

Odpovědná AI

Necitlivý případ použití: Aplikace EVVIE funguje v necitlivé oblasti, což výrazně snižuje riziko negativního ovlivnění kontrol vozidel. Vzhledem k povaze posuzování škod na vozidlech existuje minimální prostor pro zkreslení, které by ovlivnilo výsledky.

Kontrolované generativní AI: Generativní AI používaná EVVIE používá funkce, které omezují jejich hodnocení do předdefinovaných šablon. Tento návrh zajišťuje, že umělá inteligence poskytuje konkrétní, věcné odpovědi podle pokynů vývojáře, což omezuje kreativitu a zaměřuje se na přesná a konzistentní hodnocení.

Přispěvatelé

Microsoft udržuje tento článek. Následující přispěvatelé napsali tento článek.

Hlavní autoři:

• Tim Hanewich, technický specialista Power Platform
• Kelly Cason, technická specialistka na obchodní aplikace

Další kroky

Ukázkové video, další vysvětlení funkčnosti, architektury, zdrojového kódu a další informace najdete na EVVIE na GitHubu aka.ms/EVVIE.