Megosztás a következőn keresztül:

Autóipari tesztflották adatelemzése

Microsoft Fabric
Azure Adatkezelő
Azure-eseményközpontok
Azure Functions
Azure Event Grid

Az autóipari eredeti berendezésgyártóknak (OEM-eknek) olyan megoldásokra van szükségük, amelyek minimalizálják a tesztmeghajtók közötti időt, és diagnosztikai adatokat szolgáltatnak az R&D-mérnököknek. Ahogy a járművek automatizáltabbá válnak, a szoftverfejlesztési életciklusok rövidebbek lesznek, ami gyorsabb digitális visszajelzési ciklusokat igényel. Az új technológia demokratizálhatja az adathozzáférést, és közel valós idejű betekintést nyújt az R&D mérnökei számára a tesztmeghajtó diagnosztikai adataiba. A Copilot használata Adattudomány és adatmérnök adatelemzéshez, hogy tovább csökkentse az elemzéshez szükséges időt. A biztonságos adatmegosztás javíthatja az oemek és a beszállítók közötti együttműködést, és csökkentheti a fejlesztési ciklusok idejét.

A cikk útmutatása telemetriai forgatókönyvekhez és kötegelt tesztmeghajtók adatbetöltési forgatókönyveihez nyújt útmutatást. Ez az architektúra a diagnosztikai adatokat feldolgozó adatplatformra, valamint az adatvizualizáció és adatjelentés összekötőire összpontosít.

Architektúra

Ábra, amely az autóipari adatok és fájlok streamelése elemzési adatfolyamát mutatja be.

Töltsön le egy PowerPoint-fájlt a cikkben szereplő összes diagrammal.

Adatfolyam

Az alábbi adatfolyam az előző diagramnak felel meg:

  1. Az adatrögzítő eszköz csatlakoztatva van a járműhálózatokhoz, és nagy felbontású járműjeladatokat és videoképeket gyűjt. (1a) Az eszköz valós idejű telemetriai üzeneteket tesz közzé, vagy (1b) kéri a rögzített adatfájlok feltöltését az Azure Event Grid MQTT-közvetítő funkcióba egy MQTT-ügyfél használatával. Ez a funkció jogcím-ellenőrzési mintát használ.

  2. (2a) Az Event Grid élő járműjeladatokat irányít egy Azure Functions-alkalmazásba. Ez az alkalmazás dekódolja a járműjeleket a JavaScript Object Notation (JSON) formátumba, és közzéteszi őket egy eseménystreamben.

    (2b) Az Event Grid koordinálja a fájlfeltöltést az eszközügyfélről a lakehouse-ba. A befejezett fájlfeltöltés elindít egy folyamatot, amely dekódolja az adatokat, és a dekódolt fájlt a OneLine-ba írja betöltésre alkalmas formátumban, például parquet vagy CSV formátumban.

  3. (3a) Az eventstream a dekódolt JSON járműjeleket irányítja betöltésre az Eventhouse-ban.

    (3b) Az adatfolyam elindítja a dekódolt fájlok betöltését a lakehouse-ból.

  4. Az Eventhouse frissítési szabályzatokkal bővíti az adatokat, és a JSON-adatokat megfelelő sorformátumban bővíti, például a helyadatok fürtözhetők, hogy igazodjanak a térinformatikai elemzésekhez. Minden alkalommal, amikor egy új sort betölt, a valós idejű elemzési motor meghív egy társított Update() függvényt.

  5. Az adatmérnökök és adattudósok Kusto lekérdezésnyelv (KQL) használatával építenek ki elemzési használati eseteket. A felhasználók megosztható, felhasználó által definiált függvényekként tárolják a gyakran használt eseteket. A mérnökök beépített KQL-függvényeket használnak, például aggregációt, idősorozat-elemzést, térinformatikai fürtözést, ablakozást és gépi tanulási beépülő modulokat a Copilot támogatásával.

  6. Az R&D mérnökei és adattudósai jegyzetfüzetekkel elemzik az adatokat, és teszt- és érvényesítési használati eseteket építenek ki.

    1. Az R&D-mérnökök KQL-lekérdezéskészleteket és a Copilotot valós idejű intelligenciát használnak interaktív adatelemzéshez.

    2. Az adatmérnökök és adattudósok jegyzetfüzeteket használnak az elemzési folyamatok tárolására és megosztására. A jegyzetfüzetekkel a mérnökök az Azure Spark használatával elemzéseket futtathatnak, és a Git segítségével kezelhetik a jegyzetfüzet kódját. A felhasználók kihasználhatják a Copilot előnyeit Adattudomány és adatmérnök, hogy környezetfüggő kódjavaslatokkal támogassák a munkafolyamatukat.

  7. Az R&D mérnökei és adattudósai dinamikus lekérdezésekkel vagy valós idejű elemzési irányítópultokkal használhatják a Power BI-t, hogy vizualizációkat hozzanak létre az üzleti felhasználókkal való megosztáshoz. Ezek a vizualizációk felhasználó által definiált függvényeket hívnak meg a könnyű karbantartás érdekében.

  8. A mérnökök további eszközöket is csatlakoztathatnak a Microsoft Fabrichez. Csatlakoztathatják például az Azure Managed Grafana-t az Eventhouse-hoz, vagy létrehozhatnak egy webalkalmazást, amely közvetlenül lekérdezi az Eventhouse-t.

  9. Az adatmérnökök és az R&D-mérnökök a Data Activator használatával reflexelemeket hoznak létre a feltételek monitorozásához és műveletek aktiválásához, például Power Automate-folyamatok aktiválásához az üzleti integrációhoz. Az Adataktivátor például értesíthet egy Teams-csatornát, ha egy eszköz állapota romlik.

  10. Az adatgyűjtő konfigurációja lehetővé teszi a mérnökök számára az adatrögzítési eszköz adatgyűjtési szabályzatainak módosítását. Az Azure API Management absztrakt és biztonságossá teszi a partnerkonfigurációs API-t, és megfigyelhetőséget biztosít.

KQL-adatbázisséma

A KQL-adatbázist és az adatok kinyerésére, kibontására és bővítésére használható módszereket bemutató diagram.

A táblaséma tervezésekor A telemetriai adatok azért táblázatosak fact , mert a járműjelek folyamatosan, streamelési módon vagy egy teljes felvétel részeként vannak hozzáfűzve, és a telemetriai adatok nem változnak. A flotta metaadatait egy lassan frissülő fact táblázatként sorolhatja be.

A jármű telemetriai adatai nyers táblákban találhatók. Az alábbi üzenetfeldolgozási fogalmak segítségével rendszerezheti az adatokat elemzéshez és jelentéskészítéshez:

  • Hozzon létre frissítési szabályzatokat a JSON-telemetriai fájlok egyes járműjelrekordokká való kibontásához az alábbi módszerek használatával:

    • mv-expand() A JSON-struktúrákban tárolt összetett értékeket egyedi jelekkel rendelkező sorokká bontja.
    • geo_point_to_h3cell() vagy geo_point_to_geohash() térinformatikai elemzéshez geohashessé alakítja a szélességet és a hosszúságot.
    • todouble() és tostring() a kinyert értékeket dinamikus JSON-objektumokból a megfelelő adattípusokba alakítja.
    • lookup dimenziótáblából származó értékekkel bővíti a rekordokat.

  • A Jelek deduplikált materializált nézetének létrehozása az aggregációs függvény take_any() használatával az egyedi kulcson és időbélyegen. Ez a materializált nézet deduplikálja a jeleket.

  • Hozzon létre egy Utolsó ismert jelek materializált nézetet az időbélyeg aggregációs függvényével arg_max() . Ez a materializált nézet a járművek naprakész állapotát biztosítja.

  • A "Signals Downsampled materialized" nézet létrehozásához használja az összegző operátort időtárolókkal, például óránként és naponta. Ez a materializált nézet összesíti a jeleket, és leegyszerűsíti a jelentéskészítést a flottában.

  • Felhasználó által definiált függvények létrehozása, amelyek anomáliadetektálást vagy kiváltó okelemzést biztosítanak.

    • Idősorfüggvények használata anomáliadetektáláshoz és előrejelzéshez a lehetséges problémák észleléséhez és a hibák előrejelzéséhez.

    • A beolvasási operátorral szkennelhet, egyeztethet és hozhat létre szekvenciákat az adatokból. A mérnökök az operátorral észlelhetik a scan sorozatokat. Ha például egy adott esemény bekövetkezik, akkor egy későbbi eseménynek egy bizonyos időn belül meg kell történnie.

    • Az autoclusterhez hasonló gépi tanulási beépülő modulokkal megtalálhatja a különálló attribútumok gyakori mintáit.

  • Térinformatikai elemzések végrehajtása felhasználó által definiált függvényekkel. A térinformatikai függvényekkel koordinátákat alakíthat át megfelelő rácsrendszerré, és összesítéseket hajthat végre az adatokon.

  • Hozzon létre egy flotta metaadattáblát a jármű metaadatainak és konfigurációjának változásainak tárolásához. Hozzon létre egy flotta metaadatainak utolsó ismert értékeit materializált nézetet a járműflotta legújabb állapotának tárolásához egy legutóbb módosított oszlop alapján.

Összetevők

Az alábbi kulcsfontosságú technológiák implementálják ezt a számítási feladatot. Az architektúra minden összetevőjére vonatkozóan használja a megfelelő szolgáltatási útmutatót a Well-Architected Frameworkben, ahol elérhető. További információ: Well-Architected Framework service guides.

  • A fabric valós idejű intelligenciája lehetővé teszi a jármű telemetriai adatainak kinyerése és a mozgásban lévő jármű telemetriájának vizualizációja. Eseménystreamek és idősoros KQL-adatbázisok használatával tárolhatja és elemezheti az adatokat, és reflexekkel reagálhat az eseményekre.

  • Az Adataktivátor egy kód nélküli eszköz, amellyel automatizálhatja a műveleteket, amikor a minták vagy a feltételek megváltoznak az adatokban.

  • Az Event Grid egy nagymértékben skálázható, teljes mértékben felügyelt közzétételi/feliratkozási üzenetterjesztési szolgáltatás, amely támogatja az MQTT protokollokat. A járművek az Event Grid használatával tehetnek közzé és iratkozhatnak fel témakörökre, például telemetriát tehetnek közzé, és feliratkozhatnak parancsokra és vezérelhetik az üzeneteket.

  • Az Azure Event Hubs egy valós idejű adatstreamelési platform, amely kiválóan alkalmas több millió járműesemény másodpercenkénti, alacsony késésű streamelésére.

  • A Functions egy kiszolgáló nélküli megoldás, amely leegyszerűsíti a jármű telemetriai eseményeinek nagy léptékű feldolgozását eseményvezérelt eseményindítókkal és kötésekkel a választott nyelv használatával.

  • Az Azure Managed Grafana egy adatvizualizációs platform, amely a Grafana Labs szoftverén alapul. A Microsoft felügyeli és támogatja az Azure Managed Grafana-t.

  • Azure-alkalmazás Szolgáltatás lehetővé teszi webalkalmazások, mobil háttérrendszerek és RESTful API-k létrehozását és üzemeltetését, amelyek hozzáférést biztosítanak a Fabricben tárolt jármű telemetriai adataihoz. Ez a megközelítés leegyszerűsíti a fogyasztást.

  • Az API Management egy hibrid többfelhős felügyeleti platform API-khoz.

Alternatívák

Az alábbi Azure-szolgáltatásokat is használhatja az architektúra implementálásához:

  • Az Azure Blob Storage nagy mennyiségű strukturálatlan adatot tárol, például felvételeket, naplókat és videókat a járművekről. Lecseréli a OneLake-tárolót.

  • Az Azure Data Explorer egy gyors, teljes körűen felügyelt adatelemzési szolgáltatás valós idejű elemzéshez. A háló valós idejű intelligencia KQL-adatbázisát váltja fel.

  • Az Azure Batch egy alternatíva, amellyel összetett fájlokat dekódolhat. Ez a forgatókönyv nagy számú, egyenként 300 megabájtnál nagyobb fájlt foglal magában. A fájlok különböző dekódolási algoritmusokat igényelnek a fájlverzió vagy a fájltípus alapján. Használhatja a Fabricet, vagy használhatja a Blob Storage-t és az Azure Data Explorert az alábbi megközelítés implementálásához.

Az összetett fájlok dekódolására szolgáló alternatív Batch-metódust bemutató diagram.

  1. A felhasználó vagy a rögzítőeszköz feltölt egy rögzített adatfájlt a lakehouse-ba. Amikor a feltöltés befejeződik, elindít egy függvényalkalmazást, amely a dekódolást ütemezi.

  2. Az ütemező elindít egy Functions-alkalmazást, amely létrehoz egy kötegelt feladatot a fájltípus, a fájlméret és a szükséges dekódolási algoritmus alapján. Az alkalmazás kiválaszt egy megfelelő méretű virtuális gépet a készletből, és elindítja a feladatot.

  3. A Batch a feladat befejezésekor visszaírja az eredményként kapott dekódolt fájlt a lakehouse-ba. Ennek a fájlnak alkalmasnak kell lennie az Eventhouse által támogatott formátumban történő közvetlen betöltésre.

  4. A lakehouse elindít egy függvényt, amely fájlíráskor betölti az adatokat az Eventhouse-ba. Ez a függvény szükség esetén létrehozza a táblát és az adatleképezést, és elindítja a betöltési folyamatot.

  5. A KQL-adatbázis betölti az adatfájlokat a lakehouse-ból.

Ez a megközelítés a következő előnyöket nyújtja:

  • A függvények és a Batch-készletek robusztusan és hatékonyan kezelhetik a méretezhető adatfeldolgozási feladatokat.

  • A Batch-készletek betekintést nyújtanak a statisztikák, a feladatsorok és a kötegkészlet állapotának feldolgozásába. Megjelenítheti az állapotot, észlelheti a problémákat, és újrafuttathatja a sikertelen feladatokat.

  • A Functions és a Batch kombinációja támogatja a plug-and-play feldolgozást a Docker-tárolókban.

  • A kihasználatlan virtuális gépek segítségével csúcsidőn kívül is feldolgozhatja a fájlokat. Ez a módszer pénzt takarít meg.

Forgatókönyv részletei

Az autóipari oemek nagy prototípus- és tesztjárművekből álló flottákat használnak számos járműfunkció teszteléséhez és ellenőrzéséhez. A tesztelési eljárások költségesek, mert valós vezetőket és járműveket igényelnek, és a konkrét valós közúti tesztelési forgatókönyveknek többször is át kell esniük. Az integrációs tesztelés különösen fontos az elektromos, elektronikus és mechanikus alkatrészek közötti interakciók kiértékeléséhez összetett rendszerekben.

A járműfunkciók ellenőrzéséhez és az anomáliák és hibák elemzéséhez petabájt diagnosztikai adatokat kell rögzítenie az elektronikus vezérlőegységekből (ECU-kból), a számítógépcsomópontokból, a járműkommunikációs buszokból, például a Controller Area Networkből (CAN) és az Ethernetből, valamint érzékelőkből.

A múltban a járművek kis adatgyűjtő kiszolgálói helyben tárolták a diagnosztikai adatokat mérési adatformátumként (MDF), multimédiás fúziós bővítményként (MFX), CSV- vagy JSON-fájlokként. A tesztmeghajtók befejezése után a kiszolgálók diagnosztikai adatokat töltöttek fel az adatközpontokra, amelyek feldolgozták és elemzésre küldték őket az R&D mérnökeinek. Ez a folyamat órákat vagy néha napokat is igénybe vehet. A legutóbbi forgatókönyvek telemetriai betöltési mintákat használnak, például a Message Queuing Telemetry Transport (MQTT)-alapú szinkron adatfolyamokat vagy közel valós idejű fájlfeltöltéseket.

Lehetséges használati esetek

  • A járműfelügyelet több tesztforgatókönyvben értékeli ki a teljesítményt és az összegyűjtött adatokat járműnként.

  • A rendszer- és alkatrész-ellenőrzés összegyűjtött járműadatokat használ annak ellenőrzésére, hogy a járműösszetevők viselkedése az utazások működési határain belül esik-e.

  • Az anomáliadetektálás valós időben megkeresi az érzékelő értékének eltérési mintáit a tipikus alapkonfigurációs mintához képest.

  • Az alapvető okok elemzése gépi tanulási beépülő modulokat, például fürtözési algoritmusokat használ az értékek eloszlásának változásainak azonosítására több dimenzióban.

  • A prediktív karbantartás több adatforrást, gazdagított helyadatokat és járműjeleket kombinál az összetevők meghibásodásának előrejelzéséhez.

  • A fenntarthatósági értékelés a vezető viselkedését és energiafogyasztását használja a járműműveletek környezeti hatásának értékelésére.

  • Autóverseny, hogy megértsék és javítsák a teljesítményt a járművek előtt, alatt, és után a verseny.

Megfontolások

Ezek a szempontok implementálják az Azure Well-Architected Framework alappilléreit, amely a számítási feladatok minőségének javítására használható vezérelvek halmaza. További információ: Microsoft Azure Well-Architected Framework.

Megbízhatóság

A megbízhatóság biztosítja, hogy az alkalmazás megfeleljen az ügyfelek felé vállalt kötelezettségeknek. További információkért tekintse meg a Megbízhatósági terv felülvizsgálati ellenőrzőlistát.

Biztonság

A biztonság biztosítékokat nyújt a szándékos támadások és az értékes adatokkal és rendszerekkel való visszaélés ellen. További információkért lásd a Biztonsági terv felülvizsgálati ellenőrzőlistát.

Fontos megérteni az autóipari OEM és a Microsoft közötti felelősségmegosztást. A járműben az OEM az egész verem tulajdonosa, de ahogy az adatok a felhőbe kerülnek, bizonyos feladatok átkerülnek a Microsoftra. Az Azure platform mint szolgáltatás (PaaS) beépített biztonságot nyújt a fizikai veremen, beleértve az operációs rendszert is.

Mindezek a funkciók segítenek az autóipari oem-eknek biztonságos környezetet teremteni a jármű telemetriai adataihoz. További információ: Biztonság a Hálóban.

Költségoptimalizálás

A költségoptimalizálás a szükségtelen kiadások csökkentésének és a működési hatékonyság javításának módjairól szól. További információt a Költségoptimalizálás tervezési felülvizsgálati ellenőrzőlistájában talál.

Ez a megoldás a következő eljárásokat használja a költségek optimalizálásához:

  • Helyesen konfigurálja a gyorsgyorsítótárakat és a hideg tárolást a nyers és jeltáblákhoz. A gyakori adatgyorsítótár RAM-ban vagy SSD-ben van tárolva, és jobb teljesítményt nyújt. A hideg adatok azonban 45-ször olcsóbbak. Állítson be egy olyan gyorsgyorsítótár-szabályzatot, amely megfelel a használati esetnek, például 30 napig.

  • Állítson be egy adatmegőrzési szabályzatot a nyers táblán és a jeltáblán. Határozza meg, hogy a jeladatok mikor nem relevánsak, például 365 nap után, és ennek megfelelően állítsa be a megőrzési szabályzatot.

  • Fontolja meg, hogy mely jelek relevánsak az elemzéshez.

  • Materializált nézeteket használhat a jelek utolsó ismert értékeinek lekérdezéséhez, a deduplikált jelekhez és a leképezett jelekhez. A materializált nézetek kevesebb erőforrást használnak fel, mint a forrástábla-összesítések minden lekérdezésen.

  • Vegye figyelembe a valós idejű adatelemzési igényeket. Állítsa be a streambetöltést az élő telemetriai táblához, hogy a betöltés és a lekérdezés között egy másodpercnél rövidebb késést biztosítson. Ez a megközelítés növeli a processzorciklusokat és a költségeket.

Teljesítményhatékonyság

A teljesítményhatékonyság az a képesség, hogy a számítási feladatok skálázhatók, hogy hatékonyan megfeleljenek a felhasználók által támasztott követelményeknek. További információt a Teljesítményhatékonyság tervezési felülvizsgálati ellenőrzőlistájában talál.

  • Érdemes lehet a Batch használatával dekódolni, ha a rögzített adatfájlok száma és mérete meghaladja a napi 1000 fájlt vagy 300 MB-ot.

  • Fontolja meg a gyakori számítások és elemzések elvégzését a betöltés után, és tárolja őket további táblákban.

  • A KQL-lekérdezés ajánlott eljárásainak használata a lekérdezés gyorsabb futtatásához.

  • where Egy záradék használatával időkeretet határozhat meg a lekérdezett adatok mennyiségének csökkentéséhez. Érdemes lehet módosítani a jeltáblához tartozó adatpartíciós szabályzatot, ha a gyakori keresési feltételek nem időalapúak, például ha az azonosító és a jelnév rögzítésével szűr. Amikor a KQL-adatbázis több milliárd vagy billió rekordot tartalmaz, a megfelelő adatszűrés elengedhetetlenné válik, különösen az aktív partíciós szabályzat figyelembe vételével.

Figyelmeztetés

Az adatpartíciós szabályzat módosítása előtt forduljon a támogatási csapathoz.

A forgatókönyv üzembe helyezése

A forgatókönyv üzembe helyezéséhez használja a részletes oktatóanyagot . Az útmutató bemutatja, hogyan helyezhet üzembe egy ingyenes példányt, elemezheti az MDF-fájlokat, betöltheti az adatokat, és hogyan hajthat végre több alapszintű lekérdezést.

Közreműködők

Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.

Fő szerzők:

Egyéb közreműködők:

A nem nyilvános LinkedIn-profilok megtekintéséhez jelentkezzen be a LinkedInbe.

Következő lépések