Szerkesztés

Megosztás a következőn keresztül:

Autóipari tesztflották adatelemzése

Azure Blob Storage
Azure Data Explorer
Azure Event Hubs
Azure Functions
Azure IoT Hub

Az autóipari oem-eknek olyan megoldásokra van szükségük, amely minimalizálja a tesztmeghajtók és a tesztmeghajtók diagnosztikai adatainak az R&D-mérnökökhöz való lekérése közötti időt. Ahogy a járművek automatizáltabbá válnak, a szoftver életciklusa rövidebb, a digitális visszajelzési ciklusoknak pedig gyorsabbnak kell lenniük. Az új technológia demokratizálhatja az adathozzáférést, és közel valós idejű betekintést nyújt az R&D mérnökei számára a tesztmeghajtó diagnosztikai adataiba. A biztonságos adatmegosztás javíthatja az oemek és a szállítók közötti együttműködést, és tovább rövidítheti a fejlesztési ciklusokat.

Ez a példa számítási feladat a telemetriai és a kötegelt tesztmeghajtó adatbetöltési forgatókönyveihez is kapcsolódik. A számítási feladat a diagnosztikai adatokat feldolgozó adatplatformra, valamint a vizualizáció és jelentéskészítés összekötőire összpontosít.

Architektúra

Az autóipari streamelési adatok és fájlok elemzési adatfolyamát bemutató ábra.

Töltsön le egy PowerPoint-fájlt a cikkben szereplő összes diagrammal.

Adatfolyam

  1. Az Azure IoT Hub élő, nyers telemetriai adatokat (A) tölt fel, és feltölti a rögzített adatfájlokat (B) a járműből.

  2. Az IoT Hub elküldi az élő telemetriát (A) egy Azure Functions-alkalmazásnak, amely dekódolja a telemetriát a JavaScript Object Notation (JSON) számára, és közzéteszi az Azure Event Hubsban.

    Az IoT Hub elküldi a rögzített adatfájlokat (B) az Azure Blob Storage-ba. A befejezett fájlfeltöltés aktivál egy Functions-alkalmazást, amely dekódolja az adatokat, és a dekódolt fájlt vesszővel tagolt (CSV) formátumban írja be a Blob Storage-ba, amely alkalmas a betöltésre.

  3. Az Azure Data Explorer betölti a dekódolt JSON-telemetriai adatokat az Event Hubsból (A) egy nyers telemetriai táblába, és betölti a dekódolt CSV-fájlokat (B) a Blob Storage-ból.

  4. Az Azure Data Explorer a Update függvény használatával bontja ki a JSON-adatokat megfelelő sorformátumban, és bővíti az adatokat. A függvényfürtök például helyadatokat adnak a térinformatikai elemzések támogatásához.

  5. Az adattudósok és az R&D-mérnökök Kusto lekérdezésnyelv (KQL) képességeket használnak a felhasználó által meghatározott függvényként tárolt elemzési használati esetek létrehozásához. A KQL-függvények közé tartozik az aggregáció, az idősorelemzés, a térinformatikai fürtözés, az ablakozás és a gépi tanulási (ML) beépülő modulok.

  6. A Power BI dinamikus lekérdezéssel hoz létre vizualizációkat a felhasználó által definiált lekérdezésekkel. Az Azure Data Explorer Grafana adatforrás beépülő modulja a felhasználó által megadott lekérdezéseket használja közel valós idejű frissítésekhez.

  7. A Azure-alkalmazás Service-alkalmazások az Azure Térképek adatforrás-renderelési képességeivel jelenítik meg a Felhasználó által definiált, GeoJSON formátumot használó lekérdezési eredményeket.

  8. Az Azure API Management hozzáférést biztosít a járművekről származó tárolt nyers adatfájlokhoz, valamint egy olyan konfigurációs API-t, amely harmadik féltől származó adatgyűjtési szabályzatokat kezel.

Azure Data Explorer-séma

Az Adatok kinyerését, bővítését és bővítését szolgáló Azure Data Explorer-függvényeket és metódusokat bemutató ábra.

  1. A Update() függvény az alábbi módszereket használja:

    • mv-expand() A JSON-struktúrákban tárolt összetett értékek kibontása egyedi jelekkel rendelkező sorokra.
    • geo_point_to_h3cell() vagy geo_point_to_geohash() térinformatikai elemzéshez a földrajzi szélességet és a hosszúságot geohashéé alakíthatja át.
    • todouble() és tostring() a kinyert értékek dinamikus JSON-objektumokból a megfelelő adattípusokba való vetéséhez.

  2. A Fleet Metadata Last Known Values nézet más nézeteket is összekapcsol a betöltés részeként, hogy kontextust biztosítson. A korábbi flotta metaadatai akkor hasznosak, ha az új használati esetek a nyers telemetria újrafeldolgozását igénylik.

  3. Szükség esetén a Jelek deduplikált materializált nézete take_any() a jelek deduplikációja.

  4. A Jelek utolsó ismert értékei materializált nézet valós idejű jelentéskészítéshez használja arg_max() az időbélyeget.

  5. A Jelek lebélyegzett materializált nézet előre definiált tárolók, például óránként és naponta használatával összesíti a jeleket, így egyszerűbbé teszi a flottán belüli jelentéskészítést.

  6. Tárolt beépülő modulfüggvények, például DetectAnomaly() az adatsorok rendellenességeinek keresése. Az ml beépülő modulok, például az autocluster, a különálló attribútumok gyakori mintáit keresik.

  7. A GetGeospatial() függvény geohashétek szerint csoportosított jeleket tartalmazó GeoJSON-fájlokat hoz létre.

Összetevők

A következő fő technológiák implementálják ezt a számítási feladatot:

Alternatívák

Az Azure Batch egy jó alternatíva az összetett fájldekódoláshoz. Ebben a forgatókönyvben nagy számú, 300 megabájtnál nagyobb fájlra van szükség, amelyek különböző dekódolási algoritmusokat igényelnek a fájlverzió vagy -típus alapján.

Diagram, amely egy alternatív Azure Batch-módszert mutat be az összetett fájlok dekódolására.

  1. A rögzített adatfájl Blob Storage-ba való feltöltése egy Functions-alkalmazást aktivál a dekódolás ütemezéséhez.
  2. A Functions alkalmazás létrehoz egy kötegfeladatot, figyelembe véve a fájltípust, a méretet és a szükséges dekódolási algoritmust. Az alkalmazás kiválaszt egy megfelelő virtuális gépet (virtuális gépet) a készletből, és elindítja a feladatot.
  3. A feladat befejezése után a Batch visszaírja az eredményként kapott dekódolt fájlt a Blob Storage-ba. Ennek a fájlnak alkalmasnak kell lennie az Azure Data Explorer által támogatott formátumban történő közvetlen betöltésre.
  4. Ha egy dekódolt jelfájlt feltölt a Blob Storage-ba, egy függvény aktiválódik, amely betölti az adatokat az Azure Data Explorerbe. Ez a függvény szükség esetén létrehozza a táblát és az adatleképezést, és elindítja a betöltési folyamatot.
  5. Az Azure Data Explorer közvetlenül betölti az adatfájlokat a Blob Storage-ból.

Ez a megközelítés a következő előnyöket kínálja:

  • Az Azure Functions- és Batch-készletek robusztusan és hatékonyan képesek kezelni a méretezhető adatfeldolgozási feladatokat.
  • A Batch-készletek betekintést nyújtanak a statisztikák, a feladatsorok és a kötegkészlet állapotának feldolgozásába. Megjelenítheti az állapotot, észlelheti a problémákat, és újrafuttathatja a sikertelen feladatokat.
  • Az Azure Functions és az Azure Batch kombinációja támogatja a plug-and-play feldolgozást a Docker-tárolókban.

Forgatókönyv részletei

Az autóipari oemek nagy prototípus- és tesztjárművekből álló flottákat használnak mindenféle járműfunkció teszteléséhez és ellenőrzéséhez. A tesztelési eljárások költségesek, mert valós vezetőket és járműveket kell bevonni, és bizonyos valós közúti tesztelési forgatókönyveknek többször is át kell esniük. Az integrációs tesztelés különösen fontos az elektromos, elektronikus és mechanikus alkatrészek közötti interakciók kiértékeléséhez összetett rendszerekben.

A járműfüggvények ellenőrzéséhez és az anomáliák és hibák elemzéséhez gigabájtnyi diagnosztikai adatot kell rögzíteni az elektronikus vezérlőegységekből (ECU-kból), a számítógépcsomópontokból, a járműkommunikációs buszokból, például a Controller Area Networkből (CAN) és az Ethernetből, valamint érzékelőkből. Korábban a járművek kis adatgyűjtő kiszolgálói helyileg főadatbázisként (MDF), multimédiás fúziós bővítményként (MFX), CSV- vagy JSON-fájlként tárolták a diagnosztikai adatokat. A tesztmeghajtók befejeződése után a kiszolgálók diagnosztikai adatokat töltöttek fel az adatközpontokra, amelyek feldolgozták és azokat az R&D-mérnököknek biztosították elemzéshez. Ez a folyamat órákat vagy néha napokat is igénybe vehet. A legutóbbi forgatókönyvek telemetriai betöltési mintákat használnak, például a Message Queuing Telemetry Transport (MQTT)-alapú szinkron adatfolyamokat vagy közel valós idejű fájlfeltöltéseket.

Lehetséges használati esetek

  • A járműfelügyelet több tesztforgatókönyvben értékeli ki a teljesítményt és az összegyűjtött adatokat járműnként.
  • A rendszer- és alkatrész-ellenőrzés összegyűjtött járműadatokat használ annak ellenőrzésére, hogy a járműösszetevők viselkedése az utazások működési határain belül esik-e.
  • Az anomáliadetektálás valós időben megkeresi az érzékelő értékének eltérési mintáit a tipikus alapkonfigurációs mintához képest.
  • A kiváltó okok elemzése ml beépülő modulokat, például fürtözési algoritmusokat használ az értékek eloszlásának változásainak azonosítására több dimenzióban.
  • A prediktív karbantartás több adatforrást, gazdagított helyadatokat és telemetriát kombinál az összetevők meghibásodásának előrejelzéséhez.
  • A fenntarthatósági értékelés a vezető viselkedését és energiafogyasztását használja a járműműveletek környezeti hatásának értékelésére.

Megfontolások

Ezek a szempontok implementálják az Azure Well-Architected Framework alappilléreit, amely a számítási feladatok minőségének javítására használható vezérelvek készlete. További információ: Microsoft Azure Well-Architected Framework.

Megbízhatóság

A megbízhatóság biztosítja, hogy az alkalmazás megfeleljen az ügyfelek felé vállalt kötelezettségeknek. További információ: A megbízhatósági pillér áttekintése.

Biztonság

A biztonság biztosítékokat nyújt a szándékos támadások és az értékes adatokkal és rendszerekkel való visszaélés ellen. További információ: A biztonsági pillér áttekintése.

Fontos megérteni az autóipari OEM és a Microsoft közötti felelősségmegosztást. A járműben az OEM az egész verem tulajdonosa, de ahogy az adatok a felhőbe kerülnek, bizonyos feladatok átkerülnek a Microsoftra. Az Azure platform as-a-service (PaaS) beépített biztonságot nyújt a fizikai veremen, beleértve az operációs rendszert is. Az infrastruktúra biztonsági összetevőire az alábbi képességeket alkalmazhatja.

Mindezek a funkciók segítenek az autóipari oem-eknek biztonságos környezetet teremteni a jármű telemetriai adataihoz. További információ: Biztonság az Azure Data Explorerben.

Költségoptimalizálás

A költségoptimalizálás megvizsgálja a szükségtelen kiadások csökkentésének és a működési hatékonyság javításának módjait. További információ: A költségoptimalizálási pillér áttekintése.

Ez a megoldás a következő eljárásokat használja a költségek optimalizálásához:

  • Helyesen konfigurálja a gyorsgyorsítótárakat és a ritka elérésű tárolókat a Nyers és a Jelek táblákhoz. A gyakori adatgyorsítótár RAM-ban vagy SSD-ben van tárolva, és jobb teljesítményt nyújt. A hideg adatok azonban 45-ször olcsóbbak. Állítson be egy olyan gyorsgyorsítótár-szabályzatot, amely megfelel a használati esetnek, például 30 napig.
  • Állítson be egy adatmegőrzési szabályzatot a Nyers és a Jelek táblákon. Határozza meg, hogy a jeladatok mikor már nem relevánsak, például 365 nap után, és ennek megfelelően állítsa be a megőrzési szabályzatot.
  • Fontolja meg, hogy mely jelek relevánsak az elemzéshez.
  • Materializált nézeteket használhat a jelek utolsó ismert értékeinek lekérdezéséhez, a deduplikált jelekhez és a leképezett jelekhez. A materializált nézetek kevesebb erőforrást használnak fel, mint a forrástábla-összesítések minden lekérdezésen.
  • Vegye figyelembe a valós idejű adatelemzési igényeket. Az élő telemetriai tábla streambetöltésének beállítása lehetővé teszi a betöltés és a lekérdezés közötti kevesebb mint egy másodperces késést, de magasabb cpu-ciklusok költségén.

Teljesítmény hatékonysága

A teljesítményhatékonyság a számítási feladat hatékonyan skálázható a felhasználói igényeknek megfelelően. További információ: Teljesítményhatékonysági pillér áttekintése.

  • Ha a rögzített adatfájlok száma és mérete meghaladja a napi 1000 fájlt vagy 300 MB-ot, fontolja meg az Azure Batch dekódolását.
  • Fontolja meg a gyakori számítások és elemzések elvégzését a betöltés után, és tároljuk őket további táblákban.

A forgatókönyv üzembe helyezése

Az Azure Data Explorer üzembe helyezéséhez és az MDF-fájlok betöltéséhez kövesse az ingyenes példányok üzembe helyezését, MDF-fájlok elemzését, betöltését és néhány alapvető lekérdezés végrehajtását bemutató részletes oktatóanyagot.

Közreműködők

Ezt a cikket a Microsoft tartja karban. Eredetileg a következő közreműködők írták.

Fő szerzők:

Egyéb közreműködők:

A nem nyilvános LinkedIn-profilok megtekintéséhez jelentkezzen be a LinkedInbe.

Következő lépések