Bewerken

Delen via

Gegevensanalyse voor autotest fleets

Azure Blob Storage
Azure Data Explorer
Azure Event Hubs
Azure Functions
Azure IoT Hub

Automotive OEM's hebben oplossingen nodig om de tijd tussen het uitvoeren van teststations en het ophalen van diagnostische gegevens voor R&D-technici te minimaliseren. Naarmate voertuigen geautomatiseerder worden, zijn softwarelevenscycli korter en moeten digitale feedbacklussen sneller worden. Nieuwe technologie kan de toegang tot gegevens democratiseren en R&D-technici vrijwel realtime inzicht geven in diagnostische gegevens van teststations. Veilig delen van gegevens kan de samenwerking tussen OEM's en leveranciers verbeteren, waardoor ontwikkelingscycli verder worden verkort.

Deze voorbeeldworkload heeft betrekking op zowel telemetrie- als batchscenario's voor gegevensopname van teststations. De workload is gericht op het gegevensplatform dat diagnostische gegevens verwerkt en de connectors voor visualisatie en rapportage.

Architectuur

Diagram met de analysegegevensstroom voor autostreaminggegevens en -bestanden.

Download een PowerPoint-bestand met alle diagrammen in dit artikel.

Gegevensstroom

  1. Azure IoT Hub neemt live, onbewerkte telemetriegegevens (A) op en uploadt geregistreerde gegevensbestanden (B) van het voertuig.

  2. IoT Hub verzendt de livetelemetrie (A) naar een Azure Functions-app die de telemetrie decodert naar JSON (JavaScript Object Notation) en deze in Azure Event Hubs plaatst.

    IoT Hub verzendt de opgenomen gegevensbestanden (B) naar Azure Blob Storage. Een voltooide bestandsupload activeert een Functions-app die de gegevens ontsleutelt en het gedecodeerde bestand naar Blob Storage schrijft in een CSV-indeling (door komma's gescheiden waarden) die geschikt is voor opname.

  3. Azure Data Explorer neemt gedecodeerde JSON-telemetriegegevens van Event Hubs (A) op in een onbewerkte telemetrietabel en neemt de gedecodeerde CSV-bestanden (B) op uit Blob Storage.

  4. Azure Data Explorer gebruikt de Update functie om de JSON-gegevens uit te breiden naar een geschikte rijindeling en om de gegevens te verrijken. De functieclusters locatiegegevens ter ondersteuning van georuimtelijke analyses.

  5. Gegevenswetenschappers en R&D-technici gebruiken Kusto-querytaal (KQL)-mogelijkheden om gebruiksvoorbeelden voor analyse te bouwen die ze opslaan als door de gebruiker gedefinieerde functies. KQL-functies omvatten aggregatie, tijdreeksanalyse, georuimtelijke clustering, windowing en machine learning-invoegtoepassingen (ML).

  6. Power BI maakt gebruik van Dynamische query om visualisaties te maken met de door de gebruiker gedefinieerde query's. De invoegtoepassing grafana-gegevensbronnen voor Azure Data Explorer maakt gebruik van de door de gebruiker gedefinieerde query's voor bijna realtime-updates.

  7. Een Azure-app Service-app maakt gebruik van azure Kaarten renderingmogelijkheden voor gegevensbronnen om door de gebruiker gedefinieerde queryresultaten te visualiseren die gebruikmaken van de GeoJSON-indeling.

  8. Azure API Management biedt toegang tot opgeslagen onbewerkte gegevensbestanden van voertuigen en een configuratie-API die beleidsregels voor gegevensverzameling van derden beheert.

Azure Data Explorer-schema

Diagram met de Functies en methoden van Azure Data Explorer voor het extraheren, uitbreiden en verrijken van gegevens.

  1. De Update() functie maakt gebruik van methoden zoals:

    • mv-expand() om complexe waarden die zijn opgeslagen in JSON-structuren uit te breiden naar rijen met afzonderlijke signalen.
    • geo_point_to_h3cell() of geo_point_to_geohash() om breedtegraad en lengtegraad te converteren naar geohashes voor georuimtelijke analyses.
    • todouble() en tostring() om geëxtraheerde waarden uit dynamische JSON-objecten naar de juiste gegevenstypen te casten.

  2. De weergave Laatst bekende waarden van Fleet Metadata voegt andere weergaven toe als onderdeel van opname om context te bieden. De metagegevens van de historische vloot zijn handig als nieuwe gebruiksvoorbeelden opnieuw moeten worden verwerkt van de onbewerkte telemetrie.

  3. Indien nodig gebruikt take_any() een gerealiseerde signalenweergave om signalen te ontdubbelen.

  4. De signalen laatst bekende waarden gerealiseerde weergave maakt gebruik van arg_max() de tijdstempel voor realtime rapportage.

  5. De Signalen Downsampled gerealiseerde weergave aggregeren signalen met behulp van vooraf gedefinieerde bins, zoals elk uur en dagelijks , om de rapportage over de hele vloot te vereenvoudigen.

  6. Opgeslagen invoegtoepassingsfuncties zoals DetectAnomaly() afwijkingen in gegevensreeksen zoeken. ML-invoegtoepassingen zoals autoclusters vinden veelvoorkomende patronen van discrete kenmerken.

  7. De GetGeospatial() functie genereert GeoJSON-bestanden die gegroepeerde signalen per geohashes bevatten.

Onderdelen

De volgende belangrijke technologieën implementeren deze workload:

Alternatieven

Azure Batch is een goed alternatief voor complexe bestandsdecodering. Dit scenario omvat grote aantallen bestanden van meer dan 300 megabytes waarvoor verschillende decoderingsalgoritmen zijn vereist op basis van de bestandsversie of het type.

Diagram met een alternatieve Azure Batch-methode voor het decoderen van complexe bestanden.

  1. Als u een opgenomen gegevensbestand uploadt naar Blob Storage, wordt een Functions-app geactiveerd om decodering te plannen.
  2. De Functions-app maakt een batchtaak, rekening houdend met het bestandstype, de grootte en het vereiste decoderingsalgoritmen. De app selecteert een geschikte virtuele machine (VM) uit de pool en start de taak.
  3. Wanneer de taak is voltooid, schrijft Batch het resulterende gedecodeerde bestand terug naar Blob Storage. Dit bestand moet geschikt zijn voor directe opname in een indeling die door Azure Data Explorer wordt ondersteund.
  4. Als u een gedecodeerd signaalbestand uploadt naar Blob Storage, wordt een functie geactiveerd waarmee de gegevens worden opgenomen in Azure Data Explorer. Met deze functie worden de tabel- en gegevenstoewijzing zo nodig gemaakt en wordt het opnameproces gestart.
  5. Azure Data Explorer neemt de gegevensbestanden rechtstreeks op uit Blob Storage.

Deze aanpak biedt de volgende voordelen:

  • Azure Functions en Batch-pools kunnen schaalbare gegevensverwerkingstaken robuust en efficiënt verwerken.
  • Batch-pools bieden inzicht in verwerkingsstatistieken, taakwachtrijen en batchpoolstatus. U kunt de status visualiseren, problemen detecteren en mislukte taken opnieuw uitvoeren.
  • De combinatie van Azure Functions en Azure Batch ondersteunt plug-and-play-verwerking in Docker-containers.

Scenariodetails

Auto-OEM's maken gebruik van grote vloot prototypen en testvoertuigen om allerlei soorten voertuigfuncties te testen en te verifiëren. Testprocedures zijn duur, omdat echte bestuurders en voertuigen betrokken moeten zijn en bepaalde specifieke praktijkscenario's voor wegtests meerdere keren moeten passeren. Integratietests zijn vooral belangrijk voor het evalueren van interacties tussen elektrische, elektronische en mechanische componenten in complexe systemen.

Om voertuigfuncties te valideren en afwijkingen en fouten te analyseren, moeten gigabytes aan diagnostische gegevens worden vastgelegd vanuit elektronische controle-eenheid (ECU's), computerknooppunten, voertuigcommunicatiebussen zoals Controller Area Network (CAN) en Ethernet en sensoren. In het verleden hebben kleine dataloggerservers in de voertuigen diagnostische gegevens lokaal opgeslagen als masterdatabase (MDF), multimedia fusion extension (MFX), CSV- of JSON-bestanden. Nadat de teststations zijn voltooid, hebben de servers diagnostische gegevens geüpload naar datacenters, die deze hebben verwerkt en aan R&D-technici voor analyse verstrekt. Dit proces kan uren of soms dagen duren. In recentere scenario's worden telemetrieopnamepatronen gebruikt, zoals op Message Queuing Telemetry Transport (MQTT) gebaseerde synchrone gegevensstromen of bijna realtime bestandsuploads.

Potentiële gebruikscases

  • Voertuigbeheer evalueert de prestaties en verzamelde gegevens per voertuig in meerdere testscenario's.
  • Bij systeem- en onderdeelvalidatie worden verzamelde voertuiggegevens gebruikt om te controleren of het gedrag van voertuigonderdelen binnen operationele grenzen valt tussen reizen.
  • Anomaliedetectie zoekt afwijkingspatronen van een sensorwaarde ten opzichte van het typische basislijnpatroon in realtime.
  • Analyse van hoofdoorzaak maakt gebruik van ML-invoegtoepassingen zoals clusteringalgoritmen om wijzigingen in de verdeling van waarden op meerdere dimensies te identificeren.
  • Voorspellend onderhoud combineert meerdere gegevensbronnen, verrijkte locatiegegevens en telemetrie om de tijd die nodig is voor onderdelen te voorspellen.
  • Duurzaamheidsevaluatie maakt gebruik van bestuurdersgedrag en energieverbruik om de impact op het milieu van voertuigactiviteiten te evalueren.

Overwegingen

Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die u kunt gebruiken om de kwaliteit van een workload te verbeteren. Zie Microsoft Azure Well-Architected Framework voor meer informatie.

Betrouwbaarheid

Betrouwbaarheid zorgt ervoor dat uw toepassing kan voldoen aan de toezeggingen die u aan uw klanten hebt gedaan. Zie Overzicht van de betrouwbaarheidspijler voor meer informatie.

  • Azure-beschikbaarheidszones zijn unieke fysieke locaties binnen dezelfde Azure-regio. Beschikbaarheidszones kunnen Azure Data Explorer-rekenclusters en -gegevens beschermen tegen gedeeltelijke regiofouten.
  • Met BCDR (Bedrijfscontinuïteit en herstel na noodgevallen) in Azure Data Explorer kan uw bedrijf blijven functioneren in het gevolg van onderbrekingen.
  • Overweeg het gebruik van een volgdatabase in Azure Data Explorer om rekenresources tussen productie- en niet-productiegebruiksscenario's te scheiden.

Beveiliging

Beveiliging biedt garanties tegen opzettelijke aanvallen en misbruik van uw waardevolle gegevens en systemen. Zie Overzicht van de beveiligingspijler voor meer informatie.

Het is belangrijk om inzicht te hebben in de verdeling van de verantwoordelijkheid tussen de oem's voor auto's en Microsoft. In het voertuig is de OEM eigenaar van de hele stack, maar naarmate de gegevens naar de cloud worden verplaatst, worden sommige verantwoordelijkheden overgedragen naar Microsoft. PaaS (Platform-as-a-Service) van Azure biedt ingebouwde beveiliging op de fysieke stack, inclusief het besturingssysteem. U kunt de volgende mogelijkheden toepassen op de beveiligingsonderdelen van de infrastructuur.

Al deze functies helpen auto-OEM's een veilige omgeving te creëren voor hun voertuigtelemetriegegevens. Zie Beveiliging in Azure Data Explorer voor meer informatie.

Kostenoptimalisatie

Kostenoptimalisatie bekijkt manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie Overzicht van de pijler kostenoptimalisatie voor meer informatie.

Deze oplossing maakt gebruik van de volgende procedures om de kosten te optimaliseren:

  • Configureer hot caches en koude opslag voor de tabellen Raw en Signals correct. De hot data cache wordt opgeslagen in RAM of SSD en biedt verbeterde prestaties. Koude gegevens zijn echter 45 keer goedkoper. Stel een hot-cachebeleid in dat geschikt is voor uw use-case, zoals 30 dagen.
  • Stel een bewaarbeleid in voor de tabellen Raw en Signals. Bepaal wanneer de signaalgegevens niet meer relevant zijn, bijvoorbeeld na 365 dagen, en stel het bewaarbeleid dienovereenkomstig in.
  • Bedenk welke signalen relevant zijn voor analyse.
  • Gebruik gerealiseerde weergaven bij het uitvoeren van query's op de laatst bekende waarden, signalen die zijn ontdubbeld en signalen met een downsampled. Gerealiseerde weergaven verbruiken minder resources dan het uitvoeren van brontabelaggregaties voor elke query.
  • Houd rekening met uw realtime behoeften voor gegevensanalyse. Het instellen van streamingopname voor de livetelemetrietabel maakt latentie van minder dan één seconde tussen opname en query mogelijk, maar met hogere kosten van meer CPU-cycli.

Prestatie-efficiëntie

Prestatie-efficiëntie is de mogelijkheid van uw workload om efficiënt te schalen om te voldoen aan de behoeften van de gebruiker. Zie overzicht van de pijler Prestatie-efficiëntie voor meer informatie.

  • Als het aantal en de grootte van geregistreerde gegevensbestanden groter is dan 1000 bestanden of 300 MB per dag, kunt u Overwegen Om Azure Batch te gebruiken voor decodering.
  • Overweeg algemene berekeningen en analyses uit te voeren na opname en deze op te slaan in aanvullende tabellen.

Dit scenario implementeren

Als u Azure Data Explorer wilt implementeren en MDF-bestanden wilt opnemen, kunt u de stapsgewijze zelfstudie volgen die laat zien hoe u een gratis exemplaar implementeert, MDF-bestanden parseert, enkele basisquery's opneemt en uitvoert.

Medewerkers

Dit artikel wordt onderhouden door Microsoft. De tekst is oorspronkelijk geschreven door de volgende Inzenders.

Belangrijkste auteurs:

Andere Inzenders:

Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.

Volgende stappen