Modifica

Analisi dei dati per i veicoli di test automobilistici

Archiviazione BLOB di Azure
Esplora dati di Azure
Hub eventi di Azure
Funzioni di Azure
Hub IoT Azure

Gli OEM automobilistici necessitano di soluzioni per ridurre al minimo il tempo tra l'esecuzione dei test drive e il recupero dei dati di diagnostica dei test drive agli ingegneri R&D. Man mano che i veicoli diventano più automatizzati, i cicli di vita del software sono più brevi e i cicli di feedback digitali devono diventare più veloci. La nuova tecnologia può democratizzare l'accesso ai dati e fornire ai tecnici R&D informazioni dettagliate quasi in tempo reale sui dati di diagnostica del test drive. La condivisione sicura dei dati può migliorare la collaborazione tra OEM e fornitori, riducendo ulteriormente i cicli di sviluppo.

Questo carico di lavoro di esempio si riferisce sia ai dati di telemetria che agli scenari di inserimento dati del test drive batch. Il carico di lavoro è incentrato sulla piattaforma dati che elabora i dati di diagnostica e sui connettori per la visualizzazione e la creazione di report.

Architettura

Diagramma che mostra il flusso di dati di analisi per i file e i dati di streaming automobilistici.

Scaricare un file di PowerPoint con tutti i diagrammi di questo articolo.

Flusso di dati

  1. hub IoT di Azure inserisce dati di telemetria in tempo reale (A) non elaborati e carica i file di dati registrati (B) dal veicolo.

  2. hub IoT invia i dati di telemetria in tempo reale (A) a un'app Funzioni di Azure che decodifica i dati di telemetria in JavaScript Object Notation (JSON) e lo pubblica in Hub eventi di Azure.

    hub IoT invia i file di dati registrati (B) a Archiviazione BLOB di Azure. Un caricamento di file completato attiva un'app per le funzioni che decodifica i dati e scrive il file decodificato in BLOB Archiviazione in un formato con valori delimitati da virgole (CSV) adatto per l'inserimento.

  3. Azure Esplora dati inserisce dati di telemetria JSON decodificati da Hub eventi (A) in una tabella di telemetria non elaborata e inserisce i file CSV decodificati (B) dal BLOB Archiviazione.

  4. Azure Esplora dati usa la Update funzione per espandere i dati JSON in un formato di riga appropriato e arricchire i dati. Ad esempio, i dati di posizione dei cluster di funzioni per supportare l'analisi geospaziale.

  5. I data scientist e i tecnici R&D usano funzionalità di Linguaggio di query Kusto (KQL) per creare casi d'uso di analisi archiviati come funzioni definite dall'utente. Le funzioni KQL includono plug-in di aggregazione, analisi di serie temporali, clustering geospaziale, finestra e plug-in machine learning (ML).

  6. Power BI usa Query dinamica per creare visualizzazioni con le query definite dall'utente. Il plug-in dell'origine dati Grafana per Azure Esplora dati usa le query definite dall'utente per gli aggiornamenti quasi in tempo reale.

  7. Un'app del servizio app Azure usa Mappe di Azure funzionalità di rendering dell'origine dati per visualizzare i risultati di query definiti dall'utente che usano il formato GeoJSON.

  8. Azure Gestione API fornisce l'accesso ai file di dati non elaborati archiviati dai veicoli e un'API di configurazione che gestisce i criteri di raccolta dati di terze parti.

Schema di Azure Esplora dati

Diagramma che illustra le funzioni e i metodi di Azure Esplora dati per estrarre, espandere e arricchire i dati.

  1. La Update() funzione usa metodi come:

    • mv-expand() per espandere i valori complessi archiviati in strutture JSON in righe con singoli segnali.
    • geo_point_to_h3cell() o geo_point_to_geohash() per convertire la latitudine e longitudine in geohashe per l'analisi geospaziale.
    • todouble() e tostring() per eseguire il cast dei valori estratti da oggetti JSON dinamici nei tipi di dati appropriati.

  2. La visualizzazione Fleet Metadata Last Known Values unisce altre viste come parte dell'inserimento per fornire il contesto. I metadati cronologici della flotta sono utili se i nuovi casi d'uso richiedono la rielaborazione dei dati di telemetria non elaborati.

  3. Se necessario, una vista materializzata segnali deduplicati usa take_any() una vista materializzata segnali.

  4. La visualizzazione Segnali ultimi valori noti materializzati utilizza arg_max() sul timestamp per la creazione di report in tempo reale.

  5. La vista materializzata Segnali downcampionati aggrega i segnali usando contenitori predefiniti, ad esempio oraria e giornaliera , per semplificare la creazione di report in tutta la flotta.

  6. Funzioni plug-in archiviate, ad esempio DetectAnomaly() trovare anomalie nelle serie di dati. Plug-in ml come autocluster trovano modelli comuni di attributi discreti.

  7. La GetGeospatial() funzione genera file GeoJSON che contengono segnali raggruppati per geohashe.

Componenti

Le tecnologie chiave seguenti implementano questo carico di lavoro:

Alternative

Azure Batch è un'alternativa valida per la decodifica di file complessa. Questo scenario prevede un numero elevato di file di oltre 300 megabyte che richiedono algoritmi di decodifica diversi in base alla versione o al tipo di file.

Diagramma che mostra un metodo di Azure Batch alternativo per la decodifica di file complessi.

  1. Il caricamento di un file di dati registrato nel BLOB Archiviazione attiva un'app per le funzioni per pianificare la decodifica.
  2. L'app Funzioni crea un processo batch, prendendo in considerazione il tipo di file, le dimensioni e l'algoritmo di decodifica richiesto. L'app seleziona una macchina virtuale (VM) appropriata dal pool e avvia il processo.
  3. Al termine del processo, Batch scrive nuovamente il file decodificato risultante nell'Archiviazione BLOB. Questo file deve essere adatto per l'inserimento diretto in un formato supportato da Azure Esplora dati.
  4. Il caricamento di un file di segnale decodificato nel BLOB Archiviazione attiva una funzione che inserisce i dati in Azure Esplora dati. Questa funzione crea la tabella e il mapping dei dati, se necessario, e avvia il processo di inserimento.
  5. Azure Esplora dati inserisce direttamente i file di dati dalla Archiviazione BLOB.

Questo approccio offre i vantaggi seguenti:

  • Funzioni di Azure e i pool di Batch sono in grado di gestire attività di elaborazione dati scalabili in modo affidabile ed efficiente.
  • I pool di Batch forniscono informazioni dettagliate sull'elaborazione di statistiche, code di attività e integrità del pool batch. È possibile visualizzare lo stato, rilevare i problemi ed eseguire di nuovo attività non riuscite.
  • La combinazione di Funzioni di Azure e Azure Batch supporta l'elaborazione plug-and-play nei contenitori Docker.

Dettagli dello scenario

Gli OEM automobilistici usano grandi flotta di prototipi e veicoli di prova per testare e verificare tutti i tipi di funzioni del veicolo. Le procedure di test sono costose, perché i conducenti reali e i veicoli devono essere coinvolti e alcuni scenari specifici di test stradali reali devono superare più volte. I test di integrazione sono particolarmente importanti per valutare le interazioni tra componenti elettrici, elettronici e meccanici in sistemi complessi.

Per convalidare le funzioni del veicolo e analizzare anomalie e guasti, i gigabyte di dati di diagnostica devono essere acquisiti da unità di controllo elettroniche (ECU), nodi computer, bus di comunicazione dei veicoli come Controller Area Network (CAN) e Ethernet e sensori. In passato, piccoli server di logger di dati nei veicoli archiviati in locale come database master (MDF), estensione di fusione multimediale (MFX), file CSV o JSON. Al termine dei test drive, i server caricavano i dati di diagnostica nei data center, che lo elaboravano e fornivano ai tecnici R&D per l'analisi. Questo processo potrebbe richiedere ore o a volte giorni. Gli scenari più recenti usano modelli di inserimento dei dati di telemetria come i flussi di dati sincroni basati su Accodamento messaggi (MQTT) o i caricamenti di file quasi in tempo reale.

Potenziali casi d'uso

  • La gestione dei veicoli valuta le prestazioni e i dati raccolti per ogni veicolo in più scenari di test.
  • La convalida del sistema e dei componenti usa i dati dei veicoli raccolti per verificare che il comportamento dei componenti del veicolo rientra entro i limiti operativi tra le corse.
  • Il rilevamento anomalie individua i modelli di deviazione di un valore del sensore rispetto al modello di base tipico in tempo reale.
  • L'analisi della causa radice usa plug-in di Machine Learning, ad esempio algoritmi di clustering, per identificare le modifiche nella distribuzione dei valori in più dimensioni.
  • La manutenzione predittiva combina più origini dati, dati sulla posizione arricchiti e dati di telemetria per stimare il tempo dei componenti in caso di errore.
  • La valutazione della sostenibilità utilizza il comportamento del conducente e il consumo energetico per valutare l'impatto ambientale delle operazioni dei veicoli.

Considerazioni

Queste considerazioni implementano i pilastri di Azure Well-Architected Framework, che è un set di set di principi guida che è possibile usare per migliorare la qualità di un carico di lavoro. Per altre informazioni, vedere Framework ben progettato di Microsoft Azure.

Affidabilità

L'affidabilità garantisce che l'applicazione possa soddisfare gli impegni che l'utente ha preso con i clienti. Per altre informazioni, vedere Panoramica del pilastro dell'affidabilità.

  • Le zone di disponibilità di Azure sono posizioni fisiche univoche all'interno della stessa area di Azure. Le zone di disponibilità possono proteggere i cluster di calcolo e i dati di Azure Esplora dati da un errore parziale dell'area.
  • Continuità aziendale e ripristino di emergenza (BCDR) in Azure Esplora dati consente all'azienda di continuare a funzionare in caso di interruzione.
  • Prendere in considerazione l'uso di un database follower in Azure Esplora dati per separare le risorse di calcolo tra i casi d'uso di produzione e non di produzione.

Sicurezza

La sicurezza offre garanzie contro attacchi intenzionali e l'abuso di dati e sistemi preziosi. Per altre informazioni, vedere Panoramica del pilastro della sicurezza.

È importante comprendere la divisione della responsabilità tra l'OEM automobilistico e Microsoft. Nel veicolo, l'OEM possiede l'intero stack, ma man mano che i dati passano al cloud, alcune responsabilità vengono trasferite a Microsoft. La piattaforma distribuita come servizio (PaaS) di Azure offre sicurezza predefinita nello stack fisico, incluso il sistema operativo. È possibile applicare le funzionalità seguenti oltre ai componenti di sicurezza dell'infrastruttura.

Tutte queste funzionalità consentono agli OEM di automobili di creare un ambiente sicuro per i dati di telemetria dei veicoli. Per altre informazioni, vedere Sicurezza in Azure Esplora dati.

Ottimizzazione dei costi

L'ottimizzazione dei costi esamina i modi per ridurre le spese non necessarie e migliorare l'efficienza operativa. Per altre informazioni, vedere Panoramica del pilastro di ottimizzazione dei costi.

Questa soluzione usa le procedure seguenti per ottimizzare i costi:

  • Configurare correttamente le cache ad accesso frequente e l'archiviazione ad accesso sporadico per le tabelle Raw e Signals. La cache dei dati ad accesso frequente viene archiviata in RAM o SSD e offre prestazioni migliorate. I dati freddi, tuttavia, sono 45 volte più economici. Impostare un criterio di cache ad accesso frequente adeguato per il caso d'uso, ad esempio 30 giorni.
  • Configurare un criterio di conservazione nelle tabelle Raw e Signals. Determinare quando i dati del segnale non sono più rilevanti, ad esempio dopo 365 giorni e impostare di conseguenza i criteri di conservazione.
  • Considerare quali segnali sono rilevanti per l'analisi.
  • Usare viste materializzate quando si eseguono query sui segnali per ultimi valori noti, segnali deduplicati e segnali di cui è stato eseguito il downcampioning. Le viste materializzate utilizzano meno risorse rispetto all'esecuzione di aggregazioni di tabelle di origine in ogni query.
  • Prendere in considerazione le esigenze di analisi dei dati in tempo reale. La configurazione dell'inserimento in streaming per la tabella di telemetria live consente una latenza inferiore a un secondo tra l'inserimento e la query, ma a un costo più elevato di più cicli cpu.

Efficienza prestazionale

L'efficienza delle prestazioni è la capacità del carico di lavoro di ridimensionare in modo efficiente per soddisfare le esigenze degli utenti. Per altre informazioni, vedere Panoramica dell'efficienza delle prestazioni.

  • Se il numero e le dimensioni dei file di dati registrati sono maggiori di 1.000 file o 300 MB al giorno, è consigliabile usare Azure Batch per la decodifica.
  • Prendere in considerazione l'esecuzione di calcoli e analisi comuni dopo l'inserimento e l'archiviazione in tabelle aggiuntive.

Distribuire lo scenario

Per distribuire azure Esplora dati e inserire file MDF, è possibile seguire l'esercitazione dettagliata che illustra come distribuire un'istanza gratuita, analizzare i file MDF, inserire ed eseguire alcune query di base.

Collaboratori

Questo articolo viene gestito da Microsoft. Originariamente è stato scritto dai seguenti contributori.

Autori principali:

Altri contributori:

Per visualizzare i profili LinkedIn non pubblici, accedere a LinkedIn.

Passaggi successivi