Edit

Analitik data untuk armada uji otomotif

Azure Blob Storage
Azure Data Explorer
Azure Event Hubs
Azure Functions
Azure IoT Hub

OEM otomotif membutuhkan solusi untuk meminimalkan waktu antara melakukan uji coba dan mendapatkan data diagnostik uji coba ke insinyur R&D. Karena kendaraan menjadi lebih otomatis, siklus hidup perangkat lunak lebih pendek, dan perulangan umpan balik digital harus menjadi lebih cepat. Teknologi baru dapat mendemokratisasi akses data dan menyediakan insinyur R&D dengan wawasan hampir real-time ke dalam data diagnostik uji coba. Berbagi data yang aman dapat meningkatkan kolaborasi antara OEM dan pemasok, mempersingkat siklus pengembangan lebih lanjut.

Contoh beban kerja ini berkaitan dengan skenario penyerapan data uji coba telemetri dan batch. Beban kerja berfokus pada platform data yang memproses data diagnostik, dan konektor untuk visualisasi dan pelaporan.

Arsitektur

Diagram that shows the analytics dataflow for automotive streaming data and files.

Unduh file PowerPoint dengan semua diagram dalam artikel ini.

Aliran data

  1. Azure IoT Hub menyerap data telemetri mentah (A) langsung dan mengunggah file data yang direkam (B) dari kendaraan.

  2. IoT Hub mengirimkan telemetri langsung (A) ke aplikasi Azure Functions yang mendekode telemetri ke JavaScript Object Notation (JSON) dan mempostingnya ke Azure Event Hubs.

    IoT Hub mengirimkan file data yang direkam (B) ke Azure Blob Storage. Unggahan file yang telah selesai memicu aplikasi Functions yang mendekode data dan menulis file yang didekodekan ke dalam Blob Storage dalam format nilai yang dipisahkan koma (CSV) yang cocok untuk penyerapan.

  3. Azure Data Explorer menyerap data telemetri JSON yang didekode dari Azure Event Hubs (A) ke dalam tabel telemetri mentah, dan menyerap file CSV yang didekodekan (B) dari Blob Storage.

  4. Azure Data Explorer menggunakan Update fungsi untuk memperluas data JSON ke dalam format baris yang sesuai dan untuk memperkaya data. Misalnya, data lokasi kluster fungsi untuk mendukung analitik geospasial.

  5. Ilmuwan data dan insinyur R&D menggunakan kemampuan Bahasa Kueri Kusto (KQL) untuk membangun kasus penggunaan analitik yang mereka simpan sebagai fungsi yang ditentukan pengguna. Fungsi KQL termasuk agregasi, analisis rangkaian waktu, pengklusteran geospasial, windowing, dan plugin pembelajaran mesin (ML).

  6. Power BI menggunakan Kueri Dinamis untuk membuat visualisasi dengan kueri yang ditentukan pengguna. Plugin sumber data Grafana untuk Azure Data Explorer menggunakan kueri yang ditentukan pengguna untuk pembaruan hampir real-time.

  7. Aplikasi Azure App Service menggunakan kemampuan penyajian sumber data Azure Peta untuk memvisualisasikan hasil kueri yang ditentukan pengguna yang menggunakan format GeoJSON.

  8. Azure API Management menyediakan akses ke file data mentah yang disimpan dari kendaraan, dan API konfigurasi yang mengelola kebijakan pengumpulan data pihak ketiga.

Skema Azure Data Explorer

Diagram that shows the Azure Data Explorer functions and methods for extracting, expanding, and enriching data.

  1. Fungsi ini Update() menggunakan metode seperti:

    • mv-expand() untuk memperluas nilai kompleks yang disimpan dalam struktur JSON ke dalam baris dengan sinyal individual.
    • geo_point_to_h3cell() atau geo_point_to_geohash() untuk mengonversi garis lintang dan bujur menjadi geohash untuk analitik geospasial.
    • todouble() dan tostring() untuk mentransmisikan nilai yang diekstrak dari objek JSON dinamis ke dalam jenis data yang sesuai.

  2. Tampilan Nilai Metadata Metadata Terakhir yang Diketahui menggabungkan tampilan lain sebagai bagian dari penyerapan untuk memberikan konteks. Metadata armada historis berguna jika kasus penggunaan baru memerlukan pemrosesan ulang telemetri mentah.

  3. Jika perlu, tampilan materialisasi Signals Deduped menggunakan take_any() untuk mendeduplikasi sinyal.

  4. Tampilan materialisasi Nilai Sinyal Terakhir yang Diketahui digunakan arg_max() pada tanda waktu untuk pelaporan real time.

  5. Tampilan materialisasi Signals Downsampled mengagregasi sinyal dengan menggunakan bin yang telah ditentukan seperti per jam dan harian untuk menyederhanakan pelaporan di seluruh armada.

  6. Fungsi plugin tersimpan seperti DetectAnomaly() menemukan anomali dalam seri data. Plugin ML seperti autocluster menemukan pola umum atribut diskrit.

  7. Fungsi ini GetGeospatial() menghasilkan file GeoJSON yang berisi sinyal yang dikelompokkan berdasarkan geohash.

Komponen

Teknologi utama berikut menerapkan beban kerja ini:

Alternatif

Azure Batch adalah alternatif yang baik untuk decoding file yang kompleks. Skenario ini melibatkan sejumlah besar file lebih dari 300 megabyte yang memerlukan algoritma decoding yang berbeda berdasarkan versi atau jenis file.

Diagram that shows an alternative Azure Batch method for decoding complex files.

  1. Mengunggah file data yang direkam ke Blob Storage memicu aplikasi Functions untuk menjadwalkan decoding.
  2. Aplikasi Functions membuat pekerjaan batch, dengan mempertimbangkan jenis file, ukuran, dan algoritma decoding yang diperlukan. Aplikasi ini memilih komputer virtual (VM) yang sesuai dari kumpulan dan memulai pekerjaan.
  3. Ketika pekerjaan selesai, Batch menulis file yang didekodekan yang dihasilkan kembali ke Blob Storage. File ini harus cocok untuk penyerapan langsung dalam format yang didukung Azure Data Explorer.
  4. Mengunggah file sinyal yang didekodekan ke Blob Storage memicu fungsi yang menyerap data ke Azure Data Explorer. Fungsi ini membuat tabel dan pemetaan data jika perlu, dan memulai proses penyerapan.
  5. Azure Data Explorer secara langsung menyerap file data dari Blob Storage.

Pendekatan ini menawarkan manfaat berikut:

  • Kumpulan Azure Functions dan Batch dapat menangani tugas pemrosesan data yang dapat diskalakan dengan kuat dan efisien.
  • Kumpulan batch memberikan wawasan tentang statistik pemrosesan, antrean tugas, dan kesehatan kumpulan batch. Anda dapat memvisualisasikan status, mendeteksi masalah, dan menjalankan ulang tugas yang gagal.
  • Kombinasi Azure Functions dan Azure Batch mendukung pemrosesan plug-and-play dalam kontainer Docker.

Detail skenario

OEM otomotif menggunakan armada besar prototipe dan kendaraan uji untuk menguji dan memverifikasi semua jenis fungsi kendaraan. Prosedur pengujian mahal, karena pengemudi dan kendaraan nyata perlu terlibat, dan skenario pengujian jalan dunia nyata tertentu harus berlalu beberapa kali. Pengujian integrasi sangat penting untuk mengevaluasi interaksi antara komponen listrik, elektronik, dan mekanik dalam sistem yang kompleks.

Untuk memvalidasi fungsi kendaraan dan menganalisis anomali dan kegagalan, gigabyte data diagnostik harus diambil dari unit kontrol elektronik (EKUs), simpul komputer, bus komunikasi kendaraan seperti Controller Area Network (CAN) dan Ethernet, dan sensor. Di masa lalu, server pencatat data kecil di kendaraan menyimpan data diagnostik secara lokal sebagai database master (MDF), ekstensi fusi multimedia (MFX), CSV, atau file JSON. Setelah uji coba selesai, server mengunggah data diagnostik ke pusat data, yang memprosesnya dan memberikannya kepada teknisi R&D untuk analitik. Proses ini bisa memakan waktu berjam-jam atau terkadang berjam-hari. Skenario terbaru menggunakan pola penyerapan telemetri seperti aliran data sinkron berbasis Message Queuing Telemetry Transport (MQTT), atau unggahan file mendekati real-time.

Kemungkinan kasus penggunaan

  • Manajemen kendaraan mengevaluasi performa dan mengumpulkan data per kendaraan di beberapa skenario pengujian.
  • Validasi sistem dan komponen menggunakan data kendaraan yang dikumpulkan untuk memverifikasi bahwa perilaku komponen kendaraan termasuk dalam batas operasional di seluruh perjalanan.
  • Deteksi anomali menemukan pola penyimpangan nilai sensor relatif terhadap pola garis besar khasnya secara real time.
  • Analisis akar penyebab menggunakan plugin ML seperti algoritma pengklusteran untuk mengidentifikasi perubahan distribusi nilai pada beberapa dimensi.
  • Pemeliharaan prediktif menggabungkan beberapa sumber data, data lokasi yang diperkaya, dan telemetri untuk memprediksi waktu komponen gagal.
  • Evaluasi keberlanjutan menggunakan perilaku pengemudi dan konsumsi energi untuk mengevaluasi dampak lingkungan operasi kendaraan.

Pertimbangan

Pertimbangan ini mengimplementasikan pilar Azure Well-Architected Framework, yang merupakan serangkaian tenet panduan yang dapat Anda gunakan untuk meningkatkan kualitas beban kerja. Untuk informasi selengkapnya, lihat Microsoft Azure Well-Architected Framework.

Keandalan

Keandalan memastikan aplikasi Anda dapat mencapai komitmen yang Anda buat kepada pelanggan Anda. Untuk informasi selengkapnya, lihat Gambaran Umum pilar keandalan.

  • Zona ketersediaan Azure adalah lokasi fisik unik dalam wilayah Azure yang sama. Zona ketersediaan dapat melindungi kluster dan data komputasi Azure Data Explorer dari kegagalan wilayah parsial.
  • Kelangsungan bisnis dan pemulihan bencana (BCDR) di Azure Data Explorer memungkinkan bisnis Anda terus beroperasi dalam menghadapi gangguan.
  • Pertimbangkan untuk menggunakan database pengikut di Azure Data Explorer untuk memisahkan sumber daya komputasi antara kasus penggunaan produksi dan non-produksi.

Keamanan

Keamanan memberikan jaminan terhadap serangan yang disukai dan penyalahgunaan data dan sistem berharga Anda. Untuk informasi selengkapnya, lihat Gambaran Umum pilar keamanan.

Penting untuk memahami pembagian tanggung jawab antara OEM otomotif dan Microsoft. Di kendaraan, OEM memiliki seluruh tumpukan, tetapi saat data berpindah ke cloud, beberapa tanggung jawab ditransfer ke Microsoft. Platform-as-a-service (PaaS) Azure menyediakan keamanan bawaan pada tumpukan fisik, termasuk sistem operasi. Anda dapat menerapkan kemampuan berikut di atas komponen keamanan infrastruktur.

Semua fitur ini membantu OEM otomotif menciptakan lingkungan yang aman untuk data telemetri kendaraan mereka. Untuk informasi selengkapnya, lihat Keamanan di Azure Data Explorer.

Pengoptimalan biaya

Pengoptimalan biaya melihat cara untuk mengurangi pengeluaran yang tidak perlu dan meningkatkan efisiensi operasional. Untuk informasi selengkapnya, lihat Gambaran umum pilar pengoptimalan biaya.

Solusi ini menggunakan praktik berikut untuk membantu mengoptimalkan biaya:

  • Konfigurasikan cache panas dan penyimpanan dingin dengan benar untuk tabel Raw and Signals. Cache data panas disimpan dalam RAM atau SSD dan memberikan peningkatan performa. Namun, data dingin 45 kali lebih murah. Tetapkan kebijakan singgahan panas yang memadai untuk kasus penggunaan Anda, seperti 30 hari.
  • Siapkan kebijakan retensi pada tabel Mentah dan Sinyal. Tentukan kapan data sinyal tidak lagi relevan, misalnya setelah 365 hari, dan tetapkan kebijakan retensi yang sesuai.
  • Pertimbangkan sinyal mana yang relevan untuk analisis.
  • Gunakan tampilan materialisasi saat mengkueri sinyal nilai terakhir yang diketahui, sinyal di-deduped, dan sinyal downsampled. Tampilan materialisasi menggunakan lebih sedikit sumber daya daripada melakukan agregasi tabel sumber pada setiap kueri.
  • Pertimbangkan kebutuhan analitik data real time Anda. Menyiapkan penyerapan streaming untuk tabel telemetri langsung memungkinkan latensi kurang dari satu detik antara penyerapan dan kueri, tetapi dengan biaya yang lebih tinggi dari lebih banyak siklus CPU.

Efisiensi kinerja

Efisiensi performa adalah kemampuan beban kerja Anda untuk menskalakan secara efisien untuk memenuhi permintaan pengguna. Untuk informasi selengkapnya, lihat Gambaran umum pilar efisiensi performa.

  • Jika jumlah dan ukuran file data yang direkam lebih besar dari 1.000 file atau 300 MB sehari, pertimbangkan untuk menggunakan Azure Batch untuk decoding.
  • Pertimbangkan untuk melakukan perhitungan dan analisis umum setelah menyerap dan menyimpannya dalam tabel tambahan.

Menyebarkan skenario ini

Untuk menyebarkan Azure Data Explorer dan menyerap file MDF, Anda dapat mengikuti tutorial langkah demi langkah yang menunjukkan cara menyebarkan instans gratis, mengurai file MDF, menyerap dan melakukan beberapa kueri dasar.

Kontributor

Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.

Penulis utama:

Kontributor lain:

Untuk melihat profil LinkedIn non-publik, masuk ke LinkedIn.

Langkah berikutnya