Analitik data untuk armada uji otomotif

Produsen peralatan asli (OEM) otomotif membutuhkan solusi untuk meminimalkan waktu antara uji coba dan mengirimkan data diagnostik uji coba ke insinyur R&D. Ketika kendaraan menjadi lebih otomatis, siklus hidup pengembangan perangkat lunak menjadi lebih pendek, yang membutuhkan perulangan umpan balik digital yang lebih cepat. Teknologi baru dapat mendemokratisasi akses data dan menyediakan insinyur R&D dengan wawasan hampir real-time ke dalam data diagnostik uji coba. Gunakan Copilot untuk Ilmu Data dan Rekayasa Data untuk analitik data untuk lebih mengurangi waktu wawasan. Berbagi data yang aman dapat meningkatkan kolaborasi antara OEM dan pemasok dan mengurangi waktu siklus pengembangan.

Panduan dalam artikel ini adalah untuk skenario telemetri dan skenario penyerapan data uji batch. Arsitektur ini berfokus pada platform data yang memproses data diagnostik dan konektor untuk visualisasi data dan pelaporan data.

Sistem

Unduh file PowerPoint dengan semua diagram dalam artikel ini.

Aliran data

Aliran data berikut sesuai dengan diagram sebelumnya:

1. Perangkat penangkapan data terhubung ke jaringan kendaraan dan mengumpulkan data dan video sinyal kendaraan resolusi tinggi. (1a) Perangkat menerbitkan pesan telemetri real time atau (1b) meminta pengunggahan file data yang direkam ke fungsionalitas broker Azure Event Grid MQTT dengan menggunakan klien MQTT. Fungsionalitas ini menggunakan pola Claim-Check.

2. (2a) Event Grid merutekan data sinyal kendaraan langsung ke aplikasi Azure Functions. Aplikasi ini mendekode sinyal kendaraan ke format JavaScript Object Notation (JSON) dan mempostingnya ke eventstream.

   (2b) Event Grid mengoordinasikan pengunggahan file dari klien perangkat ke lakehouse. Unggahan file yang telah selesai memicu alur yang mendekode data dan menulis file yang didekodekan ke OneLine dalam format yang cocok untuk diserap, seperti parkit atau CSV.

3. (3a) Eventstream merutekan sinyal kendaraan JSON yang didekode untuk penyerapan di Eventhouse.

   (3b) Alur data memicu penyerapan file yang didekodekan dari lakehouse.

4. Eventhouse menggunakan kebijakan pembaruan untuk memperkaya data dan memperluas data JSON ke dalam format baris yang sesuai, misalnya data lokasi mungkin diklusterkan agar selaras dengan analitik geospasial. Setiap kali baris baru diserap, mesin analitik real-time memanggil fungsi terkait Update() .

5. Teknisi data dan ilmuwan data menggunakan Bahasa Kueri Kusto (KQL) untuk membangun kasus penggunaan analitik. Pengguna menyimpan kasus yang sering digunakan sebagai fungsi yang ditentukan pengguna yang dapat dibagikan. Teknisi menggunakan fungsi KQL bawaan seperti agregasi, analisis rangkaian waktu, pengklusteran geospasial, windowing, dan plugin pembelajaran mesin dengan dukungan Copilot.

6. Teknisi R&D dan ilmuwan data menggunakan notebook untuk menganalisis data dan membangun kasus penggunaan pengujian dan validasi.

   1. Insinyur R&D menggunakan set kueri KQL dan Copilot for Real-Time Intelligence untuk melakukan analisis data interaktif.

   2. Teknisi data dan ilmuwan data menggunakan notebook untuk menyimpan dan berbagi proses analisis mereka. Dengan notebook, teknisi dapat menggunakan Azure Spark untuk menjalankan analitik dan menggunakan Git untuk mengelola kode notebook. Pengguna dapat memanfaatkan Copilot untuk Ilmu Data dan Rekayasa Data untuk mendukung alur kerja mereka dengan saran kode kontekstual.

7. Teknisi R&D dan ilmuwan data dapat menggunakan Power BI dengan kueri dinamis atau dasbor analitik real time untuk membuat visualisasi untuk dibagikan dengan pengguna bisnis. Visualisasi ini memanggil fungsi yang ditentukan pengguna untuk kemudahan pemeliharaan.

8. Teknisi juga dapat menghubungkan lebih banyak alat ke Microsoft Fabric. Misalnya, mereka dapat menghubungkan Azure Managed Grafana ke Eventhouse atau membuat aplikasi web yang mengkueri Eventhouse secara langsung.

9. Teknisi data dan insinyur R&D menggunakan Data Activator untuk membuat item refleks untuk memantau kondisi dan memicu tindakan, seperti memicu alur Power Automate untuk integrasi bisnis. Misalnya, Data Activator dapat memberi tahu saluran Teams jika kesehatan perangkat terdegradasi.

10. Konfigurasi pengumpul data memungkinkan teknisi mengubah kebijakan pengumpulan data perangkat penangkapan data. Azure API Management mengabstraksi dan mengamankan API konfigurasi mitra dan memberikan pengamatan.

Skema database KQL

Saat Anda mendesain skema tabel, pertimbangkan perbedaan antara fact tabel dan dimension tabel. Telemetri adalah fact tabel karena sinyal kendaraan ditambahkan secara progresif dengan cara streaming atau sebagai bagian dari rekaman lengkap, dan telemetri tidak berubah. Anda dapat mengklasifikasikan metadata armada sebagai fact tabel yang diperbarui secara perlahan.

Telemetri kendaraan mendarat di meja mentah. Anda dapat menggunakan konsep pemrosesan pesan berikut untuk mengatur data untuk analisis dan pelaporan:

• Buat kebijakan pembaruan untuk memperluas file telemetri JSON ke dalam catatan sinyal kendaraan individual dengan menggunakan metode seperti:

  • mv-expand() memperluas nilai kompleks yang disimpan dalam struktur JSON ke dalam baris dengan sinyal individual.
  • geo_point_to_h3cell() atau geo_point_to_geohash() mengonversi garis lintang dan bujur menjadi geohash untuk analitik geospasial.
  • todouble() dan tostring() mentransmisikan nilai yang diekstrak dari objek JSON dinamis ke dalam jenis data yang sesuai.
  • lookup memperluas rekaman dengan nilai dari tabel dimensi.

• Buat tampilan materialisasi Signals Deduped dengan menggunakan fungsi take_any() agregasi pada kunci dan tanda waktu unik. Tampilan materialisasi ini mendeduplikasi sinyal.

• Buat tampilan Materialisasi Nilai Sinyal Terakhir yang Diketahui dengan menggunakan fungsi arg_max() agregasi pada tanda waktu. Tampilan materialisasi ini memberikan status terbaru kendaraan.

• Buat tampilan materialisasi Signals Downsampled dengan menggunakan operator ringkasan dengan bin waktu seperti per jam dan harian. Tampilan materialisasi ini menggabungkan sinyal dan menyederhanakan pelaporan di seluruh armada.

• Buat fungsi yang ditentukan pengguna yang menyediakan deteksi anomali atau analisis akar penyebab.

  • Gunakan fungsi rangkaian waktu untuk deteksi anomali dan prakiraan untuk mendeteksi potensi masalah dan memprediksi kegagalan.

  • Gunakan operator pemindaian untuk memindai, mencocokkan, dan menyusun urutan dari data. Teknisi dapat menggunakan scan operator untuk mendeteksi urutan. Misalnya, jika peristiwa tertentu terjadi, maka peristiwa berikutnya harus terjadi dalam jumlah waktu tertentu.

  • Gunakan plugin pembelajaran mesin seperti autocluster untuk menemukan pola umum atribut diskrit.

• Lakukan analitik geospasial dengan fungsi yang ditentukan pengguna. Gunakan fungsi analitik geospasial untuk mengonversi koordinat ke sistem kisi yang sesuai dan melakukan agregasi pada data.

• Buat tabel metadata armada untuk menyimpan perubahan pada metadata dan konfigurasi kendaraan. Buat metadata armadata tampilan materialisasi nilai terakhir yang diketahui untuk menyimpan status terbaru armada kendaraan berdasarkan kolom yang dimodifikasi terakhir kali.

Komponen

Teknologi utama berikut mengimplementasikan beban kerja ini. Untuk setiap komponen dalam arsitektur, gunakan panduan layanan yang relevan dalam Kerangka Kerja Well-Architected jika tersedia. Untuk informasi selengkapnya, lihat Panduan layanan Well-Architected Framework.

• Fabric Real-Time Intelligence memungkinkan ekstraksi wawasan dan visualisasi telemetri kendaraan bergerak. Anda dapat menggunakan eventstream dan database KQL seri waktu untuk menyimpan dan menganalisis data dan menggunakan refleks untuk bereaksi terhadap peristiwa.

• Data Activator adalah alat tanpa kode yang dapat Anda gunakan untuk mengotomatiskan tindakan saat pola atau kondisi berubah dalam data.

• Event Grid adalah layanan distribusi pesan Terbitkan/Berlangganan yang sangat dapat diskalakan dan dikelola sepenuhnya yang mendukung protokol MQTT. Kendaraan dapat menggunakan Event Grid untuk menerbitkan dan berlangganan topik, misalnya mereka dapat menerbitkan telemetri dan berlangganan pesan perintah dan kontrol.

• Azure Event Hubs adalah platform streaming data real-time yang sangat cocok untuk streaming jutaan peristiwa kendaraan per detik dengan latensi rendah.

• Functions adalah solusi tanpa server yang menyederhanakan pemrosesan peristiwa telemetri kendaraan dalam skala besar dengan pemicu dan pengikatan berbasis peristiwa dengan menggunakan bahasa pilihan Anda.

• Azure Managed Grafana adalah platform visualisasi data yang didasarkan pada perangkat lunak dari Grafana Labs. Microsoft mengelola dan mendukung Azure Managed Grafana.

• Azure App Service memungkinkan Anda membangun dan menghosting aplikasi web, back end seluler, dan API RESTful yang menyediakan akses ke data telemetri kendaraan yang disimpan di Fabric. Pendekatan ini menyederhanakan konsumsi.

• API Management adalah platform manajemen multicloud hibrid untuk API.

Alternatif

Anda juga dapat menggunakan layanan Azure berikut untuk menerapkan arsitektur ini:

• Azure Blob Storage menyimpan sejumlah besar data yang tidak terstruktur, seperti rekaman, log, dan video dari kendaraan. Ini menggantikan penyimpanan OneLake.

• Azure Data Explorer adalah layanan analitik data yang cepat dan dikelola sepenuhnya untuk analisis real time. Ini menggantikan database Fabric Real-Time Intelligence KQL.

• Azure Batch adalah alternatif yang dapat Anda gunakan untuk mendekode file kompleks. Skenario ini melibatkan sejumlah besar file yang masing-masing lebih dari 300 megabyte. File memerlukan algoritma decoding yang berbeda berdasarkan versi file atau jenis file. Anda dapat menggunakan Fabric atau menggunakan Blob Storage dan Azure Data Explorer untuk menerapkan pendekatan berikut.

1. Pengguna atau perangkat perekam mengunggah file data yang direkam ke lakehouse. Setelah pengunggahan selesai, ini memicu aplikasi Functions yang menjadwalkan decoding.

2. Penjadwal memulai aplikasi Functions yang membuat pekerjaan batch berdasarkan jenis file, ukuran file, dan algoritma decoding yang diperlukan. Aplikasi ini memilih komputer virtual dengan ukuran yang sesuai dari kumpulan dan memulai pekerjaan.

3. Batch menulis file yang didekodekan yang dihasilkan kembali ke lakehouse ketika pekerjaan selesai. File ini harus cocok untuk penyerapan langsung dalam format yang didukung Eventhouse.

4. Lakehouse memicu fungsi yang menyerap data ke Dalam Eventhouse setelah penulisan file. Fungsi ini membuat tabel dan pemetaan data jika perlu dan memulai proses penyerapan.

5. Database KQL menyerap file data dari lakehouse.

Pendekatan ini memberikan manfaat berikut:

• Fungsi dan kumpulan Batch dapat menangani tugas pemrosesan data yang dapat diskalakan dengan kuat dan efisien.

• Kumpulan batch memberikan wawasan tentang statistik pemrosesan, antrean tugas, dan kesehatan kumpulan batch. Anda dapat memvisualisasikan status, mendeteksi masalah, dan menjalankan ulang tugas yang gagal.

• Kombinasi Functions dan Batch mendukung pemrosesan plug-and-play dalam kontainer Docker.

• Anda dapat menggunakan komputer virtual spot untuk memproses file selama waktu di luar puncak. Pendekatan ini menghemat uang.

Detail skenario

OEM otomotif menggunakan armada besar prototipe dan kendaraan uji untuk menguji dan memverifikasi beberapa fungsi kendaraan. Prosedur pengujian mahal karena membutuhkan pengemudi dan kendaraan nyata, dan skenario pengujian jalan dunia nyata tertentu harus melewati beberapa kali. Pengujian integrasi sangat penting untuk mengevaluasi interaksi antara komponen listrik, elektronik, dan mekanik dalam sistem yang kompleks.

Untuk memvalidasi fungsi kendaraan dan menganalisis anomali dan kegagalan, Anda harus menangkap petabyte data diagnostik dari unit kontrol elektronik (EKUs), simpul komputer, bus komunikasi kendaraan seperti Controller Area Network (CAN) dan Ethernet, dan sensor.

Di masa lalu, server pencatat data kecil di kendaraan menyimpan data diagnostik secara lokal sebagai Format Data Pengukuran (MDF), ekstensi fusi multimedia (MFX), CSV, atau file JSON. Setelah uji coba selesai, server mengunggah data diagnostik ke pusat data, yang memprosesnya dan mengirimkannya ke insinyur R&D untuk analitik. Proses ini bisa memakan waktu berjam-jam atau terkadang berjam-hari. Skenario terbaru menggunakan pola penyerapan telemetri seperti aliran data sinkron berbasis Message Queuing Telemetry Transport (MQTT) atau pengunggahan file mendekati real-time.

Kemungkinan kasus penggunaan

• Manajemen kendaraan mengevaluasi performa dan mengumpulkan data per kendaraan di beberapa skenario pengujian.

• Validasi sistem dan komponen menggunakan data kendaraan yang dikumpulkan untuk memverifikasi bahwa perilaku komponen kendaraan termasuk dalam batas operasional di seluruh perjalanan.

• Deteksi anomali menemukan pola penyimpangan nilai sensor relatif terhadap pola garis besar khasnya secara real time.

• Analisis akar penyebab menggunakan plugin pembelajaran mesin seperti algoritma pengklusteran untuk mengidentifikasi perubahan distribusi nilai pada beberapa dimensi.

• Pemeliharaan prediktif menggabungkan beberapa sumber data, data lokasi yang diperkaya, dan sinyal kendaraan untuk memprediksi waktu komponen gagal.

• Evaluasi keberlanjutan menggunakan perilaku pengemudi dan konsumsi energi untuk mengevaluasi dampak lingkungan operasi kendaraan.

• Balap otomotif untuk memahami dan meningkatkan performa kendaraan sebelum, selama, dan setelah balapan.

Pertimbangan

Pertimbangan ini mengimplementasikan pilar Azure Well-Architected Framework, yang merupakan serangkaian tenet panduan yang dapat digunakan untuk meningkatkan kualitas beban kerja. Untuk informasi selengkapnya, lihat Microsoft Azure Well-Architected Framework.

Keandalan

Keandalan memastikan aplikasi Anda dapat mencapai komitmen yang Anda buat kepada pelanggan Anda. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk Keandalan.

• Zona ketersediaan Azure adalah lokasi fisik unik dalam wilayah Azure yang sama. Zona ketersediaan dapat melindungi kluster dan data komputasi Azure Data Explorer dari kegagalan wilayah parsial.

• Kelangsungan bisnis dan pemulihan bencana (BCDR) di Azure Data Explorer memungkinkan bisnis Anda terus beroperasi dalam menghadapi gangguan.

• Database pengikut memisahkan sumber daya komputasi antara kasus penggunaan produksi dan nonproduksi.

Keamanan

Keamanan memberikan jaminan terhadap serangan yang disukai dan penyalahgunaan data dan sistem berharga Anda. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk Keamanan.

Penting untuk memahami pembagian tanggung jawab antara OEM otomotif dan Microsoft. Di kendaraan, OEM memiliki seluruh tumpukan, tetapi saat data berpindah ke cloud, beberapa tanggung jawab ditransfer ke Microsoft. Platform as a service (PaaS) Azure menyediakan keamanan bawaan pada tumpukan fisik, termasuk sistem operasi.

• Gunakan Azure Policy untuk menerapkan pagar pembatas keamanan.

• Tinjau gambaran umum tata kelola dan panduan untuk Fabric.

• Gunakan titik akhir privat untuk menyediakan keamanan jaringan untuk semua layanan.

  • Gunakan titik akhir privat untuk Azure Data Explorer.

  • Izinkan akses ke namespace Layanan Azure Event Hubs melalui titik akhir privat.

• Mengenkripsi data tidak aktif dan data saat transit.

• Gunakan identitas Microsoft Entra dan kebijakan Microsoft Entra Conditional Access .

• Gunakan keamanan tingkat baris (RLS) untuk database KQL dan Azure Data Explorer.

• Gunakan pernyataan batasi saat Anda menerapkan aplikasi middleware dengan akses ke database KQL. Konfigurasi ini membuat model logis yang membatasi akses pengguna ke data.

Semua fitur ini membantu OEM otomotif menciptakan lingkungan yang aman untuk data telemetri kendaraan mereka. Untuk informasi selengkapnya, lihat Keamanan di Fabric.

Pengoptimalan biaya

Optimalisasi biaya adalah tentang mencari cara untuk mengurangi pengeluaran yang tidak perlu dan meningkatkan efisiensi operasional. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk Pengoptimalan Biaya.

Solusi ini menggunakan praktik berikut untuk membantu mengoptimalkan biaya:

• Konfigurasikan cache panas dan penyimpanan dingin dengan benar untuk tabel mentah dan sinyal. Cache data panas disimpan dalam RAM atau SSD dan memberikan peningkatan performa. Namun, data dingin 45 kali lebih murah. Tetapkan kebijakan singgahan panas yang memadai untuk kasus penggunaan Anda, seperti 30 hari.

• Siapkan kebijakan penyimpanan pada tabel mentah dan tabel sinyal. Tentukan kapan data sinyal tidak lagi relevan, seperti setelah 365 hari, dan tetapkan kebijakan retensi yang sesuai.

• Pertimbangkan sinyal mana yang relevan untuk analisis.

• Gunakan tampilan materialisasi saat Anda mengkueri nilai sinyal yang terakhir diketahui, sinyal yang di-deduped, dan sinyal downsampled. Tampilan materialisasi menggunakan lebih sedikit sumber daya daripada melakukan agregasi tabel sumber pada setiap kueri.

• Pertimbangkan kebutuhan analitik data real time Anda. Siapkan penyerapan streaming untuk tabel telemetri langsung untuk memberikan latensi kurang dari satu detik antara penyerapan dan kueri. Pendekatan ini meningkatkan siklus dan biaya CPU.

Efisiensi kinerja

Efisiensi performa adalah kemampuan beban kerja Anda untuk diskalakan agar memenuhi permintaan yang diberikan oleh pengguna dengan cara yang efisien. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk Efisiensi Performa.

• Pertimbangkan untuk menggunakan Batch untuk melakukan decoding jika jumlah dan ukuran file data yang direkam lebih dari 1.000 file atau 300 MB per hari.

• Pertimbangkan untuk melakukan perhitungan dan analisis umum setelah menyerap dan menyimpannya dalam tabel tambahan.

• Gunakan praktik terbaik kueri KQL untuk membuat kueri Anda berjalan lebih cepat.

• where Gunakan klausa untuk menentukan jendela waktu untuk mengurangi jumlah data yang dikueri. Pertimbangkan untuk mengubah kebijakan partisi data untuk tabel sinyal jika kriteria pencarian umum Anda tidak berbasis waktu, misalnya jika Anda memfilter dengan merekam ID dan nama sinyal. Ketika database KQL diperluas untuk berisi miliaran atau triliunan rekaman, filtrasi data yang tepat menjadi penting, terutama mempertimbangkan kebijakan partisi aktif.

Menyebarkan skenario ini

Gunakan tutorial langkah demi langkah untuk menyebarkan skenario ini. Panduan ini menunjukkan cara menyebarkan instans gratis, mengurai file MDF, menyerap data, dan melakukan beberapa kueri dasar.

Kontributor

Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.

Penulis utama:

• Boris Scholl | Mitra, Kepala Arsitek
• Frank Kaleck | Otomotif Industry Advisor
• Henning Rauch | Manajer Program Utama
• Mario Ortegon-Cabrera | Manajer Program Utama

Kontributor lain:

• Devang Shah | Manajer Program Utama
• Hans-Peter Bareiner | Arsitek Solusi Cloud
• Jason Bouska | Sr. Software Engineer

Untuk melihat profil LinkedIn non-publik, masuk ke LinkedIn.

Langkah berikutnya

• Fitur broker MQTT di Event Grid
• Menambahkan tujuan database KQL ke eventstream
• Mendapatkan data dari OneLake
• Tampilan Materialisasi
• Membuat dasbor real-time
• Membuat pemberitahuan Data Activator dari dasbor real-time
• Laporan Power BI
• Memvisualisasikan data dari Azure Data Explorer di Grafana
• Arsitektur referensi pesan, data, dan analitik otomotif

Sumber daya terkait

• Toolchain DevOps kendaraan yang ditentukan perangkat lunak
• Panduan desain operasi kendaraan otonom
• Pola Pemeriksaan Klaim