Analitik data untuk armada uji otomotif

Microsoft Fabric

Azure Data Explorer

Pusat Aktivitas Azure

Azure Functions

Kisi Aktivitas Azure

Produsen peralatan asli (OEM) otomotif membutuhkan solusi untuk meminimalkan waktu antara uji coba dan mengirimkan data diagnostik uji coba ke insinyur R&D. Ketika kendaraan menjadi lebih otomatis, siklus hidup pengembangan perangkat lunak menjadi lebih pendek, yang membutuhkan perulangan umpan balik digital yang lebih cepat. Teknologi baru dapat mendemokratisasi akses data dan menyediakan insinyur R&D dengan wawasan nyaris waktu nyata ke dalam data diagnosa uji coba. Gunakan Copilot untuk Ilmu Data dan Rekayasa Data dalam analitik data guna lebih mengurangi waktu untuk memperoleh wawasan. Berbagi data yang aman dapat meningkatkan kolaborasi antara OEM dan pemasok dan mengurangi waktu siklus pengembangan.

Panduan dalam artikel ini adalah untuk skenario telemetri dan skenario pengambilan data uji batch. Arsitektur ini berfokus pada platform data yang memproses data diagnostik dan konektor untuk visualisasi data dan pelaporan data.

Architecture

Unduh file PowerPoint dengan semua diagram dalam artikel ini.

Aliran Data

Aliran data berikut sesuai dengan diagram sebelumnya:

Perangkat penangkapan data terhubung ke jaringan kendaraan dan mengumpulkan data dan video sinyal kendaraan resolusi tinggi. (1a) Perangkat menerbitkan pesan telemetri real time atau (1b) meminta pengunggahan file data yang direkam ke fungsionalitas broker Azure Event Grid MQTT dengan menggunakan klien MQTT. Fungsionalitas ini menggunakan pola Claim-Check.
(2a) Event Grid merutekan data sinyal kendaraan langsung ke aplikasi Azure Functions. Aplikasi ini mendekode sinyal kendaraan ke format JavaScript Object Notation (JSON) dan mempostingnya ke eventstream.

(2b) Event Grid mengoordinasikan pengunggahan file dari klien perangkat ke lakehouse. Unggahan file yang telah selesai memicu pipeline yang mendekode data dan menulis file yang didekodekan ke OneLine dalam format yang sesuai untuk diolah, seperti parquet atau CSV.
(3a) Eventstream mengalirkan sinyal JSON kendaraan yang telah didekode untuk penyerapan di Eventhouse.

(3b) Alur data memicu penyerapan file yang didekodekan dari lakehouse.
Eventhouse menggunakan kebijakan pembaruan untuk memperkaya data dan memperluas data JSON ke dalam format baris yang sesuai, misalnya data lokasi mungkin diklusterkan agar selaras dengan analitik geospasial. Setiap kali baris baru diserap, mesin analitik real-time memanggil fungsi terkait Update() .
Teknisi data dan ilmuwan data menggunakan Bahasa Kueri Kusto (KQL) untuk membangun kasus penggunaan analitik. Pengguna menyimpan kasus yang sering digunakan sebagai fungsi yang ditentukan pengguna yang dapat dibagikan. Teknisi menggunakan fungsi KQL bawaan seperti agregasi, analisis rangkaian waktu, pengklusteran geospasial, windowing, dan plugin pembelajaran mesin dengan dukungan Copilot.
Teknisi R&D dan ilmuwan data menggunakan notebook untuk menganalisis data dan membangun kasus penggunaan pengujian dan validasi.
1. Insinyur R&D menggunakan KQL query sets dan Copilot for Real-Time Intelligence untuk melakukan analisis data interaktif.
2. Teknisi data dan ilmuwan data menggunakan notebook untuk menyimpan dan berbagi proses analisis mereka. Dengan notebook, teknisi dapat menggunakan Azure Spark untuk menjalankan analitik dan menggunakan Git untuk mengelola kode notebook. Pengguna dapat memanfaatkan Copilot untuk Ilmu Data dan Rekayasa Data untuk mendukung alur kerja mereka dengan saran kode kontekstual.
Teknisi R&D dan ilmuwan data dapat menggunakan Power BI dengan kueri dinamis atau dasbor analitik real time untuk membuat visualisasi untuk dibagikan dengan pengguna bisnis. Visualisasi ini memanggil fungsi yang ditentukan pengguna untuk kemudahan pemeliharaan.
Teknisi juga dapat menghubungkan lebih banyak alat ke Microsoft Fabric. Misalnya, mereka dapat menghubungkan Azure Managed Grafana ke Eventhouse atau membuat aplikasi web yang mengkueri Eventhouse secara langsung.
Teknisi data dan insinyur R&D menggunakan Data Activator untuk membuat item refleks untuk memantau kondisi dan memicu tindakan, seperti memicu alur Power Automate untuk integrasi bisnis. Misalnya, Data Activator dapat memberi tahu saluran Teams jika kesehatan perangkat terdegradasi.
Konfigurasi pengumpul data memungkinkan teknisi mengubah kebijakan pengumpulan data perangkat penangkapan data. Azure API Management mengabstraksi dan mengamankan API konfigurasi mitra dan memberikan pengamatan.

Skema database KQL

Saat Anda mendesain skema tabel, pertimbangkan perbedaan antara fact tabel dan dimension tabel. Telemetri adalah fact tabel karena sinyal kendaraan ditambahkan secara progresif dengan cara streaming atau sebagai bagian dari rekaman lengkap, dan telemetri tidak berubah. Anda dapat mengklasifikasikan metadata armada sebagai fact tabel yang diperbarui secara perlahan.

Telemetri kendaraan disimpan dalam tabel mentah. Anda dapat menggunakan konsep pemrosesan pesan berikut untuk mengatur data untuk analisis dan pelaporan:

Buat kebijakan pembaruan untuk memperluas file telemetri JSON ke dalam catatan sinyal kendaraan individual dengan menggunakan metode seperti:
- mv-expand() memperluas nilai kompleks yang disimpan dalam struktur JSON ke dalam baris dengan sinyal individual.
- geo_point_to_h3cell() atau geo_point_to_geohash() mengonversi garis lintang dan bujur menjadi geohash untuk analitik geospasial.
- todouble() dan tostring() mentransmisikan nilai yang diekstrak dari objek JSON dinamis ke dalam jenis data yang sesuai.
- lookup memperluas rekaman dengan nilai dari tabel dimensi.
Buat tampilan materialisasi Signals Deduped dengan menggunakan fungsi take_any() agregasi pada kunci dan tanda waktu unik. Tampilan materialized ini menghilangkan duplikasi sinyal.
Buat tampilan materialisasi Nilai Sinyal Terakhir yang Diketahui dengan menggunakan fungsi agregasi arg_max() pada timestamp. Tampilan terwujud ini memberikan status terkini dari kendaraan.
Buat tampilan materialisasi Signals Downsampled dengan menggunakan operator ringkasan dengan bin waktu seperti per jam dan harian. Tampilan materialisasi ini menggabungkan sinyal dan menyederhanakan pelaporan di seluruh armada.
Buat fungsi yang ditentukan pengguna yang menyediakan deteksi anomali atau analisis akar penyebab.
- Gunakan fungsi rangkaian waktu untuk deteksi anomali dan prakiraan untuk mendeteksi potensi masalah dan memprediksi kegagalan.
- Gunakan operator pemindaian untuk memindai, mencocokkan, dan menyusun urutan dari data. Teknisi dapat menggunakan scan operator untuk mendeteksi urutan. Misalnya, jika peristiwa tertentu terjadi, maka peristiwa berikutnya harus terjadi dalam jumlah waktu tertentu.
- Gunakan plugin pembelajaran mesin seperti autocluster untuk menemukan pola umum atribut diskrit.
Lakukan analitik geospasial dengan fungsi yang ditentukan pengguna. Gunakan fungsi analitik geospasial untuk mengonversi koordinat ke sistem kisi yang sesuai dan melakukan agregasi pada data.
Buat tabel metadata armada untuk menyimpan perubahan pada metadata dan konfigurasi kendaraan. Buat tampilan materialisasi nilai terakhir yang diketahui dari metadata armada untuk menyimpan status terbaru armada kendaraan berdasarkan kolom yang terakhir kali dimodifikasi.

Components

Teknologi utama berikut mengimplementasikan beban kerja ini. Untuk setiap komponen dalam arsitektur, gunakan panduan layanan yang relevan dalam Kerangka Kerja Well-Architected jika tersedia. Untuk informasi selengkapnya, lihat Panduan layanan Well-Architected Framework.

Fabric Real-Time Intelligence adalah layanan yang menyerap, menganalisis, dan bereaksi terhadap streaming data melalui eventstream dan database KQL. Dalam arsitektur ini, ia menyimpan dan memproses telemetri kendaraan yang bergerak, yang memungkinkan analitik real time dan memicu tindakan otomatis melalui refleks.
Data Activator adalah alat otomatisasi tanpa kode yang merespons pola dan kondisi data. Dalam arsitektur ini, ia memantau data telemetri dan memicu tindakan seperti pemberitahuan atau alur Power Automate saat data memenuhi kondisi yang telah ditentukan sebelumnya.
Event Grid adalah layanan perutean peristiwa terkelola yang mendukung MQTT dan protokol lainnya. Dalam arsitektur ini, sistem ini mendistribusikan telemetri dan peristiwa unggahan file dari kendaraan ke layanan hilir seperti Azure Functions dan lakehouse. Kendaraan dapat menggunakan Event Grid untuk menerbitkan dan berlangganan topik. Misalnya, mereka dapat menerbitkan telemetri dan berlangganan pesan perintah dan kontrol.
Azure Event Hubs adalah platform streaming data real time yang dirancang untuk skenario throughput tinggi. Dalam arsitektur ini, ia menyerap jutaan peristiwa telemetri kendaraan per detik dengan latensi rendah untuk pemrosesan real time.
Functions adalah layanan komputasi tanpa server yang menjalankan kode sebagai respons terhadap peristiwa. Dalam arsitektur ini, ini mendekode data telemetri, mengatur penyerapan file, dan memicu alur kerja analitik hilir. Ini menyederhanakan pemrosesan peristiwa telemetri kendaraan dalam skala besar dengan pemicu dan pengikatan berbasis peristiwa dengan menggunakan bahasa pilihan Anda.
Azure Managed Grafana adalah platform visualisasi data berdasarkan perangkat lunak dari Grafana Labs. Microsoft mengelola dan mendukung Azure Managed Grafana. Dalam arsitektur ini, ia memvisualisasikan data telemetri yang disimpan di eventhouse, yang mendukung dasbor untuk tim teknik dan operasi.
Azure App Service adalah layanan untuk membangun dan menghosting aplikasi web dan API. Dalam arsitektur ini, ia mengekspos data telemetri kendaraan yang disimpan dalam Fabric melalui API RESTful yang digunakan aplikasi eksternal.
API Management adalah platform multicloud hibrid untuk mengelola API. Dalam arsitektur ini, ia mengamankan dan mengabstraksi akses ke API yang menghadap mitra yang digunakan untuk mengonfigurasi perangkat penangkapan data dan mengintegrasikan alur kerja bisnis.

Alternatives

Anda juga dapat menggunakan layanan Azure berikut untuk menerapkan arsitektur ini:

Azure Blob Storage menyimpan sejumlah besar data yang tidak terstruktur, seperti rekaman, log, dan video dari kendaraan. Ini menggantikan penyimpanan OneLake.
Azure Data Explorer adalah layanan analitik data yang cepat dan dikelola sepenuhnya untuk analisis real time. Ini menggantikan database Fabric Real-Time Intelligence KQL.
Azure Batch adalah alternatif yang dapat Anda gunakan untuk mendekode file kompleks. Skenario ini melibatkan sejumlah besar file yang masing-masing lebih dari 300 megabyte. File memerlukan algoritma decoding yang berbeda berdasarkan versi file atau jenis file. Anda dapat menggunakan Fabric atau menggunakan Blob Storage dan Azure Data Explorer untuk menerapkan pendekatan berikut.

Pengguna atau perangkat perekam mengunggah file data yang direkam ke lakehouse. Setelah pengunggahan selesai, ini memicu aplikasi Functions yang menjadwalkan decoding.
Penjadwal memulai aplikasi Functions yang membuat pekerjaan batch berdasarkan jenis file, ukuran file, dan algoritma decoding yang diperlukan. Aplikasi ini memilih mesin virtual dengan ukuran yang sesuai dari kumpulan dan memulai tugas.
Batch menuliskan file hasil dekode kembali ke lakehouse ketika pekerjaan selesai. File ini harus cocok untuk penyerapan langsung dalam format yang didukung Eventhouse.
Lakehouse memicu suatu fungsi yang memasukkan data ke dalam Eventhouse ketika file ditulis. Fungsi ini membuat tabel dan pemetaan data jika perlu dan memulai proses penyerapan.
Database KQL menyerap file data dari lakehouse.

Pendekatan ini memberikan manfaat berikut:

Fungsi dan kumpulan Batch dapat menangani tugas pemrosesan data yang dapat diskalakan dengan kuat dan efisien.
Kumpulan batch memberikan wawasan tentang statistik pemrosesan, antrean tugas, dan kesehatan kumpulan batch. Anda dapat memvisualisasikan status, mendeteksi masalah, dan menjalankan ulang tugas yang gagal.
Kombinasi Functions dan Batch mendukung pemrosesan plug-and-play dalam kontainer Docker.
Anda dapat menggunakan mesin virtual spot untuk memproses file selama waktu di luar puncak. Pendekatan ini menghemat uang.

Detail skenario

OEM otomotif menggunakan armada besar prototipe dan kendaraan uji untuk menguji dan memverifikasi beberapa fungsi kendaraan. Prosedur pengujian mahal karena membutuhkan pengemudi dan kendaraan nyata, dan skenario pengujian jalan dunia nyata tertentu harus melewati beberapa kali. Pengujian integrasi sangat penting untuk mengevaluasi interaksi antara komponen listrik, elektronik, dan mekanik dalam sistem yang kompleks.

Untuk memvalidasi fungsi kendaraan dan menganalisis anomali dan kegagalan, Anda harus menangkap petabyte data diagnostik dari unit kontrol elektronik (EKUs), simpul komputer, bus komunikasi kendaraan seperti Controller Area Network (CAN) dan Ethernet, dan sensor.

Di masa lalu, server pencatat data kecil di kendaraan menyimpan data diagnostik secara lokal sebagai Format Data Pengukuran (MDF), ekstensi fusi multimedia (MFX), CSV, atau file JSON. Setelah uji coba selesai, server mengunggah data diagnostik ke pusat data, yang memprosesnya dan mengirimkannya ke insinyur R&D untuk analitik. Proses ini bisa memakan waktu berjam-jam atau terkadang berjam-hari. Skenario terbaru menggunakan pola penyerapan telemetri seperti aliran data sinkron berbasis Message Queuing Telemetry Transport (MQTT) atau pengunggahan file mendekati real-time.

Kemungkinan kasus penggunaan

Manajemen kendaraan mengevaluasi performa dan mengumpulkan data per kendaraan di beberapa skenario pengujian.
Validasi sistem dan komponen menggunakan data kendaraan yang dikumpulkan untuk memverifikasi bahwa perilaku komponen kendaraan termasuk dalam batas operasional di seluruh perjalanan.
Deteksi anomali menemukan pola penyimpangan nilai sensor relatif terhadap pola garis besar khasnya secara real time.
Analisis akar penyebab menggunakan plugin pembelajaran mesin seperti algoritma pengklusteran untuk mengidentifikasi perubahan distribusi nilai pada beberapa dimensi.
Pemeliharaan prediktif menggabungkan beberapa sumber data, data lokasi yang diperkaya, dan sinyal kendaraan untuk memprediksi waktu komponen gagal.
Evaluasi keberlanjutan menggunakan perilaku pengemudi dan konsumsi energi untuk mengevaluasi dampak lingkungan operasi kendaraan.
Balap otomotif untuk memahami dan meningkatkan performa kendaraan sebelum, selama, dan setelah balapan.

Considerations

Pertimbangan ini mengimplementasikan pilar Azure Well-Architected Framework, yang merupakan serangkaian tenet panduan yang dapat digunakan untuk meningkatkan kualitas beban kerja. Untuk informasi selengkapnya, lihat Microsoft Azure Well-Architected Framework.

Reliability

Keandalan memastikan aplikasi Anda dapat mencapai komitmen yang Anda buat kepada pelanggan Anda. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk Keandalan.

Zona ketersediaan Azure adalah lokasi fisik unik dalam wilayah Azure yang sama. Zona ketersediaan dapat melindungi kluster dan data komputasi Azure Data Explorer dari kegagalan wilayah parsial.
Kelangsungan bisnis dan pemulihan bencana (BCDR) di Azure Data Explorer memungkinkan bisnis Anda terus beroperasi dalam menghadapi gangguan.
Database pengikut memisahkan sumber daya komputasi antara kasus penggunaan produksi dan nonproduksi.

Keamanan

Keamanan memberikan jaminan terhadap serangan yang disengaja dan penyalahgunaan data serta sistem berharga Anda. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk Keamanan.

Penting untuk memahami pembagian tanggung jawab antara OEM otomotif dan Microsoft. Di kendaraan, OEM memiliki seluruh tumpukan, tetapi saat data berpindah ke cloud, beberapa tanggung jawab ditransfer ke Microsoft. Platform as a service (PaaS) Azure menyediakan keamanan bawaan pada tumpukan fisik, termasuk sistem operasi.

Gunakan Azure Policy untuk menerapkan pagar pembatas keamanan.
Tinjau gambaran umum tata kelola dan panduan untuk Fabric.
Gunakan titik akhir privat untuk menyediakan keamanan jaringan untuk semua layanan.
- Gunakan titik akhir privat untuk Azure Data Explorer.
- Izinkan akses ke namespace Event Hubs melalui titik akhir privat.
Mengenkripsi data yang tersimpan dan data yang sedang dikirim.
Gunakan identitas Microsoft Entra dan kebijakan Akses Bersyarat Microsoft Entra .
Gunakan keamanan tingkat baris (RLS) untuk database KQL dan Azure Data Explorer.
Gunakan pernyataan batasi saat Anda menerapkan aplikasi middleware dengan akses ke database KQL. Konfigurasi ini membuat model logis yang membatasi akses pengguna ke data.

Semua fitur ini membantu OEM otomotif menciptakan lingkungan yang aman untuk data telemetri kendaraan mereka. Untuk informasi selengkapnya, lihat Keamanan di Fabric.

Pengoptimalan Biaya

Pengoptimalan Biaya adalah tentang melihat cara untuk mengurangi pengeluaran yang tidak perlu dan meningkatkan efisiensi operasional. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk Pengoptimalan Biaya.

Solusi ini menggunakan praktik berikut untuk membantu mengoptimalkan biaya:

Konfigurasikan cache panas dan penyimpanan dingin dengan benar untuk tabel data mentah dan sinyal. Cache data panas disimpan dalam RAM atau SSD dan memberikan peningkatan performa. Namun, data dingin 45 kali lebih murah. Tetapkan pengaturan cache panas yang memadai untuk kasus penggunaan Anda, seperti 30 hari.
Siapkan kebijakan penyimpanan pada tabel mentah dan tabel sinyal. Tentukan kapan data sinyal tidak lagi relevan, seperti setelah 365 hari, dan tetapkan kebijakan retensi yang sesuai.
Pertimbangkan sinyal mana yang relevan untuk analisis.
Gunakan tampilan materialized saat Anda meng-queri nilai sinyal yang terakhir diketahui, sinyal yang sudah di-de-duplikasi, dan sinyal yang sudah di-downsample. Tampilan materialisasi menggunakan lebih sedikit sumber daya daripada melakukan agregasi tabel sumber pada setiap kueri.
Pertimbangkan kebutuhan analitik data real time Anda. Siapkan penyerapan streaming untuk tabel telemetri langsung agar menghasilkan latensi kurang dari satu detik dari penyerapan hingga kueri. Pendekatan ini meningkatkan siklus dan biaya CPU.

Efisiensi Performa

Efisiensi Performa adalah kemampuan beban kerja Anda untuk menskalakan untuk memenuhi tuntutan yang ditempatkan di atasnya oleh pengguna dengan cara yang efisien. Untuk informasi selengkapnya, lihat Daftar periksa tinjauan desain untuk Efisiensi Kinerja.

Pertimbangkan untuk menggunakan Batch untuk melakukan decoding jika jumlah dan ukuran file data yang direkam lebih dari 1.000 file atau 300 MB per hari.
Pertimbangkan untuk melakukan perhitungan dan analisis umum setelah menyerap dan menyimpannya dalam tabel tambahan.
Gunakan praktik terbaik kueri KQL untuk membuat kueri Anda beroperasi lebih cepat.
where Gunakan klausa untuk menentukan jendela waktu untuk mengurangi jumlah data yang dikueri. Pertimbangkan untuk mengubah kebijakan partisi data untuk tabel sinyal jika kriteria pencarian umum Anda tidak berbasis waktu, misalnya jika Anda memfilter dengan merekam ID dan nama sinyal. Ketika database KQL diperluas untuk berisi miliaran atau triliunan rekaman, filtrasi data yang tepat menjadi penting, terutama mempertimbangkan kebijakan partisi aktif.

Warning

Konsultasikan dengan tim dukungan Anda sebelum Anda mengubah kebijakan partisi data.

Menyebarkan skenario ini

Gunakan tutorial langkah demi langkah untuk menyebarkan skenario ini. Panduan ini menunjukkan cara menyebarkan instans gratis, mengurai file MDF, menyerap data, dan melakukan beberapa kueri dasar.

Contributors

Artikel ini dikelola oleh Microsoft. Ini awalnya ditulis oleh kontributor berikut.

Penulis utama:

Boris Scholl | Mitra, Arsitek Utama
Frank Kaleck | Penasihat Industri Otomotif
Henning Rauch | Manajer Program Utama
Mario Ortegon-Cabrera | Manajer Program Utama

Kontributor lain:

Devang Shah | Manajer Program Utama
Hans-Peter Bareiner | Arsitek Solusi Cloud
Jason Bouska | Insinyur Perangkat Lunak Senior, Pola & Praktik Azure

Untuk melihat profil LinkedIn non-publik, masuk ke LinkedIn.

Langkah selanjutnya

Saran dan Komentar

Apakah halaman ini membantu?