Otomotiv OEM'leri, test sürüşü yapma ve ar-ge mühendislerine test sürüşü tanılama verilerini alma arasındaki süreyi en aza indirmek için çözümlere ihtiyaç duyar. Araçlar daha otomatik hale geldikçe, yazılım yaşam döngüleri daha kısadır ve dijital geri bildirim döngüleri daha hızlı olmalıdır. Yeni teknoloji, veri erişimini demokratikleştirebilir ve Ar-Ge mühendislerine test sürüşü tanılama verileri hakkında neredeyse gerçek zamanlı içgörüler sağlayabilir. Güvenli veri paylaşımı, OEM'ler ve tedarikçiler arasındaki işbirliğini geliştirerek geliştirme döngülerini daha da kısaltabilir.
Bu örnek iş yükü hem telemetri hem de toplu test sürüşü veri alımı senaryolarıyla ilgilidir. İş yükü, tanılama verilerini işleyen veri platformuna ve görselleştirme ve raporlama için bağlayıcılara odaklanır.
Mimari
Bu makaledeki tüm diyagramları içeren bir PowerPoint dosyası indirin.
Veri akışı
Azure IoT Hub canlı, ham telemetri verilerini (A) alır ve kayıtlı veri dosyalarını (B) araçtan yükler.
IoT Hub canlı telemetriyi (A), telemetrinin kodunu JavaScript Nesne Gösterimi'ne (JSON) çözen ve Azure Event Hubs'a gönderen bir Azure İşlevleri uygulamasına gönderir.
IoT Hub, kaydedilen veri dosyalarını (B) Azure Blob Depolama gönderir. Tamamlanmış bir dosya karşıya yükleme, verilerin kodunu çözen ve kodu çözülen dosyayı blob Depolama alma için uygun virgülle ayrılmış değerler (CSV) biçiminde yazan bir İşlevler uygulamasını tetikler.
Azure Veri Gezgini, çözülen JSON telemetri verilerini Event Hubs'tan (A) ham bir telemetri tablosuna alır ve çözülen CSV dosyalarını (B) Blob Depolama alır.
Azure Veri Gezgini, JSON verilerini uygun bir satır biçimine genişletmek ve verileri zenginleştirmek için işlevini kullanır
Update. Örneğin işlev, jeo-uzamsal analizi desteklemek için verileri konum olarak kümeler.Veri bilimciler ve Ar-Ge mühendisleri, kullanıcı tanımlı işlevler olarak depoladıkları analiz kullanım örnekleri oluşturmak için Kusto Sorgu Dili (KQL) özelliklerini kullanır. KQL işlevleri toplama, zaman serisi analizi, jeo-uzamsal kümeleme, pencereleme ve makine öğrenmesi (ML) eklentilerini içerir.
Power BI, kullanıcı tanımlı sorgularla görselleştirmeler oluşturmak için Dinamik Sorgu'yu kullanır. Azure Veri Gezgini için Grafana veri kaynağı eklentisi, neredeyse gerçek zamanlı güncelleştirmeler için kullanıcı tanımlı sorguları kullanır.
Azure Uygulaması Hizmeti uygulaması, GeoJSON biçimini kullanan kullanıcı tanımlı sorgu sonuçlarını görselleştirmek için Azure Haritalar veri kaynağı işleme özelliklerini kullanır.
Azure API Management, araçlardan depolanan ham veri dosyalarına ve üçüncü taraf veri toplama ilkelerini yöneten bir yapılandırma API'sine erişim sağlar.
Azure Veri Gezgini şeması
Update()işlevi aşağıdaki gibi yöntemleri kullanır:mv-expand()JSON yapılarında depolanan karmaşık değerleri tek tek sinyallerle satırlara genişletmek için.geo_point_to_h3cell()veyageo_point_to_geohash()enlem ve boylamı jeo-uzamsal analiz için coğrafi bölgelere dönüştürmek için.todouble()vetostring()ayıklanan değerleri dinamik JSON nesnelerinden uygun veri türlerine dönüştürme.
Fleet Metadata Last Known Values görünümü, bağlam sağlamak için alımın bir parçası olarak diğer görünümleri birleştirir. Geçmiş filo meta verileri, yeni kullanım örnekleri ham telemetrinin yeniden işlenmesini gerektiriyorsa kullanışlıdır.
Gerekirse, YinelenenLeri Kaldırılan gerçekleştirilmiş Sinyaller görünümü, sinyalleri yinelenenleri kaldırmayı kullanır
take_any().Signals Last Known Values gerçek zamanlı raporlama için zaman damgasını kullanır
arg_max().Signals Downsampled gerçekleştirilmiş görünümü, filo genelinde raporlamayı basitleştirmek için saatlik ve günlük gibi önceden tanımlanmış bölmeleri kullanarak sinyalleri toplar.
Veri serisindeki anomalileri bulma gibi
DetectAnomaly()depolanmış eklenti işlevleri. Otomatik küme gibi ML eklentileri, ayrık özniteliklerin ortak desenlerini bulur.işlevi,
GetGeospatial()coğrafi çizgilere göre gruplandırılmış sinyaller içeren GeoJSON dosyaları oluşturur.
Bileşenler
Aşağıdaki temel teknolojiler bu iş yükünü uygular:
- Azure Veri Gezgini
- Azure IoT Hub
- Azure Blob Depolama
- Azure Event Hubs
- Azure Functions
- Azure Yönetilen Grafana
- Azure App Service
- Azure Haritalar
- Azure API Management
- Power BI
Alternatifler
Azure Batch , karmaşık dosya kod çözme için iyi bir alternatiftir. Bu senaryo, dosya sürümüne veya türüne göre farklı kod çözme algoritmaları gerektiren 300 megabayttan fazla çok sayıda dosya içerir.
- Kaydedilen bir veri dosyasını Blob Depolama karşıya yüklemek, kod çözme zamanlamak için bir İşlevler uygulamasını tetikler.
- İşlevler uygulaması, dosya türünü, boyutunu ve gerekli kod çözme algoritmasını dikkate alarak bir toplu iş oluşturur. Uygulama havuzdan uygun bir sanal makine (VM) seçer ve işi başlatır.
- İş tamamlandığında Batch, çözülen dosyayı Blob Depolama geri yazar. Bu dosya, Azure Veri Gezgini tarafından desteklenen bir biçimde doğrudan alım için uygun olmalıdır.
- Kodu çözülen bir sinyal dosyasını Blob Depolama karşıya yüklemek, verileri Azure Veri Gezgini'a alan bir işlevi tetikler. Bu işlev gerekirse tablo ve veri eşlemesini oluşturur ve alma işlemini başlatır.
- Azure Veri Gezgini, blob Depolama veri dosyalarını doğrudan alır.
Bu yaklaşım aşağıdaki avantajları sunar:
- Azure İşlevleri ve Batch havuzları, ölçeklenebilir veri işleme görevlerini sağlam ve verimli bir şekilde işleyebilir.
- Toplu iş havuzları, işleme istatistikleri, görev kuyrukları ve toplu iş havuzu durumu hakkında içgörü sağlar. Durumu görselleştirebilir, sorunları algılayabilir ve başarısız görevleri yeniden çalıştırabilirsiniz.
- Azure İşlevleri ve Azure Batch birleşimi Docker kapsayıcılarında tak çalıştır işlemeyi destekler.
Senaryo ayrıntıları
Otomotiv OEM'leri, her türlü araç işlevini test etmek ve doğrulamak için büyük prototip ve test araç filoları kullanır. Gerçek sürücülerin ve araçların dahil edilmesi gerektiğinden ve belirli gerçek dünya yol testi senaryolarının birden çok kez geçmesi gerektiğinden test yordamları pahalıdır. Tümleştirme testi özellikle karmaşık sistemlerdeki elektrik, elektronik ve mekanik bileşenler arasındaki etkileşimleri değerlendirmek için önemlidir.
Araç işlevlerini doğrulamak ve anomalileri ve hataları analiz etmek için gigabaytlarca tanılama verilerinin elektronik kontrol ünitesinden (ECU), bilgisayar düğümlerinden, Denetleyici Alan Ağı (CAN) ve Ethernet gibi araç iletişim veri yolları ve algılayıcılardan yakalanması gerekir. Geçmişte, araçlardaki küçük veri günlükçü sunucuları tanılama verilerini ana veritabanı (MDF), multimedya füzyon uzantısı (MFX), CSV veya JSON dosyaları olarak yerel olarak depolamıştı. Test sürüşleri tamamlandıktan sonra sunucular tanılama verilerini veri merkezlerine yükledi ve bu verileri işleyip analiz için Ar-Ge mühendislerine sağladı. Bu işlem saatler veya bazen günler sürebilir. Daha yeni senaryolarda Message Queuing Telemetri Aktarımı (MQTT) tabanlı zaman uyumlu veri akışları veya gerçek zamanlıya yakın dosya yüklemeleri gibi telemetri alma desenleri kullanılır.
Olası kullanım örnekleri
- Araç yönetimi, birden çok test senaryosunda araç başına performansı ve toplanan verileri değerlendirir.
- Sistem ve bileşen doğrulama, toplanan araç verilerini kullanarak araç bileşenlerinin davranışının seyahatler arasında operasyonel sınırlar içinde olduğunu doğrular.
- Anomali algılama, bir algılayıcı değerinin tipik taban çizgisi desenine göre sapma desenlerini gerçek zamanlı olarak bulur.
- Kök neden analizi, birden çok boyuttaki değerlerin dağılımındaki değişiklikleri tanımlamak için kümeleme algoritmaları gibi ML eklentilerini kullanır.
- Tahmine dayalı bakım, bileşen hata süresini tahmin etmek için birden çok veri kaynağını, zenginleştirilmiş konum verilerini ve telemetriyi birleştirir.
- Sürdürülebilirlik değerlendirmesi, araç operasyonlarının çevresel etkisini değerlendirmek için sürücü davranışını ve enerji tüketimini kullanır.
Dikkat edilmesi gereken noktalar
Bu önemli noktalar, bir iş yükünün kalitesini artırmak için kullanabileceğiniz bir dizi yol gösteren ilke olan Azure İyi Tasarlanmış Çerçeve'nin yapı taşlarını uygular. Daha fazla bilgi için bkz . Microsoft Azure İyi Tasarlanmış Çerçeve.
Güvenilirlik
Güvenilirlik, uygulamanızın müşterilerinize sağladığınız taahhütleri karşılayabilmesini sağlar. Daha fazla bilgi için bkz . Güvenilirlik sütununa genel bakış.
- Azure kullanılabilirlik alanları , aynı Azure bölgesi içindeki benzersiz fiziksel konumlardır. Kullanılabilirlik alanları Azure Veri Gezgini işlem kümelerini ve verilerini kısmi bölge hatalarından koruyabilir.
- Azure Veri Gezgini'da iş sürekliliği ve olağanüstü durum kurtarma (BCDR), işletmenizin kesintiler karşısında çalışmaya devam etmesi sağlar.
- İşlem kaynaklarını üretim ve üretim dışı kullanım örnekleri arasında ayırmak için Azure Veri Gezgini'da bir takipçi veritabanı kullanmayı göz önünde bulundurun.
Güvenlik
Güvenlik, kasıtlı saldırılara ve değerli verilerinizin ve sistemlerinizin kötüye kullanılmasına karşı güvence sağlar. Daha fazla bilgi için bkz . Güvenlik sütununa genel bakış.
Otomotiv OEM'i ile Microsoft arasındaki sorumluluk ayrımını anlamak önemlidir. Araçta yığının tamamı OEM'e aittir, ancak veriler buluta taşınırken bazı sorumluluklar Microsoft'a aktarılır. Azure hizmet olarak platform (PaaS), işletim sistemi de dahil olmak üzere fiziksel yığında yerleşik güvenlik sağlar. Altyapı güvenlik bileşenlerinin üzerine aşağıdaki özellikleri uygulayabilirsiniz.
- Ağ güvenliği için özel uç noktalar. Daha fazla bilgi için bkz. Azure Veri Gezgini için özel uç noktalar ve Özel uç noktalar aracılığıyla Azure Event Hubs ad alanlarına erişime izin verme.
- Bekleyen ve aktarımdaki şifreleme.
- Microsoft Entra kimliklerini ve Microsoft Entra Koşullu Erişim ilkelerini kullanan kimlik ve erişim yönetimi.
- Azure Veri Gezgini için Satır Düzeyi Güvenlik (RLS).
- Azure İlkesi kullanan altyapı idaresi.
- Microsoft Purview kullanan veri idaresi.
Tüm bu özellikler, otomotiv OEM'lerinin araç telemetri verileri için güvenli bir ortam oluşturmasına yardımcı olur. Daha fazla bilgi için bkz. Azure Veri Gezgini'de güvenlik.
Maliyet iyileştirme
Maliyet iyileştirmesi, gereksiz giderleri azaltmanın ve operasyonel verimlilikleri iyileştirmenin yollarını arar. Daha fazla bilgi için bkz . Maliyet iyileştirme sütununa genel bakış.
Bu çözüm, maliyetleri iyileştirmeye yardımcı olmak için aşağıdaki uygulamaları kullanır:
- Raw ve Signals tabloları için sık erişimli önbellekleri ve soğuk depolamayı doğru yapılandırın. Sık erişimli veri önbelleği RAM veya SSD'de depolanır ve gelişmiş performans sağlar. Ancak soğuk veriler 45 kat daha ucuzdur. 30 gün gibi kullanım örneğine uygun bir sık erişimli önbellek ilkesi ayarlayın.
- Ham ve Sinyaller tablolarında bir bekletme ilkesi ayarlayın. Sinyal verilerinin ne zaman uygun olmadığını (örneğin, 365 gün sonra) belirleyin ve bekletme ilkesini buna göre ayarlayın.
- Analiz için hangi sinyallerin uygun olduğunu göz önünde bulundurun.
- Bilinen son değerleri, yinelenenleri kaldırılan sinyalleri ve örneklenen sinyalleri sorgularken gerçekleştirilmiş görünümleri kullanın. Gerçekleştirilmiş görünümler, her sorguda kaynak tablo toplamaları yapmaktan daha az kaynak tüketir.
- Gerçek zamanlı veri analizi gereksinimlerinizi göz önünde bulundurun. Canlı telemetri tablosu için akış alımının ayarlanması, alım ve sorgu arasında bir saniyeden daha az gecikme süresi sağlar, ancak daha fazla CPU döngüsü maliyeti daha yüksektir.
Performans verimliliği
Performans verimliliği, iş yükünüzün kullanıcı taleplerini karşılayacak şekilde verimli bir şekilde ölçeklendirebilmesidir. Daha fazla bilgi için bkz . Performans verimliliği sütununa genel bakış.
- Kaydedilen veri dosyalarının sayısı ve boyutu 1.000 dosyadan büyükse veya günde 300 MB ise, kod çözme için Azure Batch'i kullanmayı göz önünde bulundurun.
- Bunları ek tablolarda alıp depoladıktan sonra yaygın hesaplamalar ve analizler yapmayı göz önünde bulundurun.
Bu senaryoyu dağıtın
Azure Veri Gezgini dağıtmak ve MDF dosyalarını almak için ücretsiz örnek dağıtma, MDF dosyalarını ayrıştırma, bazı temel sorguları alma ve gerçekleştirme adım adım öğreticiyi izleyebilirsiniz.
Katkıda Bulunanlar
Bu makale Microsoft tarafından yönetilir. Başlangıçta aşağıdaki katkıda bulunanlar tarafından yazılmıştır.
Asıl yazarlar:
- Frank Kaleck | Dijital Mimar Otomotiv
- Mario Ortegon-Cabrera | Asıl Program Yöneticisi
- Henning Rauch | Asıl Program Yöneticisi
- Boris Scholl | İş Ortağı, Baş Mimar
Diğer katkıda bulunanlar:
- Hans-Peter Bareiner | Bulut Çözümü Mimarı
- Jason Bouska | Sr. Yazılım Mühendisi
Genel olmayan LinkedIn profillerini görmek için LinkedIn'de oturum açın.
Sonraki adımlar
- Verileri olay hub'ından Azure Veri Gezgini’ne alma
- IoT Hub ile dosyaları karşıya yükleme
- Gerçekleştirilmiş görünümler
- Azure Veri Gezgini verilerini Grafana’da görselleştirme
- Azure Veri Gezgini verilerini Power BI'da görselleştirme
- Microsoft Azure Haritalar'da harita için veri kaynağı oluşturma