تحرير

مشاركة عبر

تحليلات البيانات لأساطيل اختبار السيارات

Microsoft Fabric
Azure Data Explorer
Azure Event Hubs
Azure Functions
Azure Event Grid

تحتاج الشركات المصنعة لمعدات السيارات الأصلية (OEMs) إلى حلول لتقليل الوقت بين محركات الأقراص الاختبارية وتقديم بيانات تشخيصية لمحرك الأقراص الاختباري لمهندسي R&D. كلما أصبحت المركبات أكثر تلقائية، تصبح دورات حياة تطوير البرامج أقصر، مما يتطلب حلقات ملاحظات رقمية أسرع. يمكن للتكنولوجيا الجديدة إضفاء الطابع الديمقراطي على الوصول إلى البيانات وتزويد مهندسي R&D برؤى قريبة من الوقت الحقيقي في بيانات تشخيص محرك الاختبار. استخدم Copilot لعلوم البيانات وهندسة البيانات لتحليل البيانات لمزيد من تقليل الوقت للحصول على نتيجة تحليلات. يمكن أن تعزز مشاركة البيانات الآمنة التعاون بين الشركات المصنعة للموردين والموردين وتقليل أوقات دورة التطوير.

الإرشادات الواردة في هذه المقالة مخصصة لسيناريوهات بيانات تتبع الاستخدام وسيناريوهات استيعاب بيانات اختبار الدفعات. تركز هذه البنية على النظام الأساسي للبيانات الذي يعالج البيانات التشخيصية والموصلات لتصور البيانات والإبلاغ عن البيانات.

بناء الأنظمة

رسم تخطيطي يوضح تدفق بيانات التحليلات لتدفق بيانات وملفات السيارات.

قم بتنزيل ملف PowerPoint مع كل الرسومات التخطيطية في هذه المقالة.

تدفق البيانات

يتوافق تدفق البيانات التالي مع الرسم التخطيطي السابق:

  1. جهاز التقاط البيانات متصل بشبكات المركبات ويجمع بيانات إشارة السيارة عالية الدقة والفيديو. (1أ) ينشر الجهاز رسائل القياس عن بعد في الوقت الحقيقي أو (1 ب) يطلب تحميل ملفات البيانات المسجلة إلى وظيفة وسيط Azure Event Grid MQTT باستخدام عميل MQTT. تستخدم هذه الوظيفة نمط التحقق من المطالبة.

  2. (2أ) توجه Event Grid بيانات إشارة السيارة المباشرة إلى تطبيق Azure Functions. يقوم هذا التطبيق بفك ترميز إشارات المركبة إلى تنسيق JavaScript Object Notation (JSON) وينشرها في eventstream.

    (2b) تنسق Event Grid تحميل الملف من عميل الجهاز إلى lakehouse. يؤدي تحميل الملف المكتمل إلى تشغيل مسار يقوم بفك تشفير البيانات وكتابة الملف الذي تم فك ترميزه إلى OneLine بتنسيق مناسب لاستيعابه، مثل parquet أو CSV.

  3. (3أ) يوجه تدفق الأحداث إشارات مركبة JSON التي تم فك ترميزها لاستيعابها في Eventhouse.

    (3ب) يقوم مسار البيانات بتشغيل استيعاب الملفات التي تم فك ترميزها من lakehouse.

  4. يستخدم Eventhouse نهج التحديث لإثراء البيانات وتوسيع بيانات JSON إلى تنسيق صف مناسب، على سبيل المثال، قد يتم تجميع بيانات الموقع للتوافق مع التحليلات الجغرافية المكانية. في كل مرة يتم فيها استيعاب صف جديد، يستدعي محرك التحليلات في الوقت الحقيقي وظيفة مقترنة Update() .

  5. يستخدم مهندسو البيانات وعلماء البيانات Kusto Query Language (KQL) لإنشاء حالات استخدام التحليلات. يخزن المستخدمون الحالات المستخدمة بشكل متكرر كوظائف قابلة للمشاركة معرفة من قبل المستخدم. يستخدم المهندسون وظائف KQL المضمنة مثل التجميع وتحليل السلاسل الزمنية والتجميع الجغرافي المكاني والنوافذ والمكونات الإضافية للتعلم الآلي مع دعم Copilot.

  6. يستخدم مهندسو البحث والتطوير وعلماء البيانات دفاتر الملاحظات لتحليل البيانات وإنشاء حالات استخدام الاختبار والتحقق من الصحة.

    1. يستخدم مهندسو البحث والتطوير مجموعات استعلام KQL و Copilot للذكاء في الوقت الحقيقي لإجراء تحليل تفاعلي للبيانات.

    2. يستخدم مهندسو البيانات وعلماء البيانات دفاتر الملاحظات لتخزين عمليات التحليل الخاصة بهم ومشاركتها. باستخدام دفاتر الملاحظات، يمكن للمهندسين استخدام Azure Spark لتشغيل التحليلات واستخدام Git لإدارة التعليمات البرمجية لدفتر الملاحظات. يمكن للمستخدمين الاستفادة من Copilot لعلوم البيانات وهندسة البيانات لدعم سير العمل الخاص بهم مع اقتراحات التعليمات البرمجية السياقية.

  7. يمكن لمهندسي البحث والتطوير وعلماء البيانات استخدام Power BI مع الاستعلامات الديناميكية أو لوحات معلومات التحليلات في الوقت الحقيقي لإنشاء مرئيات لمشاركتها مع مستخدمي الأعمال. تستدعي هذه المرئيات الوظائف المعرفة من قبل المستخدم لسهولة الصيانة.

  8. يمكن للمهندسين أيضا توصيل المزيد من الأدوات ب Microsoft Fabric. على سبيل المثال، يمكنهم توصيل Azure Managed Grafana ب Eventhouse أو إنشاء تطبيق ويب يستعلم عن Eventhouse مباشرة.

  9. يستخدم مهندسو البيانات ومهندسو RD Data Activator لإنشاء عناصر إعادة النظر لمراقبة الشروط وتشغيل الإجراءات، مثل تشغيل تدفقات Power Automate لتكامل الأعمال. على سبيل المثال، يمكن ل Data Activator إعلام قناة Teams إذا تدهورت صحة الجهاز.

  10. يمكن تكوين مجمع البيانات المهندسين من تغيير نهج جمع البيانات لجهاز التقاط البيانات. تقوم إدارة واجهة برمجة تطبيقات Azure بتجريد وتأمين واجهة برمجة تطبيقات تكوين الشريك وتوفر إمكانية الملاحظة.

مخطط قاعدة بيانات KQL

رسم تخطيطي يوضح قاعدة بيانات KQL وطرق استخراج البيانات وتوسيعها وإثراءها.

عند تصميم مخطط الجدول، ضع في اعتبارك الفرق بين fact الجداول والجداول dimension . بيانات تتبع الاستخدام عبارة عن fact جدول لأن إشارات السيارة يتم إلحاقها تدريجيا بطريقة دفق أو كجزء من تسجيل كامل، ولا يتغير القياس عن بعد. يمكنك تصنيف بيانات تعريف الأسطول كجدول fact يتم تحديثه ببطء.

تهبط بيانات تتبع الاستخدام الخاصة بالمركبة في طاولات أولية. يمكنك استخدام مفاهيم معالجة الرسائل التالية لتنظيم البيانات للتحليل وإعداد التقارير:

  • إنشاء نهج التحديث لتوسيع ملفات بيانات تتبع الاستخدام JSON في سجلات إشارات المركبات الفردية باستخدام أساليب مثل:

    • mv-expand() توسيع القيم المعقدة المخزنة في بنيات JSON في صفوف ذات إشارات فردية.
    • geo_point_to_h3cell() أو geo_point_to_geohash() يحول خط الطول والعرض إلى مناطق جغرافية للتحليقات الجغرافية المكانية.
    • todouble() ويحول tostring() القيم المستخرجة من كائنات JSON الديناميكية إلى أنواع البيانات المناسبة.
    • lookup توسيع السجلات بقيم من جدول أبعاد.

  • إنشاء طريقة عرض مجسدة ل Signals Deduped باستخدام دالة take_any() التجميع على المفتاح الفريد والطوابع الزمنية. يؤدي هذا العرض المجسد إلى إلغاء تكرار الإشارات.

  • إنشاء طريقة عرض القيم المعروفة الأخيرة للإشارات باستخدام دالة arg_max() التجميع على الطابع الزمني. توفر طريقة العرض المجسدة هذه حالة محدثة للمركبات.

  • إنشاء طريقة عرض مجسدة ل Signals Downsampled باستخدام عامل تشغيل التلخيص مع حاويات الوقت مثل كل ساعة ويوميا. تجمع طريقة العرض المجسدة هذه الإشارات وتبسط التقارير عبر الأسطول.

  • إنشاء وظائف معرفة من قبل المستخدم توفر الكشف عن الحالات الشاذة أو تحليل السبب الجذري.

    • استخدم دالات السلاسل الزمنية للكشف عن الحالات الشاذة والتنبؤ بها للكشف عن المشكلات المحتملة والتنبؤ بالفشل.

    • استخدم عامل تشغيل الفحص لمسح التسلسلات من البيانات ومطابقتها وبناها. يمكن للمهندسين استخدام scan عامل التشغيل للكشف عن التسلسلات. على سبيل المثال، إذا حدث حدث معين، فيجب أن يقع حدث لاحق في غضون فترة زمنية معينة.

    • استخدم المكونات الإضافية للتعلم الآلي مثل autocluster للعثور على أنماط شائعة من السمات المنفصلة.

  • إجراء تحليلات جغرافية مكانية باستخدام وظائف معرفة من قبل المستخدم. استخدم وظائف التحليلات الجغرافية المكانية لتحويل الإحداثيات إلى نظام شبكة مناسب وإجراء تجميعات على البيانات.

  • إنشاء جدول بيانات تعريف الأسطول لتخزين التغييرات على بيانات تعريف المركبة وتكوينها. إنشاء بيانات تعريف الأسطول آخر القيم المعروفة المجسدة طريقة العرض لتخزين أحدث حالة لأسطول المركبات استنادا إلى عمود تم تعديله في المرة الأخيرة.

المكونات

تنفذ التقنيات الرئيسية التالية حمل العمل هذا. لكل مكون في البنية، استخدم دليل الخدمة ذي الصلة في إطار عمل جيد التصميم حيثما كان ذلك متاحا. لمزيد من المعلومات، راجع أدلة خدمة Framework المصممة جيدا.

  • يتيح Fabric Real-Time Intelligence استخراج الرؤى وتصور بيانات تتبع الاستخدام للمركبات أثناء الحركة. يمكنك استخدام تدفقات الأحداث وقواعد بيانات KQL للسلسلة الزمنية لتخزين البيانات وتحليلها واستخدام ردود الفعل للرد على الأحداث.

  • Data Activator هي أداة بدون تعليمات برمجية يمكنك استخدامها لأتمتة الإجراءات عند تغيير الأنماط أو الشروط في البيانات.

  • شبكة الأحداث هي خدمة توزيع رسائل نشر/اشتراك قابلة للتطوير بدرجة كبيرة ومدارة بالكامل تدعم بروتوكولات MQTT. يمكن للمركبات استخدام Event Grid لنشر الموضوعات والاشتراك فيها، على سبيل المثال، يمكنهم نشر بيانات تتبع الاستخدام والاشتراك في رسائل الأوامر والتحكم فيها.

  • Azure Event Hubs هو نظام أساسي لتدفق البيانات في الوقت الحقيقي مناسب تماما لتدفق ملايين أحداث المركبات في الثانية بزمن انتقال منخفض.

  • الوظائف هي حل بلا خادم يبسط معالجة أحداث القياس عن بعد للمركبة على نطاق واسع باستخدام المشغلات والروابط المستندة إلى الحدث باستخدام اللغة التي تختارها.

  • Azure Managed Grafana هو نظام أساسي لتصور البيانات يستند إلى البرنامج من مختبرات Grafana. تدير Microsoft Azure Managed Grafana وتدعمها.

  • تمكنك Azure App Service من إنشاء واستضافة تطبيقات الويب والنهايات الخلفية للأجهزة المحمولة وواجهات برمجة تطبيقات RESTful التي توفر الوصول إلى بيانات تتبع الاستخدام الخاصة بالمركبة المخزنة في Fabric. هذا النهج يبسط الاستهلاك.

  • API Management هي نظام أساسي للإدارة المختلطة متعددة السحابات لواجهات برمجة التطبيقات.

البدائل

يمكنك أيضا استخدام خدمات Azure التالية لتنفيذ هذه البنية:

  • يخزن Azure Blob Storage كميات هائلة من البيانات غير المنظمة، مثل التسجيلات والسجلات ومقاطع الفيديو من المركبات. يحل محل تخزين OneLake.

  • Azure Data Explorer هي خدمة تحليلات بيانات سريعة مدارة بالكامل للتحليل في الوقت الفعلي. يحل محل قاعدة بيانات Fabric Real-Time Intelligence KQL.

  • Azure Batch هو بديل يمكنك استخدامه لفك تشفير الملفات المعقدة. يتضمن هذا السيناريو عددا كبيرا من الملفات التي يزيد حجم كل منها عن 300 ميغابايت. تتطلب الملفات خوارزميات فك ترميز مختلفة استنادا إلى إصدار الملف أو نوع الملف. يمكنك استخدام إما Fabric أو استخدام Blob Storage وAzure Data Explorer لتنفيذ النهج التالي.

رسم تخطيطي يوضح طريقة دفعة بديلة لفك ترميز الملفات المعقدة.

  1. يقوم المستخدم أو جهاز التسجيل بتحميل ملف بيانات مسجل إلى lakehouse. عند انتهاء التحميل، فإنه يقوم بتشغيل تطبيق Functions الذي يقوم بجدولة فك التشفير.

  2. يبدأ المجدول تطبيق وظائف يقوم بإنشاء مهمة دفعية استنادا إلى نوع الملف وحجم الملف وخوارزمية فك التشفير المطلوبة. يحدد التطبيق جهازا ظاهريا بحجم مناسب من التجمع ويبدأ المهمة.

  3. تكتب Batch الملف الناتج الذي تم فك ترميزه مرة أخرى إلى lakehouse عند انتهاء المهمة. يجب أن يكون هذا الملف مناسبا للاستيعاب المباشر بتنسيق يدعمه Eventhouse.

  4. يشغل lakehouse دالة استيعاب البيانات في Eventhouse عند كتابة الملف. تنشئ هذه الدالة تعيين الجدول والبيانات إذا لزم الأمر وتبدأ عملية الاستيعاب.

  5. قاعدة بيانات KQL استيعاب ملفات البيانات من lakehouse.

يوفر هذا الأسلوب المزايا التالية:

  • يمكن للوظائف وتجمعات الدفعات معالجة مهام معالجة البيانات القابلة للتطوير بقوة وكفاءة.

  • توفر تجمعات الدفعات نظرة ثاقبة على إحصائيات المعالجة وقوائم انتظار المهام وصحة تجمع الدفعات. يمكنك تصور الحالة واكتشاف المشاكل وإعادة تشغيل المهام الفاشلة.

  • يدعم الجمع بين Functions و Batch معالجة المكونات والتشغيل في حاويات Docker.

  • يمكنك استخدام الأجهزة الظاهرية الموضعية لمعالجة الملفات في أوقات خارج أوقات الذروة. وهذا النهج يوفر المال.

تفاصيل السيناريو

تستخدم الشركات المصنعة للسيارات أساطيل كبيرة من النماذج الأولية ومركبات الاختبار لاختبار العديد من وظائف المركبات والتحقق منها. إجراءات الاختبار مكلفة لأنها تتطلب سائقين ومركبات حقيقية، ويجب أن تمر سيناريوهات اختبار الطرق في العالم الحقيقي عدة مرات. يعد اختبار التكامل مهما بشكل خاص لتقييم التفاعلات بين المكونات الكهربائية والإلكترونية والميكانيكية في الأنظمة المعقدة.

للتحقق من صحة وظائف السيارة وتحليل الحالات الشاذة والفشل، يجب عليك التقاط بيتابايت من البيانات التشخيصية من وحدات التحكم الإلكترونية (ECUs) وعقد الكمبيوتر وحافلات اتصالات المركبات مثل شبكة منطقة وحدة التحكم (CAN) و Ethernet وأجهزة الاستشعار.

في الماضي، كانت خوادم مسجل البيانات الصغيرة في المركبات تخزن البيانات التشخيصية محليا بتنسيق بيانات القياس (MDF) أو ملحق دمج الوسائط المتعددة (MFX) أو CSV أو ملفات JSON. بعد اكتمال محركات الأقراص الاختبارية، قامت الخوادم بتحميل البيانات التشخيصية إلى مراكز البيانات، والتي قامت بمعالجتها وإرسالها إلى مهندسي R&D لتحليلها. قد تستغرق هذه العملية ساعات أو أياما في بعض الأحيان. تستخدم السيناريوهات الأحدث أنماط استيعاب بيانات تتبع الاستخدام مثل تدفقات البيانات المتزامنة المستندة إلى نقل بيانات تتبع الاستخدام (MQTT) في قائمة انتظار الرسائل أو عمليات تحميل الملفات في الوقت الفعلي تقريبا.

حالات الاستخدام المحتملة

  • تقوم إدارة المركبات بتقييم الأداء والبيانات المجمعة لكل مركبة عبر سيناريوهات اختبار متعددة.

  • يستخدم التحقق من صحة النظام والمكونات بيانات المركبات المجمعة للتحقق من أن سلوك مكونات المركبات يقع ضمن الحدود التشغيلية عبر الرحلات.

  • يحدد الكشف عن الحالات الشاذة أنماط الانحراف لقيمة أداة الاستشعار بالنسبة إلى نمط خط الأساس النموذجي في الوقت الفعلي.

  • يستخدم تحليل السبب الجذري مكونات التعلم الآلي الإضافية مثل خوارزميات التجميع لتحديد التغييرات في توزيع القيم على أبعاد متعددة.

  • تجمع الصيانة التنبؤية بين مصادر بيانات متعددة وبيانات موقع ثرية وإشارات مركبة للتنبؤ بوقت المكون للفشل.

  • يستخدم تقييم الاستدامة سلوك السائق واستهلاك الطاقة لتقييم التأثير البيئي لعمليات المركبات.

  • سباق السيارات لفهم وتحسين أداء المركبات قبل وأثناء وبعد السباق.

الاعتبارات

تنفذ هذه الاعتبارات ركائز Azure Well-Architected Framework، وهو عبارة عن مجموعة من المبادئ التوجيهية التي يمكن استخدامها لتحسين جودة حمل العمل. لمزيد من المعلومات، يرجى مراجعةMicrosoft Azure Well-Architected Framework.

الموثوقيه

تضمن الموثوقية أن التطبيق الخاص بك يمكن أن يفي بالالتزامات التي تتعهد بها لعملائك. لمزيد من المعلومات، راجع قائمة اختيار مراجعة التصميم للموثوقية.

الأمان

ويوفر عامل الأمان ضمانات للحماية من الهجمات المتعمدة واستغلال البيانات والأنظمة القيمة الخاصة بك. لمزيد من المعلومات، راجع قائمة اختيار مراجعة التصميم للأمان.

من المهم فهم تقسيم المسؤولية بين الشركات المصنعة للسيارات وMicrosoft. في السيارة، تمتلك الشركة المصنعة للمعدات الأصلية المكدس بالكامل، ولكن مع انتقال البيانات إلى السحابة، يتم نقل بعض المسؤوليات إلى Microsoft. يوفر النظام الأساسي Azure كخدمة (PaaS) أمانا مضمنا على المكدس الفعلي، بما في ذلك نظام التشغيل.

تساعد جميع هذه الميزات شركات OEM للسيارات على إنشاء بيئة آمنة لبيانات تتبع استخدام سياراتها. لمزيد من المعلومات، راجع الأمان في Fabric.

تحسين التكلفة

يركز تحسين التكلفة على البحث عن طرق للحد من النفقات غير الضرورية وتحسين الكفاءة التشغيلية. لمزيد من المعلومات، راجع قائمة اختيار مراجعة التصميم لتحسين التكلفة.

يستخدم هذا الحل الممارسات التالية للمساعدة في تحسين التكاليف:

  • تكوين ذاكرة التخزين المؤقت الساخنة والتخزين البارد لجداول raw والإشارات بشكل صحيح. يتم تخزين ذاكرة التخزين المؤقت للبيانات الساخنة في ذاكرة الوصول العشوائي أو SSD وتوفر أداء محسنا. ومع ذلك، فإن البيانات الباردة أرخص 45 مرة. قم بتعيين نهج ذاكرة التخزين المؤقت السريع المناسب لحالة الاستخدام الخاصة بك، مثل 30 يوما.

  • إعداد نهج استبقاء على الجدول الخام وجدول الإشارات. حدد متى لم تعد بيانات الإشارة ذات صلة، مثل بعد 365 يوما، وقم بتعيين نهج الاستبقاء وفقا لذلك.

  • ضع في اعتبارك الإشارات ذات الصلة للتحليل.

  • استخدم طرق العرض المجسدة عند الاستعلام عن آخر القيم المعروفة للإشارات والإشارات التي تم حذفها والإشارات المعطلة. تستهلك طرق العرض المجسدة موارد أقل من تجميعات الجدول المصدر على كل استعلام.

  • ضع في اعتبارك احتياجات تحليلات البيانات في الوقت الحقيقي. قم بإعداد استيعاب البث لجدول بيانات تتبع الاستخدام المباشر لتوفير زمن انتقال أقل من ثانية واحدة بين الاستيعاب والاستعلام. يزيد هذا النهج من دورات وحدة المعالجة المركزية والتكلفة.

كفاءة الأداء

كفاءة الأداء هي قدرة حمل عملك على تغيير الحجم لتلبية المطالب التي يضعها المستخدمون عليها بطريقة فعالة. لمزيد من المعلومات، راجع قائمة اختيار مراجعة التصميم لكفاءة الأداء.

  • ضع في اعتبارك استخدام Batch لإجراء فك التشفير إذا كان عدد ملفات البيانات المسجلة وحجمها أكثر من 1000 ملف أو 300 ميغابايت يوميا.

  • ضع في اعتبارك إجراء العمليات الحسابية والتحليلات الشائعة بعد استيعابها وتخزينها في جداول إضافية.

  • استخدم أفضل ممارسات استعلام KQL لجعل الاستعلام يعمل بشكل أسرع.

  • استخدم عبارة where لتعريف إطار زمني لتقليل كمية البيانات التي يتم الاستعلام عنها. ضع في اعتبارك تغيير نهج قسم البيانات لجدول الإشارات إذا لم تكن معايير البحث الشائعة مستندة إلى الوقت، على سبيل المثال إذا قمت بالتصفية عن طريق تسجيل المعرف واسم الإشارة. عندما تتوسع قاعدة بيانات KQL لتحتوي على مليارات أو تريليونات من السجلات، يصبح ترشيح البيانات المناسب ضروريا، خاصة بالنظر إلى نهج التقسيم النشط.

تحذير

استشر فريق الدعم قبل تغيير نهج قسم البيانات.

نشر هذا السيناريو

استخدم البرنامج التعليمي خطوة بخطوة لنشر هذا السيناريو. يوضح الدليل كيفية نشر مثيل مجاني، وتحليل ملفات MDF، واستيعاب البيانات، وتنفيذ العديد من الاستعلامات الأساسية.

المساهمون

تحتفظ Microsoft بهذه المقالة. وهي مكتوبة في الأصل من قبل المساهمين التاليين.

الكتاب الرئيسيون:

مساهمون آخرون:

لمشاهدة ملفات تعريف LinkedIn غير العامة، سجل الدخول إلى LinkedIn.

الخطوات التالية