إنشاء حل عمليات المركبات المستقلة (AVOps)

Azure Machine Learning
Azure Data Factory
Azure Data Share
Azure Batch
GitHub

أفكار الحل

تصف هذه المقالة فكرة الحل. يمكن لمهندس السحابة الخاص بك استخدام هذه الإرشادات للمساعدة في تصور المكونات الرئيسية لتنفيذ نموذجي لهذه البنية. استخدم هذه المقالة كنقطة بداية لتصميم حل جيد التصميم يتوافق مع المتطلبات المحددة لحمل العمل الخاص بك.

توفر هذه البنية إرشادات وتوصيات لتطوير حل قيادة تلقائي.

بناء الأنظمة

رسم تخطيطي يوضح بنية AVOps.

قم بتنزيل ملف Visio يحتوي على الرسومات التخطيطية للبنية في هذه المقالة.

تدفق البيانات

  1. تأتي بيانات القياس من تدفقات البيانات لأجهزة الاستشعار مثل الكاميرات والرادار والموجات فوق الصوتية واليدار وبيانات تتبع الاستخدام للمركبات. تخزن مسجلات البيانات في السيارة بيانات القياس على أجهزة تخزين المسجل. ثم يتم تحميل بيانات تخزين المسجل إلى مستودع البيانات المنتقل إليها. خدمة مثل Azure Data Box أو Azure Stack Edge، أو اتصال مخصص مثل Azure ExpressRoute، استيعاب البيانات في Azure.

    يمكن أن تكون بيانات القياس أيضا بيانات اصطناعية من عمليات المحاكاة أو من مصادر أخرى. (MDF4 وTDMS وrosbag هي تنسيقات بيانات شائعة للقياسات.) في مرحلة DataOps، تتم معالجة القياسات التي تم استيعابها. يتم إجراء التحقق من الصحة وفحوصات جودة البيانات، مثل المجموع الاختباري، لإزالة البيانات منخفضة الجودة. في هذه المرحلة، يتم استخراج بيانات تعريف المعلومات الأولية التي يتم تسجيلها بواسطة برنامج تشغيل اختبار أثناء محرك أقراص اختبار. يتم تخزين هذه البيانات في كتالوج بيانات تعريف مركزي. تساعد هذه المعلومات عمليات انتقال البيانات من الخادم على تحديد مشاهد وتسلسلات محددة.

  2. تتم معالجة البيانات بواسطة مسار استخراج Azure Data Factory وتحويله وتحميله (ETL). يتم تخزين الإخراج كبيانات أولية وثنائية في Azure Data Lake. يتم تخزين بيانات التعريف في Azure Cosmos DB. اعتمادا على السيناريو، قد يتم إرساله بعد ذلك إلى Azure Data Explorer أو Azure Cognitive Search.

  3. تتم إضافة معلومات إضافية ونتائج تحليلات وسياق إلى البيانات لتحسين دقتها وموثوقيتها.

  4. يتم توفير بيانات القياس المستخرجة لشركاء التسمية (بشري في الحلقة) عبر Azure Data Share. يقوم شركاء الجهات الخارجية بإجراء تسمية تلقائية للبيانات وتخزينها والوصول إليها عبر حساب Data Lake منفصل.

  5. تتدفق مجموعات البيانات المسماة إلى عمليات MLOps المتلقية للمعلومات، بشكل أساسي لإنشاء نماذج دمج الإدراك والمستشعر. تؤدي هذه النماذج وظائف تستخدمها المركبات المستقلة للكشف عن المشاهد (أي تغييرات الممرات والطرق المحظورة والمشاة وإشارات المرور وعلامات المرور).

  6. في مرحلة ValOps ، يتم التحقق من صحة النماذج المدربة عبر اختبار الحلقة المفتوحة والحلقة المغلقة.

  7. أدوات مثل Foxglove، التي تعمل على خدمة Azure Kubernetes أو مثيلات حاوية Azure، تصور البيانات التي تم استيعابها ومعالجتها.

تجميع البيانات

جمع البيانات هو أحد التحديات الرئيسية لعمليات المركبات المستقلة (AVOps). يوضح الرسم التخطيطي التالي مثالا على كيفية جمع بيانات المركبات غير المتصلة بالإنترنت وتخزينها في مستودع بيانات.

رسم تخطيطي يظهر تجميع البيانات دون اتصال أو عبر الإنترنت.

DataOps

عمليات البيانات (DataOps) هي مجموعة من الممارسات والعمليات والأدوات لتحسين جودة وسرعة وموثوقية عمليات البيانات. الهدف من تدفق DataOps للقيادة المستقلة (AD) هو التأكد من أن البيانات المستخدمة للسيطرة على السيارة ذات جودة عالية ودقيقة وموثوقة. باستخدام تدفق DataOps متسق، يمكنك تحسين سرعة ودقة عمليات البيانات الخاصة بك واتخاذ قرارات أفضل للتحكم في مركباتك المستقلة.

مكونات DataOps

  • يستخدم Data Box لنقل بيانات المركبات المجمعة إلى Azure عبر شركة نقل إقليمية.
  • يقوم ExpressRoute بتوسيع الشبكة المحلية إلى سحابة Microsoft عبر اتصال خاص.
  • يخزن Azure Data Lake Storage البيانات استنادا إلى المراحل، على سبيل المثال، الأولية أو المستخرجة.
  • يقوم Azure Data Factory بتنفيذ ETL عبر حساب الدفعات وإنشاء مهام سير عمل تستند إلى البيانات لتنسيق حركة البيانات وتحويل البيانات.
  • يقوم Azure Batch بتشغيل تطبيقات واسعة النطاق لمهام مثل تشابك البيانات وتصفيتها وإعدادها واستخراج بيانات التعريف.
  • يخزن Azure Cosmos DB نتائج بيانات التعريف، مثل القياسات المخزنة.
  • يتم استخدام مشاركة البيانات لمشاركة البيانات مع المؤسسات الشريكة، مثل تسمية الشركات، مع أمان محسن.
  • يوفر Azure Databricks مجموعة من الأدوات للحفاظ على حلول البيانات على مستوى المؤسسة على نطاق واسع. وهو مطلوب للعمليات طويلة الأمد على كميات كبيرة من بيانات السيارة. يستخدم مهندسو البيانات Azure Databricks كمنضدة عمل تحليلات.
  • يقلل Azure Synapse Analytics من الوقت للحصول على نتيجة تحليلات عبر مستودعات البيانات وأنظمة البيانات الضخمة.
  • يوفر Azure Cognitive Search خدمات البحث في كتالوج البيانات.

MLOps

تتضمن عمليات التعلم الآلي (MLOps) ما يلي:

  • نماذج استخراج الميزات (مثل CLIP وYOLO) لتصنيف المشاهد (على سبيل المثال، ما إذا كان المشاة في المشهد) أثناء مسار DataOps .
  • نماذج التسمية التلقائية لوصف الصور التي تم استيعابها وبيانات lidar والرادار.
  • نماذج الإدراك ورؤية الكمبيوتر للكشف عن العناصر والمشاهد.
  • نموذج دمج أداة الاستشعار الذي يجمع بين تدفقات المستشعر.

نموذج التصور هو مكون مهم من هذه البنية. ينشئ نموذج Azure التعلم الآلي هذا نموذج الكشف عن الكائنات باستخدام المشاهد المكتشفة والمستخرجة.

نقل نموذج التعلم الآلي في حاويات إلى تنسيق يمكن قراءته بواسطة النظام على أجهزة رقاقة (SoC) ويحدث برنامج التحقق من الصحة/المحاكاة في البنية الأساسية لبرنامج ربط العمليات التجارية MLOps. تتطلب هذه الخطوة دعم الشركة المصنعة ل SoC.

مكونات MLOps

  • يستخدم Azure التعلم الآلي لتطوير خوارزميات التعلم الآلي، مثل استخراج الميزات، والتسمية التلقائية، واكتشاف الكائنات وتصنيفها، ودمج المستشعر.
  • يوفر Azure DevOps الدعم لمهام DevOps مثل CI/CD والاختبار والتشغيل التلقائي.
  • GitHub للمؤسسات هو خيار بديل لمهام DevOps مثل CI/CD والاختبار والتشغيل التلقائي.
  • يتيح لك Azure Container Registry إنشاء صور الحاوية والبيانات الاصطناعية وتخزينها وإدارتها في سجل خاص.

ValOps

عمليات التحقق من الصحة (ValOps) هي عملية اختبار النماذج المطورة في بيئات محاكاة عبر سيناريوهات مدارة قبل إجراء اختبار بيئي مكلف في العالم الحقيقي. تساعد اختبارات ValOps على ضمان تلبية النماذج لمعايير الأداء ومعايير الدقة ومتطلبات السلامة المطلوبة. الهدف من عملية التحقق من الصحة في السحابة هو تحديد ومعالجة أي مشكلات محتملة قبل نشر السيارة المستقلة في بيئة مباشرة. يتضمن ValOps ما يلي:

  • التحقق من صحة المحاكاة. تتيح بيئات المحاكاة المستندة إلى السحابة (اختبار الحلقة المفتوحة والحلقة المغلقة) الاختبار الظاهري لنماذج المركبات المستقلة. يعمل هذا الاختبار على نطاق واسع وهو أقل تكلفة من الاختبار في العالم الحقيقي.
  • التحقق من صحة الأداء. يمكن للبنية الأساسية المستندة إلى السحابة إجراء اختبارات واسعة النطاق لتقييم أداء نماذج المركبات المستقلة. يمكن أن يتضمن التحقق من صحة الأداء اختبارات الإجهاد واختبارات التحميل ومقاييس الأداء.

يمكن أن يساعدك استخدام ValOps للتحقق من الصحة على الاستفادة من قابلية التوسع والمرونة والفعالية من حيث التكلفة للبنية الأساسية المستندة إلى السحابة وتقليل الوقت إلى السوق لنماذج المركبات المستقلة.

اختبار التكرار الحلقي المفتوح

إعادة المحاكاة، أو معالجة المستشعر، هو نظام اختبار وتحقق من الصحة مفتوحة لوظائف القيادة التلقائية. إنها عملية معقدة، وقد تكون هناك متطلبات تنظيمية للسلامة وخصوصية البيانات وتعيين إصدار البيانات والتدقيق. عمليات إعادة محاكاة البيانات الأولية المسجلة من أجهزة استشعار السيارات المختلفة عبر رسم بياني في السحابة. تتحقق إعادة المحاكاة من صحة خوارزميات معالجة البيانات أو تكتشف التراجعات. تجمع الشركات المصنعة للماكرونة (OEMs) بين أدوات الاستشعار في رسم بياني ودوري موجه يمثل سيارة في العالم الحقيقي.

إعادة المحاكاة هي مهمة حوسبة متوازية واسعة النطاق. يعالج عشرات أو مئات من PBs من البيانات باستخدام عشرات الآلاف من الذاكرات الأساسية. يتطلب معدل نقل الإدخال/الإخراج أكثر من 30 جيجابايت/ثانية. يتم دمج البيانات من أجهزة استشعار متعددة في مجموعات بيانات تمثل عرضا لما تسجله أنظمة رؤية الكمبيوتر على المركبة عندما تتنقل المركبة في العالم الحقيقي. يتحقق اختبار الحلقة المفتوحة من أداء الخوارزميات مقابل الحقيقة الأرضية باستخدام إعادة التشغيل وتسجيل النقاط. يتم استخدام الإخراج لاحقا في سير العمل لتدريب الخوارزمية.

  • يتم الحصول على مجموعات البيانات من مركبات أسطول الاختبار التي تجمع بيانات الاستشعار الخام (على سبيل المثال، الكاميرا والليدار والرادار وبيانات الموجات فوق الصوتية).
  • يعتمد حجم البيانات على دقة الكاميرا وعدد أدوات الاستشعار على السيارة.
  • تتم إعادة معالجة البيانات الأولية مقابل إصدارات البرامج المختلفة للأجهزة.
  • يتم إرسال بيانات المستشعر الخام إلى واجهة إدخال المستشعر لبرنامج الاستشعار.
  • تتم مقارنة الإخراج مع إخراج إصدارات البرامج السابقة ويتم التحقق من إصلاحات الأخطاء أو الميزات الجديدة، مثل الكشف عن أنواع العناصر الجديدة.
  • يتم إجراء إعادة حقن ثانية للوظيفة بعد تحديث النموذج والبرامج.
  • يتم استخدام بيانات الحقيقة الأرضية للتحقق من صحة النتائج.
  • تتم كتابة النتائج إلى التخزين وإلغاء تحميلها إلى Azure Data Explorer للتصور.

اختبار الحلقة المغلقة والمحاكاة

الاختبار الحلقي المغلق للمركبات المستقلة هو عملية اختبار قدرات المركبات مع تضمين التعليقات في الوقت الحقيقي من البيئة. تستند إجراءات المركبة إلى سلوكها المبرمج مسبقا وعلى الظروف الديناميكية التي تواجهها، كما أنها تضبط إجراءاتها وفقا لذلك. يعمل اختبار الحلقة المغلقة في بيئة أكثر تعقيدا وواقعية. يتم استخدامه لتقييم قدرة السيارة على التعامل مع سيناريوهات العالم الحقيقي، بما في ذلك كيفية تفاعلها مع المواقف غير المتوقعة. الهدف من اختبار الحلقة المغلقة هو التحقق من أن السيارة يمكن أن تعمل بأمان وفعالية في ظروف مختلفة، وتحسين خوارزميات التحكم وعمليات صنع القرار حسب الحاجة.

يدمج مسار ValOps اختبار الحلقة المغلقة ومحاكاة الجهات الخارجية وتطبيقات ISV.

إدارة السيناريو

خلال مرحلة ValOps، يتم استخدام كتالوج من السيناريوهات الحقيقية للتحقق من صحة قدرة حل القيادة المستقلة على محاكاة سلوك المركبات المستقلة. والهدف من ذلك هو تسريع إنشاء كتالوجات السيناريو من خلال قراءة شبكة المسار تلقائيا، والتي تعد جزءا من سيناريو، من الخرائط الرقمية التي يمكن الوصول إليها بشكل عام والمتاحة مجانا. استخدم أدوات الجهات الخارجية لإدارة السيناريو أو جهاز محاكاة مصدر مفتوح خفيف الوزن مثل CARLA، والذي يدعم تنسيق OpenDRIVE (xodr). لمزيد من المعلومات، راجع ScenarioRunner ل CARLA.

مكونات ValOps

  • تقوم خدمة Azure Kubernetes بتشغيل استدلال دفعي واسع النطاق للتحقق من صحة التكرار الحلقي المفتوح داخل إطار عمل Resin. نوصي باستخدام BlobFuse2 للوصول إلى ملفات القياس. يمكنك أيضا استخدام NFS، ولكن تحتاج إلى تقييم الأداء لحالة الاستخدام.
  • يقوم Azure Batch بتشغيل استدلال دفعي واسع النطاق للتحقق من صحة التكرار الحلقي المفتوح داخل إطار عمل Resin.
  • يوفر Azure Data Explorer خدمة تحليلات للقياسات ومؤشرات الأداء الرئيسية (أي إعادة المحاكاة وتشغيل الوظائف).

وظائف AVOps المركزية

بنية AVOps معقدة وتتضمن أطرافا خارجية مختلفة وأدوارا ومراحل تطوير، لذلك من المهم تنفيذ نموذج حوكمة جيدة.

نوصي بإنشاء فريق مركزي للتعامل مع وظائف مثل توفير البنية الأساسية وإدارة التكلفة وبيانات التعريف وكتالوج البيانات و دورة حياة البيانات والتزامن العام ومعالجة الأحداث. مركزية هذه الخدمات فعالة وتبسط العمليات.

نوصي باستخدام فريق مركزي للتعامل مع هذه المسؤوليات:

  • توفير قوالب ARM/Bicep، بما في ذلك قوالب للخدمات القياسية مثل التخزين والحوسبة المستخدمة من قبل كل منطقة ومستوى فرعي من بنية AVOps
  • تنفيذ ناقل خدمة Azure المركزية / Azure Event Hubs لتنسيق يستند إلى الحدث لحلقة بيانات AVOps
  • ملكية كتالوج بيانات التعريف
  • قدرات دورة حياة البيانات من طرف إلى طرف وإمكانية التتبع عبر جميع مكونات AVOps

رسم تخطيطي يوضح وظائف AVOps المركزية.

تفاصيل السيناريو

يمكنك استخدام هذه البنية لإنشاء حل قيادة تلقائي على Azure.

حالات الاستخدام المحتملة

الشركات المصنعة للسيارات، وبائعي المستوى 1، و ISVs التي تطور حلولا للقيادة الآلية.

الاعتبارات

تطبق هذه الاعتبارات ركائز إطار العمل جيد التصميم في Azure، وهي مجموعة من المبادئ التوجيهية التي يمكنك استخدامها لتحسين جودة حمل العمل. لمزيد من المعلومات، يرجى مراجعةMicrosoft Azure Well-Architected Framework.

الأمان

ويوفر عامل الأمان ضمانات للحماية من الهجمات المتعمدة واستغلال البيانات والأنظمة القيمة الخاصة بك. للمزيد من المعلومات، يرجى الرجوع إلى نظرة عامة على ركيزة الأمان.

من المهم فهم تقسيم المسؤولية بين الشركة المصنعة للسيارات وموفر خدمة السحابة. في السيارة، تمتلك الشركة المصنعة للمعدات الأصلية المكدس بالكامل، ولكن مع انتقال البيانات إلى السحابة، تنتقل بعض المسؤوليات إلى موفر السحابة. يوفر النظام الأساسي Azure كخدمة (PaaS) أمانا محسنا مضمنا على المكدس الفعلي، بما في ذلك نظام التشغيل. يمكنك تطبيق التحسينات التالية بالإضافة إلى مكونات أمان البنية الأساسية. تمكن هذه التحسينات نهج الثقة المعدومة.

تحسين التكلفة

يتعلق تحسين التكلفة بخفض النفقات غير الضرورية وتحسين الكفاءة التشغيلية. لمزيد من المعلومات، راجع نظرة عامة على ركيزة تحسين التكلفة.

يمكنك استخدام هذه الاستراتيجيات لتقليل التكاليف المرتبطة بتطوير حلول القيادة المستقلة:

  • تحسين البنية الأساسية السحابية. يمكن أن يساعدك التخطيط الدقيق للبنية الأساسية السحابية وإدارتها في تقليل التكاليف. على سبيل المثال، استخدم أنواع المثيلات الفعالة من حيث التكلفة والبنية الأساسية للتحجيم لتلبية أحمال العمل المتغيرة. اتبع الإرشادات الواردة في Azure Cloud Adoption Framework.
  • استخدم Spot Virtual Machines. يمكنك تحديد أحمال العمل في نشر AVOps الخاص بك التي لا تتطلب المعالجة خلال إطار زمني محدد واستخدام Spot Virtual Machines لأحمال العمل هذه. تسمح لك Spot Virtual Machines بالاستفادة من سعة Azure غير المستخدمة لتحقيق وفورات كبيرة في التكاليف. إذا احتاج Azure إلى استعادة السعة، فإن البنية الأساسية ل Azure تخلي الأجهزة الظاهرية الموضعية.
  • استخدم التحجيم التلقائي. يمكنك التحجيم التلقائي من ضبط البنية الأساسية السحابية تلقائيا بناء على الطلب، ما يقلل من الحاجة إلى التدخل اليدوي ويساعدك على تقليل التكاليف. لمزيد من المعلومات، راجع تصميم التحجيم.
  • ضع في اعتبارك استخدام مستويات ساخنة وباردة وأرشيف للتخزين. يمكن أن يكون التخزين تكلفة كبيرة في حل القيادة المستقلة، لذلك تحتاج إلى اختيار خيارات تخزين فعالة من حيث التكلفة، مثل التخزين البارد أو التخزين غير المتكرر. لمزيد من المعلومات، راجع إدارة دورة حياة البيانات.
  • استخدم أدوات إدارة التكلفة والتحسين. توفر Microsoft Cost Management أدوات يمكن أن تساعدك في تحديد ومعالجة مجالات خفض التكلفة، مثل الموارد غير المستخدمة أو غير المستغلة بشكل كبير.
  • فكر في استخدام خدمات Azure. على سبيل المثال، يمكنك استخدام Azure التعلم الآلي لإنشاء نماذج القيادة المستقلة وتدريبها. يمكن أن يكون استخدام هذه الخدمات أكثر فعالية من حيث التكلفة من بناء البنية التحتية الداخلية وصيانتها.
  • استخدام الموارد المشتركة. عندما يكون ذلك ممكنا، يمكنك استخدام الموارد المشتركة، مثل قواعد البيانات المشتركة أو موارد الحوسبة المشتركة، لتقليل التكاليف المرتبطة بتطوير القيادة المستقلة. الوظائف المركزية في هذه البنية، على سبيل المثال، تنفيذ ناقل مركزي ومركز أحداث وكتالوج بيانات التعريف. يمكن أن تساعدك خدمات مثل Azure Data Share أيضا على تحقيق هذا الهدف.

المساهمون

تحتفظ Microsoft بهذه المقالة. وهي مكتوبة في الأصل من قبل المساهمين التاليين.

الكتاب الرئيسيون:

مساهمون آخرون:

لمشاهدة ملفات تعريف LinkedIn غير العامة، سجل الدخول إلى LinkedIn.

الخطوات التالية

لمزيد من المعلومات حول تطوير DataOps لنظام قيادة تلقائي، راجع:

قد تكون مهتما أيضا بهذه المقالات ذات الصلة: