إنشاء التعلم الآلي الخاص بك إلى Microsoft Azure Sentinel

ملاحظة

للحصول على معلومات حول توافر الميزات في سحابة حكومة الولايات المتحدة، راجع جداول Microsoft Azure Sentinel في توافر الميزات السحابية لعملاء حكومة الولايات المتحدة .

يعد التعلم الآلي إحدى الركائز الرئيسية لـ Microsoft Azure Sentinel، وإحدى السمات الرئيسية التي تميزه عن غيره. يقدم Microsoft Azure Sentinel التعلم الآلي في العديد من التجارب: مدمج في محرك الارتباط Fusion وأجهزة الكمبيوتر المحمولة Jupyter، والنظام الأساسي Build-Your-Own التعلم الآلي (BYO ML) المتوفر حديثاً.

يمكن أن تتكيف نماذج اكتشاف التعلم الآلي مع البيئات الفردية والتغيرات في سلوك المستخدم، لتقليل الإيجابيات الخاطئة وتحديد التهديدات التي لا يمكن العثور عليها باستخدام النهج التقليدي. تدرك العديد من المؤسسات الأمنية قيمة التعلم الآلي بالنسبة للأمان، رغم أن العديد منها لا يتمتع برفاهية المهنيين الذين لديهم خبرة في كل من الأمان والتعلم الآلي. لقد صممنا إطار العمل المقدم هنا لمنظمات الأمان والمهنيين لينمو معنا في رحلة التعلم الآلي الخاصة بهم. يمكن للمؤسسات الجديدة في التعلم الآلي، أو دون الخبرة اللازمة، الحصول على قيمة حماية كبيرة من إمكانيات التعلم الآلي المضمنة في Microsoft Azure Sentinel.

ما هي نظام أساسي إنشاء التعلم الآلي الخاص بك (BYO ML)؟

بالنسبة للمؤسسات التي لديها موارد التعلم الآلي وترغب في إنشاء نماذج تعلم مخصصة لاحتياجات أعمالها الفريدة، نقدم النظام الأساسي BYO-ML. يستفيد النظام الأساسي من بيئة Azure Databricks/Apache Spark وأجهزة Jupyter Notebooks لإنتاج بيئة التعلم الآلي. يوفر المكونات التالية:

• حزمة BYO-ML، والتي تتضمن مكتبات لمساعدتك في الوصول إلى البيانات ودفع النتائج مرة أخرى إلى Log Analytics (LA)، بحيث يمكنك دمج النتائج مع الاكتشاف والتحقيق والصيد.

• قوالب خوارزمية التعلم الآلي لتخصيصها لتناسب مشاكل أمنية محددة في مؤسستك.

• نموذج مفكرات الملاحظات لتدريب النموذج وجدولة نقاط النموذج.

إلى جانب كل هذا، يمكنك إحضار نماذج التعلم الآلي الخاصة بك، و/أو بيئة Spark الخاصة بك، للتكامل مع Microsoft Azure Sentinel.

مع نظام أساسي BYO-ML، يمكنك البدء في بناء نماذج التعلم الآلي الخاصة بك:

• يساعدك الكمبيوتر الدفتري الذي يحتوي على بيانات نموذجية في الحصول على تجربة عملية شاملة، دون القلق بشأن التعامل مع بيانات الإنتاج.

• تعمل الحزمة المدمجة مع بيئة Spark على تقليل التحديات والاحتكاكات في إدارة البنية الأساسية.

• تدعم المكتبات حركات البيانات. تدل مفكرات الملاحظات الخاصة بالتدريب والتسجيل على التجربة الشاملة وتعمل كقالب لتتكيف مع بيئتك.

حالات الاستخدام

تعمل نظام أساسي وحزمة BYO-ML على تقليل الوقت والجهد اللذين ستحتاجهما لبناء اكتشافات التعلم الآلي الخاصة بك، كما أنها تطلق العنان للقدرة على معالجة مشكلات أمان معينة في Microsoft Azure Sentinel. يدعم النظام الأساسي حالات الاستخدام التالية:

تدريب خوارزمية التعلم الآلي للحصول على نموذج مخصص: يمكنك استخدام خوارزمية التعلم الآلي موجودة (تتم مشاركتها بواسطة Microsoft أو بواسطة مجتمع المستخدمين) وتدريبها بسهولة على بياناتك الخاصة للحصول على نموذج التعلم الآلي مخصص يناسب بشكل أفضل بياناتك وبيئتك.

تعديل قالب خوارزمية التعلم الآلي للحصول على قالب مخصص: يمكنك تعديل قالب خوارزمية التعلم الآلي (تتم مشاركته بواسطة Microsoft أو بواسطة مجتمع المستخدمين)، وتدريب الخوارزمية المعدلة على بياناتك الخاصة، لاشتقاق قالب مخصص لـ تناسب مشكلتك المحددة.

إنشاء نموذجك الخاص: قم بإنشاء نموذجك الخاص من البداية باستخدام النظام الأساسي والأدوات المساعدة BYO-ML من Microsoft Azure Sentinel.

تكامل Databricks/Spark Environment: ادمج بيئة Databricks/Spark الموجودة لديك في Microsoft Azure Sentinel، واستخدم مكتبات وقوالب BYO-ML لبناء قوالب التعلم الآلي لمواقفها الفريدة.

استيراد نموذج التعلم الآلي الخاص بك: يمكنك استيراد نماذج التعلم الآلي الخاصة بك واستخدام النظام الأساسي BYO-ML والأدوات المساعدة لدمجها مع Microsoft Azure Sentinel.

مشاركة خوارزمية التعلم الآلي: شارك خوارزمية التعلم الآلي ليتبناها المجتمع ويتكيف معها.

استخدم التعلم الآلي لتمكين SecOps: استخدم نموذج التعلم الآلي المخصص الخاص بك ونتائج البحث والاكتشاف والتحقيق والاستجابة.

توضح لك هذه المقالة مكونات النظام الأساسي BYO-ML وكيفية الاستفادة من النظام الأساسي وخوارزمية Anomalous Resource Access لتقديم كشف التعلم الآلي مخصص باستخدام Microsoft Azure Sentinel.

بيئة Azure Databricks/Spark

حقق Apache Spark قفزة إلى الأمام في تبسيط البيانات الضخمة من خلال توفير إطار عمل موحد لبناء مسارات تدفق البيانات. تأخذ Azure Databricks هذا إلى أبعد من ذلك من خلال توفير نظام أساسي سحابي خالي من الإدارة مبني بشأن Spark. نوصيك باستخدام Databricks لنظام أساسي BYO-ML الخاصة بك، بحيث يمكنك التركيز على العثور على إجابات لها تأثير فوري على عملك، بدلاً من معالجة مسارات تدفق البيانات ومشكلات النظام الأساسي.

إذا كان لديك بالفعل Databricks أو أي بيئة Spark أخرى، وتفضل استخدام الإعداد الحالي، فستعمل حزمة BYO-ML بشكل جيد عليها أيضاً.

حزمة BYO-ML

تتضمن حزمة BYO التعلم الآلي أفضل ممارسات وأبحاث Microsoft في الواجهة الأمامية لـ التعلم الآلي للأمان. في هذه الحزمة، نقدم القائمة التالية من الأدوات المساعدة وأجهزة الكمبيوتر المحمولة وقوالب الخوارزميات لمشاكل الأمان.

اسم الملف	الوصف
azure_sentinel_utilities.whl	يحتوي على أدوات مساعدة لقراءة النقط الكبيرة من Azure والكتابة إلى Log Analytics.
AnomalousRASampleData	يوضح Notebook استخدام نموذج Anomalous Resource Access في Microsoft Azure Sentinel مع بيانات نموذجية للتدريب واختبار تم إنشاؤه.
AnomalousRATraining.ipynb	دفتر ملاحظات لتدريب الخوارزمية وبناء النماذج وحفظها.
AnomalousRAScoring.ipynb	دفتر ملاحظات لجدولة النموذج للتشغيل، وتمثيل النتيجة وإعادة كتابة النتيجة إلى Microsoft Azure Sentinel.

أول قالب لخوارزمية التعلم الآلي نقدمه هو اكتشاف الوصول إلى الموارد غير المألوفة. يعتمد على خوارزمية تصفية تعاونية ويتم تدريبه باستخدام سجلات الوصول إلى مشاركة ملفات Windows (أحداث الأمان مع معرف الحدث 5140). المعلومات الأساسية التي تحتاجها لهذا النموذج في السجل هي اقتران المستخدمين والموارد التي تم الوصول إليها.

مثال تجول: اكتشاف الوصول إلى مشاركة الملفات غير المألوفة

الآن بعد أن تعرفت على المكونات الرئيسية لنظام أساسي BYO-ML، إليك مثال لتوضيح كيفية استخدام النظام الأساسي والمكونات لتقديم اكتشاف التعلم الآلي مخصص.

قم بإعداد Databricks/Spark Environment

ستحتاج إلى إعداد بيئة Databricks الخاصة بك إذا لم تكن لديك واحدة بالفعل. راجع مستند Databricks تشغيل سريع للحصول على الإرشادات.

تعليمات التصدير التلقائي

لإنشاء نماذج التعلم الآلي مخصصة استناداً إلى بياناتك الخاصة في Microsoft Azure Sentinel، ستحتاج إلى تصدير بياناتك من Log Analytics إلى مخزن Blob أو مورد مركز الأحداث، بحيث يمكن لنموذج التعلم الآلي الوصول إليها من Databricks. تعرف على كيفية إدخال البيانات إلى Microsoft Azure Sentinel.

في هذا المثال، يجب أن يكون لديك بيانات التدريب الخاصة بك لسجل File Share Access في تخزين البيانات الثنائية الكبيرة Azure. يتم توثيق تنسيق البيانات في دفتر الملاحظات والمكتبات.

يمكنك تصدير بياناتك تلقائياً من Log Analytics باستخدام Azure CLI.

يجب أن يتم تعيين دور المساهم في مساحة عمل Log Analytics، وحساب التخزين، ومورد EventHub الخاص بك من أجل تشغيل الأوامر.

فيما يلي مجموعة عينة من الأوامر لإعداد التصدير التلقائي:

az –version

# Login with Azure CLI
az login

# List all Log Analytics clusters
az monitor log-analytics cluster list

# Set to specific subscription
az account set --subscription "SUBSCRIPTION_NAME"
 
# Export to Storage - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIStr --destination "DESTINATION_NAME" --enable "true" --tables SecurityEvent
 
# Export to EventHub - all tables
az monitor log-analytics workspace data-export create --resource-group "RG_NAME" --workspace-name "WS_NAME" -n LAExportCLIEH --destination "DESTINATION_NAME" --enable "true" --tables ["SecurityEvent","Heartbeat"]

# List export settings
az monitor log-analytics workspace data-export list --resource-group "RG_NAME" --workspace-name "WS_NAME"

# Delete export setting
az monitor log-analytics workspace data-export delete --resource-group "RG_NAME" --workspace-name "WS_NAME" --name "NAME"

تصدير البيانات المخصصة

بالنسبة للبيانات المخصصة التي لا يدعمها التصدير التلقائي لـ Log Analytics، يمكنك استخدام تطبيق Logic أو حلول أخرى لنقل بياناتك. يمكنك الرجوع إلى المدونة والنص تصدير بيانات Log Analytics إلى Blob Store.

الارتباط بالبيانات خارج Microsoft Azure Sentinel

يمكنك أيضاً إحضار البيانات من خارج Microsoft Azure Sentinel إلى تخزين البيانات الثنائية الكبيرة أو Event Hub وربطها ببيانات Microsoft Azure Sentinel لإنشاء نماذج التعلم الآلي الخاصة بك.

نسخ وتثبيت الحزم ذات الصلة

انسخ حزمة BYO-ML من مستودع Microsoft Azure Sentinel GitHub المذكور سابقاً إلى بيئة Databricks الخاصة بك. ثم افتح مفكرات الملاحظات واتبع الإرشادات الموجودة في دفتر الملاحظات لتثبيت المكتبات المطلوبة على مجموعاتك.

التدريب النموذجي والتسجيل

اتبع الإرشادات الموجودة في دفتري الملاحظات لتغيير التكوينات وفقاً للبيئة والموارد الخاصة بك، واتبع الخطوات لتدريب النموذج الخاص بك وبنائه، ثم جدولة النموذج لتسجيل سجلات الوصول إلى مشاركة الملفات الواردة.

اكتب النتائج إلى Log Analytics

بمجرد حصولك على جدول النقاط، يمكنك استخدام الوحدة النمطية في دفتر تسجيل النتائج لكتابة نتائج النتيجة إلى مساحة عمل Log Analytics المرتبطة بمثيل Microsoft Azure Sentinel الخاص بك.

تحقق من النتائج في Microsoft Azure Sentinel

لمشاهدة نتائجك المسجلة جنباً إلى جنب مع تفاصيل السجل ذات الصلة، ارجع إلى مدخل Microsoft Azure Sentinel الخاص بك. في Logs> السجلات المخصصة، سترى النتائج في جدول AnomalousResourceAccessResult_CL (أو اسم الجدول المخصص الخاص بك). يمكنك استخدام هذه النتائج لتحسين خبراتك في الاستقصاء والصيد.

بناء قاعدة تحليلات مخصصة مع نتائج التعلم الآلي

بمجرد التأكد من وجود نتائج التعلم الآلي في جدول السجلات المخصصة، وأنت راضٍ عن دقة النتائج، يمكنك إنشاء اكتشاف بناءً على النتائج. انتقل إلى Analytics من مدخل Microsoft Azure Sentinel الإلكترونية وأنشئ قاعدة اكتشاف جديدة. يوجد أدناه مثال يوضح الاستعلام المستخدم لإنشاء الكشف.

عرض والرد على الحوادث

بمجرد إعداد قاعدة التحليلات استناداً إلى نتائج التعلم الآلي، إذا كانت هناك نتائج أعلى من الحد الذي حددته في الاستعلام، فسيتم إنشاء حادثة وظهورها في صفحة Incidents في Microsoft Azure Sentinel.

الخطوات التالية

في هذا المستند، تعلمت كيفية استخدام النظام الأساسي BYO-ML الخاص بـ Microsoft Azure Sentinel لإنشاء أو استيراد خوارزميات التعلم الآلي الخاصة بك لتحليل البيانات واكتشاف التهديدات.

• شاهد منشورات بشأن التعلم الآلي والكثير من الموضوعات الأخرى ذات الصلة في مدونة Microsoft Azure Sentinel.