إشعار
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تسجيل الدخول أو تغيير الدلائل.
يتطلب الوصول إلى هذه الصفحة تخويلاً. يمكنك محاولة تغيير الدلائل.
مع استمرار نمو أحجام بيانات الأمان، تواجه المؤسسات تحدي الموازنة بين الاستبقاء الفعال من حيث التكلفة لبيانات تتبع الاستخدام المستخدمة في الذكاء الاصطناعي والتوافق والتحقيقات مع ضمان الاحتفاظ بالبيانات الضرورية فقط في مستويات التخزين عالية الأداء. استخدم تحويلات البيانات التصفية والتقسيم في Microsoft Sentinel لمواجهة هذا التحدي عن طريق تعديل البيانات في وقت الاستيعاب لتحسين استراتيجية استبقاء البيانات.
توضح هذه المقالة كيفية تكوين تحويلات البيانات التصفية والتقسيم دون الحاجة إلى إنشاء تكوينات مخصصة لقاعدة تجميع البيانات (DCR) يدويا. عندما تقوم بتخصيص استيعاب البيانات باستخدام تحويلات المرشح والتقسيم للبيانات، يمكنك تحسين الأداء وتقليل الضوضاء.
باستخدام تحويلات البيانات، يمكنك تحسين البنية الأساسية لبرنامج ربط العمليات التجارية لبيانات الأمان عن طريق التحكم في البيانات المخزنة وأي مستوى. يوفر استخدام تحويلات التصفية والتقسيم المزايا التالية:
تحسين التكلفة: تقليل تكاليف التخزين والمعالجة عن طريق تصفية البيانات منخفضة القيمة التي لا تساهم في الكشف عن التهديدات. توجيه البيانات التي يتم الوصول إليها بشكل أقل تكرارا إلى تخزين مستودع البيانات الفعال من حيث التكلفة مع الاحتفاظ بالبيانات ذات الأولوية العالية في طبقة التحليلات.
تحسين كفاءة SOC: ركز مركز عمليات الأمان (SOC) على الأحداث القابلة للتنفيذ وعالية القيمة. من خلال إزالة الضوضاء في وقت الاستيعاب، يقضي المحللون وقتا أقل في تتبع السجلات غير ذات الصلة والمزيد من الوقت في التحقيق في التهديدات الحقيقية.
أداء استعلام أسرع: تؤدي مجموعات البيانات الأصغر في طبقة التحليلات إلى أوقات تنفيذ استعلام أسرع، ما يجعل تتبع التهديدات والتحقيقات في الحوادث وقواعد التحليلات أكثر استجابة.
مرونة التوافق والاستبقاء: الحفاظ على استبقاء البيانات الشامل للتدقيق التنظيمي وتحليل الطب الشرعي في طبقة مستودع البيانات مع تحسين طبقة التحليلات لأحمال العمل التشغيلية. الحفاظ على الاحتفاظ الشامل في طبقة مستودع البيانات مع تحسين مستوى التحليلات يفي بمتطلبات التوافق دون التضحية بالأداء.
إدارة البيانات القابلة للتطوير: مع زيادة حجم بيانات مؤسستك، تساعدك التحويلات على الحفاظ على التحكم في التكاليف والأداء. تطبيق نهج متسقة عبر الجداول لضمان إدارة البيانات التي يمكن التنبؤ بها.
تعد تحويلات التصفية والتقسيم هي الخطوات الأولى في إطار تحويل أكبر يمكنك من تطوير بياناتك لتناسب احتياجاتك. لمزيد من المعلومات حول مفاهيم تحويل البيانات، راجع استيعاب البيانات المخصصة وتحويلها في Microsoft Sentinel.
المتطلبات الأساسية
قبل تكوين قواعد التصفية أو التحويل المنقسم، تحقق من المتطلبات التالية:
يجب إلحاق مساحة عمل Microsoft Sentinel الخاصة بك إلى مدخل Defender. لمزيد من المعلومات، راجع توصيل Microsoft Sentinel بمدخل Microsoft Defender.
في مدخل Microsoft Defender مع التحكم الموحد في الوصول استنادا إلى الدور (RBAC)، أذونات البيانات (الإدارة) ضمن مجموعة أذونات عمليات البيانات.
بالنسبة لمساحة عمل Microsoft Sentinel، تحتاج إلى دور المساهم في Log Analytics، والذي يوفر:
- Microsoft.OperationalInsights/workspaces/write
- أذونات Microsoft.OperationalInsights/workspaces/tables/write إلى مساحة عمل Log Analytics.
لتكوين تحويل منقسم:
- دمج مساحة العمل إلى بحيرة بيانات Microsoft Sentinel.
- تأكد من أن الجدول حاليا في مستوى التحليلات.
الجداول المدعومة
التحويلات في المرشح والتقسيم لها متطلبات دعم جداول مختلفة. تحدد قواعد جمع البيانات (DCRs) كيفية جمع البيانات وتحويلها أثناء الابتلاع.
- التصفية: مدعومة على أي جدول يدعم DCRs.
- التقسيم: مدعوم على أي جدول يدعم استيعاب التحليلات فقط واستيعاب مستودع البيانات فقط وقواعد تجميع البيانات (DCRs).
للتحقق مما إذا كانت جداول الموصل تدعم DCRs، راجع البحث عن موصل بيانات Microsoft Sentinel.
تصفية التحويلات
تمكنك تحويلات التصفية من تقليل الضوضاء عن طريق تجاهل البيانات أثناء الاستيعاب غير المفيدة للتحقيقات. استخدم قاعدة تحويل عامل التصفية لتحديد شرط KQL الذي يحدد البيانات التي يجب تصفيتها، مع إرسال البيانات المتبقية إلى طبقة التحليلات.
استخدم تحويلات التصفية عندما تحتاج إلى:
- تقليل الضوضاء: ركز SOC على الأحداث القابلة للتنفيذ عن طريق تصفية السجلات الروتينية منخفضة الخطورة مثل الأحداث "السماح" من سجلات جدار الحماية.
- تحسين التكاليف: تقليل تكاليف التخزين والمعالجة عن طريق تجاهل البيانات التي لا تساهم في الكشف عن التهديدات.
- تحسين الأداء: تسريع الاستعلامات وتبسيط التحليلات عن طريق تقليل حجم البيانات المخزنة.
ضع في اعتبارك المثال التالي لتحويل عامل التصفية:
تعتمد مؤسستك على سجلات جدار الحماية لتحديد الحالات الشاذة. معظم سجلات جدار الحماية هي أحداث "السماح" الروتينية ذات الخطورة المنخفضة التي لا تساهم في الكشف عن التهديدات. للاحتفاظ بالأحداث الهامة فقط مثل حركة المرور المحظورة أو الخطورة العالية وتصفية السجلات منخفضة القيمة، قم بإنشاء قاعدة تحويل عامل تصفية بشرط KQL لإرسال بيانات متوسطة أو عالية الخطورة فقط لا تسمح بالأحداث إلى طبقة التحليلات.
التحويلات المنقسمة
تمكنك التحويلات المنقسمة من توجيه البيانات بين طبقة التحليلات وطبقة مستودع البيانات استنادا إلى شروط محددة. استخدم قاعدة تحويل منقسمة لتعريف تعبير KQL الذي يحدد البيانات التي تهبط في التحليلات. يتم توجيه البيانات التي لا تتطابق مع التعبير إلى طبقة مستودع البيانات فقط.
ملاحظة
عند تكوين تحويل منقسم، يتم أيضا عكس البيانات المخصصة لطبقة التحليلات إلى طبقة مستودع البيانات. تنتقل البيانات التي لا تتطابق مع معايير التحليلات إلى طبقة مستودع البيانات فقط. يضمن النسخ المتطابق للبيانات من مستوى التحليلات إلى مستودع البيانات أثناء إرسال البيانات غير المتطابقة فقط إلى مستودع البيانات أن تظل جميع بياناتك متاحة في مستودع البيانات لأغراض الاستبقاء والتوافق على المدى الطويل.
استخدم التحويلات المنقسمة عندما تحتاج إلى موازنة التكلفة والأداء عن طريق توجيه البيانات إلى طبقة التخزين المناسبة:
- تحسين تكاليف التخزين: توجيه السجلات القديمة أو الأقل شيوعا إلى طبقة مستودع البيانات للتخزين طويل الأجل الفعال من حيث التكلفة.
- الحفاظ على الأداء: احتفظ بالسجلات الأخيرة في طبقة التحليلات للحصول على استعلامات أسرع أثناء تتبع التهديدات النشطة.
- تلبية متطلبات التوافق: الاحتفاظ بالسجلات التاريخية للتدقيق التنظيمي وتحليل الطب الشرعي دون التضحية بخفة الحركة التشغيلية.
ضع في اعتبارك المثال التالي لتحويل منقسم:
تستوعب مؤسستك ملايين إدخالات سجل جدار الحماية يوميا للكشف عن التهديدات والامتثال. يحتاج فريق SOC الخاص بك إلى الوصول في الوقت الحقيقي إلى السجلات الأخيرة للتحقيقات النشطة، ولكن يجب أيضا الاحتفاظ بالسجلات التاريخية للتدقيق التنظيمي. إنشاء قاعدة تحويل منقسمة لتوجيه البيانات في الوقت الحقيقي إلى طبقة التحليلات والبيانات التاريخية إلى طبقة مستودع البيانات.
هام
قد تتعارض التحويلات التي تقوم بإنشائها في Microsoft Sentinel مع التحويلات التي تم إنشاؤها في Azure Monitor باستخدام DCRs. على سبيل المثال، إذا تم تطبيق DCR بالفعل على جدول لاستيعاب البيانات فقط من المنطقة A، واستثني تحويل المرشح المنطقة A، فلا يتم استيعاب أي بيانات. تأكد من فهم التأثيرات المجمعة لتطبيق DCR وتحويل على جدول والتحقق منها.
تكوين قواعد تحويل عامل التصفية
اتبع هذه الخطوات لإنشاء قاعدة تحويل عامل تصفية:
في مدخل Microsoft Defender، انتقل إلى Microsoft Sentinel>Configuration>Tables.
حدد جدولا. في اللوحة الجانبية، حدد Filter rule.
في اللوحة الجانبية، أدخل اسم القاعدة.
في الحقل Condition ، أدخل تعبير KQL الذي يحدد البيانات التي يجب تصفيتها. يجب تقييم تعبير KQL إلى صحيح للبيانات التي لا تريد استيعابها.
قم بتعيين مفتاح حالة القاعدة إلى تشغيل لتمكين عامل التصفية.
هام
تصفية البيانات. يتم تجاهل البيانات المطابقة لشرط عامل التصفية ولا يتم استيعابها إما في طبقات Analytics أو Data lake. تأكد من أن تعبير KQL الخاص بك يلتقط البيانات التي تريد استبعادها بدقة.
لإضافة شرط آخر، حدد Add condition وأدخل تعبير KQL جديدا لتصفية البيانات. يتم دمج شروط متعددة مع OR منطقي، لذلك تتم تصفية البيانات المطابقة لأي من الشروط.
حدد حفظ لتطبيق القاعدة.
تحقق من تطبيق قاعدة عامل التصفية عن طريق التحقق من عمود قواعد التحويل للجدول. يعرض العمود عامل التصفية عندما تكون قاعدة عامل التصفية نشطة.
تكوين قاعدة تحويل منقسمة
اتبع هذه الخطوات لإنشاء قاعدة تحويل منقسمة:
في مدخل Defender، انتقل إلى Microsoft Sentinel>جداول>التكوين.
حدد جدولا ثم حدد Split rule.
في اللوحة الجانبية، أدخل اسم القاعدة.
في حقل تعبير KQL ، أدخل تعبير KQL الذي يحدد البيانات التي يجب استيعابها إلى طبقة التحليلات. يتم استيعاب البيانات التي لا تتطابق مع هذا التعبير إلى طبقة مستودع البيانات.
حدد حفظ لتطبيق القاعدة.
تحقق من تطبيق قاعدة الانقسام عن طريق التحقق من عمود قواعد التحويل للجدول. يعرض العمود Split عندما تكون قاعدة الانقسام نشطة.
ملاحظة
تنتقل البيانات المنقسمة التي تم استيعابها في طبقة مستودع البيانات إلى جدول منفصل بنفس اسم الجدول الأصلي ولكن مع لاحقة "_SPLT". على سبيل المثال، إذا قمت بتطبيق قاعدة تقسيم على جدول "FirewallLogs"، يتم استيعاب البيانات التي يتم توجيهها إلى طبقة مستودع البيانات في جدول "FirewallLogs_SPLT" منفصل. يتيح لك استخدام جدول _SPLT منفصل لبيانات مستودع البيانات إدارة نهج الاستبقاء والوصول بشكل منفصل لطبقات Analytics وData lake.
تكوين الاستبقاء للجداول المنقسمة
بعد إنشاء قاعدة تقسيم، قم بتكوين إعدادات الاستبقاء لكل مستوى:
ضمن الجدول الأصلي، اعرض جداول تقسيم AnalyticsوData lake الناتجة .
لتكوين الاستبقاء، حدد جدول Analytics أو Data lake.
حدد إعدادات استبقاء البيانات.
تكوين فترة الاستبقاء وحفظها.
بدلا من ذلك، حدد الجدول الأصلي وقم بتكوين كل من Analytics وData lake retention من مربع الحوار إعدادات استبقاء البيانات المجمعة .
إدارة القواعد
لإدارة القواعد الموجودة، حدد الجدول ثم حدد إما تقسيم القاعدة أو قاعدة التصفية استنادا إلى نوع القاعدة الذي تريد إدارته.
- لتعطيل قاعدة، حدد مفتاح حالة القاعدة لإيقاف تشغيل القاعدة، ثم حدد حفظ.
- لحذف قاعدة، لاحظ أن حذف قاعدة تحويل يوقف فورا معالجة البيانات لتلك القاعدة وقد يؤثر على الاستهلاك النشط. للمتابعة، اختر الحذف.
تحقق من القواعد عن طريق تشغيل استعلامات KQL للتأكد من استيعاب البيانات بشكل صحيح وتوجيهها إلى المستوى الصحيح.
القيود المعروفة
كن على دراية بالقيود التالية عند استخدام تحويلات التصفية والتقسيم:
رؤية جدول XDR: لا تظهر تحويلات التقسيم والتصفية المطبقة على جداول XDR في التتبع المتقدم لأول 30 يوما من البيانات. يتم تطبيق التحويلات، وبمجرد أن تتجاوز أعمار البيانات أول 30 يوما، فإنها تتصرف بشكل طبيعي في التتبع المتقدم. تعكس البيانات التي يتم الاستعلام عنها من Log Analytics أو Microsoft Sentinel وفورات التكلفة على الفور.
تأخير النشر: يمكن أن تستغرق التحويلات ما يصل إلى ساعة واحدة حتى تسري.
دعم الجدول: تدعم الجداول التي تدعم قواعد جمع البيانات (DCRs) فقط تحويلات التقسيم والتصفية.