يخزن هذا الحل سجلات الأمان في Azure Data Explorer على أساس طويل الأجل. يقلل هذا الحل من التكاليف ويوفر وصولاً سهلاً عندما تحتاج إلى الاستعلام عن البيانات.
Grafana وJupyter Notebooks هي علامات تجارية لشركاتها المعنية. ولا ينطوي استخدام هذه العلامات على أية مصادقة.
بناء الأنظمة
قم بتنزيل ملف Visio لهذه البنية.
تدفق البيانات
بالنسبة إلى SIEM وSOAR، تستخدم المؤسسة Azure Sentinel وDefender for Endpoint.
يستخدم Defender for Endpoint الوظائف الأصلية لتصدير البيانات إلى مراكز أحداث Azure وAzure Data Lake. يُعالج Azure Sentinel بيانات Defender for Endpoint لمراقبة الأجهزة.
يستخدم Sentinel Log Analytics كمنصة بيانات لتصدير البيانات إلى مراكز الأحداث وAzure Data Lake.
يستخدم Azure Data Explorer موصلات لمراكز الأحداث، وتخزين Azure Blob، Azure Data Lake Storage لاستيعاب البيانات مع زمن انتقال منخفض ومعدل نقل عالٍ. تستخدم هذه العملية Azure Event Grid، والتي تقوم بتشغيل البنية الأساسية لبرنامج ربط العمليات التجارية لاستيعاب Azure Data Explorer.
إذا لزم الأمر، يصدر Azure Data Explorer سجلات الأمان باستمرار إلى Azure Storage. هذه السجلات بتنسيق Parquet ومضغوطة ومقسمة وهي جاهزة للاستعلام.
لاتباع المتطلبات التنظيمية، يصدر Azure Data Explorer البيانات المجمعة مسبقًا إلى Data Lake Storage للأرشفة.
يدعم Log Analytics و Azure Sentinel الاستعلامات عبر الخدمات باستخدام Azure Data Explorer. يستخدم محللو SOC هذه الإمكانية لإدارة تحقيقات كاملة النطاق على بيانات الأمان.
يوفر Azure Data Explorer قدرات أصلية لمعالجة البيانات وتجميعها وتحليلها.
توفر الأدوات المختلفة لوحات معلومات تحليلات في الوقت الفعلي تقريبًا تقدم بسرعة رؤى:
المكونات
يحمي Defende for Endpoint المؤسسات من التهديدات عبر الأجهزة والهويات والتطبيقات والبريد الإلكتروني والبيانات وأحمال العمل السحابية.
Microsoft Azure Sentinel عبارة عن حل SIEM و SOAR قابل للتطوير وسحابة أصلي. ويستخدم الذكاء الاصطناعي المتقدمة وتحليلات الأمان للكشف عن التهديدات وتعقبها ومنعها والاستجابة لها عبر المؤسسات.
Monitor هو حل خدمة تأجير البرامج (SaaS) يجمع البيانات وتحليلها على البيئات وموارد Azure. تتضمن هذه البيانات بيانات تتبع الاستخدام للتطبيق، مثل مقاييس الأداء وسجلات النشاط. توفر المراقبة أيضًا وظائف التنبيه.
Log Analytics هي خدمة مراقبة يمكنك استخدامها للاستعلام عن بيانات سجل المراقبة وفحصها. يوفر تحليلات السجل أيضاً ميزات لرسم المخططات والتحليل الإحصائي لنتائج الاستعلام.
Event Hubs هي خدمة نقل بيانات مُدارة بالكامل وفي الوقت الفعلي تتسم بالموثوقية والقابلية للتوسع.
Data Lake Storageهو مستودع تخزين قابل للقياس يحتوي على كمية كبيرة من البيانات بتنسيقها الأصلي الخام. تم إنشاء مستودع البيانات هذا فوق Blob Storage ويوفر وظائف لتخزين البيانات ومعالجتها.
Azure Data Explorer هو نظام أساسي لتحليلات البيانات سريع ومدار بالكامل وقابل للتطوير بدرجة كبيرة. يمكنك استخدام هذه الخدمة السحابية للتحليل في الوقت الحقيقي على كميات كبيرة من البيانات. تم تحسين Azure Data Explorer للاستعلامات استكشافية والتفاعلية. يمكنه التعامل مع تدفقات البيانات المتنوعة من التطبيقات ومواقع الويب وأجهزة IoT ومصادر أخرى.
تستورد لوحات معلومات Azure Data Explorer البيانات في الأصل من استعلامات واجهة مستخدم Azure Data Explorer Web. توفر لوحات المعلومات المحسنة هذه طريقة لعرض نتائج الاستعلام واستكشافها.
البدائل
بدلاً من استخدام Azure Data Explorer لتخزين سجلات الأمان على المدى الطويل، يمكنك استخدام التخزين. يعمل هذا النهج على تبسيط البنية ويمكن أن يساعد في التحكم في التكلفة. العيب هو الحاجة إلى إعادة تحديث سجلات عمليات تدقيق الأمان والاستعلامات التحقيقية التفاعلية. باستخدام Azure Data Explorer، يمكنك نقل البيانات من القسم البارد إلى القسم الساخن عن طريق تغيير نهج. هذه الوظيفة تسرع استكشاف البيانات.
خيار آخر مع هذا الحل هو إرسال جميع البيانات، بغض النظر عن قيمة الأمان الخاصة بها، إلى Azure Sentinel وAzure Data Explorer في نفس الوقت. بعض نتائج ازدواجية، ولكن يمكن أن تكون وفورات في التكاليف كبيرة. نظرا لأن Azure Data Explorer يوفر تخزينًا طويل الأجل، يمكنك تقليل تكاليف استبقاء Azure Sentinel باستخدام هذا الأسلوب.
لا يدعم Log Analytics حاليًا تصدير جداول السجل المخصصة. في هذا السيناريو، يمكنك استخدام Azure Logic Apps لتصدير البيانات من مساحات عمل Log Analytics. لمزيد من المعلومات، راجع Archive data from Log Analytics workspace to Azure Storage using Logic Apps.
تفاصيل السيناريو
سجلات الأمان مفيدة لتحديد التهديدات وتتبع المحاولات غير المصرح بها للوصول إلى البيانات. يمكن أن تبدأ الهجمات الأمنية قبل اكتشافها. ونتيجة لذلك، فإن الوصول إلى سجلات الأمان طويلة الأجل أمر مهم. يعد الاستعلام عن السجلات طويلة الأجل أمرًا بالغ الأهمية لتحديد تأثير التهديدات والتحقيق في انتشار محاولات الوصول غير المشروع.
توضح هذه المقالة حلاً للاستبقاء طويل الأجل بسجلات الأمان. في جوهر البنية يوجد Azure Data Explorer. توفر هذه الخدمة تخزينًا لبيانات الأمان بأقل تكلفة ولكنها تحافظ على تلك البيانات بتنسيق يمكنك الاستعلام به. وتشمل المكونات الرئيسية الأخرى ما يلي:
Microsoft Defender for Endpoint وMicrosoft Sentinel، لهذه الإمكانات:
- أمان شامل لنقطة النهاية
- إدارة معلومات الأمان والأحداث (SIEM)
- تنسيق الأمان والتشغيل التلقائي والاستجابة (SOAR).
Log Analytics، لتخزين سجلات أمان Sentinel على المدى القصير.
حالات الاستخدام المحتملة
ينطبق هذا الحل على سيناريوهات مختلفة. على وجه التحديد، يمكن لمحللي مركز عمليات الأمان (SOC) استخدام هذا الحل من أجل:
- تحقيقات واسعة النطاق.
- تحليل الطب الشرعي.
- تتبع المخاطر.
- عمليات التدقيق الأمنية
يشهد العميل على فائدة الحل: "قمنا بنشر مجموعة Azure Data Explorer منذ عام ونصف تقريبًا. في آخر خرق لبيانات Solorigate، استخدمنا مجموعة Azure Data Explorer لتحليل الطب الشرعي. استخدم فريق Microsoft Dart أيضًا مجموعة Azure Data Explorer لإكمال التحقيق. يعد استبقاء بيانات الأمان على المدى الطويل أمرًا بالغ الأهمية للتحقيقات الكاملة للبيانات."
مكدس ذاكرة مؤقتة للمراقبة
يوضح الرسم التخطيطي التالي مكدس ذاكرة مراقبة Azure المؤقتة:
- يستخدم Azure Sentinel مساحة عمل Log Analytics لتخزين سجلات الأمان وتوفير حلول SIEM وSOAR.
- يتعقب جهاز العرض حالة أصول تكنولوجيا المعلومات ويرسل التنبيهات عند الحاجة.
- يوفر Azure Data Explorer نظامًا أساسيًا للبيانات يخزن سجلات الأمان لمساحات عمل Log Analytics و Monitor وAzure Sentinel.
الميزات الرئيسية
تقدم الميزات الرئيسية للحل العديد من الفوائد، كما توضح الأقسام التالية.
مخزن بيانات قابل للاستعلام على المدى الطويل
يقوم Azure Data Explorer بفهرسة البيانات أثناء عملية التخزين، ما يجعل البيانات متاحة للاستعلامات. عندما تحتاج إلى التركيز على تشغيل عمليات التدقيق والتحقيقات، ليست هناك حاجة لمعالجة البيانات. يعد الاستعلام عن البيانات أمرًا سهلاً.
تحليل الطب الشرعي على نطاق واسع
يدعم Azure Data Explorer وLog Analytics و دعم Azure Sentinel الاستعلامات عبر الخدمات. ونتيجة لذلك، في استعلام واحد، يمكنك الرجوع إلى البيانات المخزنة في أي من هذه الخدمات. يمكن لمحللي SOC استخدام لغة استعلام Kusto (KQL) لتشغيل التحقيقات كاملة النطاق. يمكنك أيضًا استخدام استعلامات Azure Data Explorer في Azure Sentinel لأغراض التتبع. لمزيد من المعلومات، راجع What's New: Sentinel Hunting supports ADX cross-resource queries.
التخزين المؤقت للبيانات عند الطلب
يدعم Azure Data Explorer التخزين المؤقت الساخن المستند إلى النافذة. توفر هذه الوظيفة طريقة لنقل البيانات من فترة محددة إلى ذاكرة التخزين المؤقت الساخنة. ثم يمكنك تشغيل استعلامات سريعة على البيانات، ما يجعل التحقيقات أكثر كفاءة. قد تحتاج إلى إضافة عقد حساب إلى ذاكرة التخزين المؤقت الساخنة لهذا الغرض. بعد اكتمال التحقيق، يمكنك تغيير نهج ذاكرة التخزين المؤقت الساخنة لنقل البيانات إلى القسم البارد. يمكنك أيضًا إعادة المجموعة إلى حجمها الأصلي.
التصدير المستمر لأرشفة البيانات
لاتباع المتطلبات التنظيمية، تحتاج بعض المؤسسات إلى تخزين سجلات الأمان لفترة غير محدودة من الوقت. يدعم Azure Data Explorer التصدير المستمر للبيانات. يمكنك استخدام هذه الإمكانية لإنشاء مستوى أرشفة عن طريق تخزين سجلات الأمان في التخزين.
لغة الاستعلام المثبتة
لغة استعلام Kusto أصلية في Azure Data Explorer. تتوفر هذه اللغة أيضًا في مساحات عمل Log Analytics وبيئات Microsoft Azure Sentinel لتتبع التهديدات. يقلل هذا التوفر بشكل كبير من منحنى التعلم لمحللي SOC. تعمل الاستعلامات التي تقوم بتشغيلها على Azure Sentinel أيضًا على البيانات التي تقوم بتخزينها في مجموعات Azure Data Explorer.
الاعتبارات
تنفذ هذه الاعتبارات ركائز Azure Well-Architected Framework، وهو عبارة عن مجموعة من المبادئ التوجيهية التي يمكن استخدامها لتحسين جودة حمل العمل. لمزيد من المعلومات، يرجى مراجعةMicrosoft Azure Well-Architected Framework.
ضع النقاط التالية في الاعتبار عند تنفيذ هذا الحل.
قابلية التوسع
ضع في اعتبارك مشكلات قابلية التوسع هذه:
طريقة تصدير البيانات
إذا كنت بحاجة إلى تصدير كمية كبيرة من البيانات من Log Analytics، فقد تصل إلى حدود سعة مراكز الأحداث. لتجنب هذا الموقف:
- تصدير البيانات من Log Analytics إلى Blob Storage.
- استخدم أحمال عمل Azure Data Factory لتصدير البيانات بشكل دوري إلى Azure Data Explorer.
باستخدام هذا الأسلوب، يمكنك نسخ البيانات من Data Factory فقط عندما تقترب البيانات من حد الاستبقاء الخاص بها في Azure Sentinel أو Log Analytics. ونتيجة لذلك، يمكنك تجنب تكرار البيانات. لمزيد من المعلومات، راجع Export data from Log Analytics into Azure Data Explorer.
استخدام الاستعلام واستعداد التدقيق
بشكل عام، يمكنك الاحتفاظ بالبيانات في ذاكرة التخزين المؤقت الباردة في مجموعة Azure Data Explorer. يقلل هذا الأسلوب من تكلفة نظام المجموعة الخاص بك ويكفي لمعظم الاستعلامات التي تتضمن بيانات من الأشهر السابقة. ولكن عند الاستعلام عن نطاقات البيانات الكبيرة، قد تحتاج إلى توسيع نطاق المجموعة وتحميل البيانات في ذاكرة التخزين المؤقت الساخنة.
يمكنك استخدام ميزة النافذة الساخنة لنهج ذاكرة التخزين المؤقت الساخنة لهذا الغرض. يمكنك أيضًا استخدام هذه الميزة عند تدقيق البيانات طويلة الأجل. عند استخدام النافذة الساخنة، قد تحتاج إلى توسيع نطاق نظام المجموعة الخاص بك أو خارجه لتوفير مساحة لمزيد من البيانات في ذاكرة التخزين المؤقت الساخنة. بعد الانتهاء من الاستعلام عن نطاق البيانات الكبير، قم بتغيير نهج ذاكرة التخزين المؤقت السريع لتقليل تكلفة الحوسبة.
من خلال تشغيل ميزة التحجيم التلقائي المحسنة في مجموعة Azure Data Explorer، يمكنك تحسين حجم نظام المجموعة استنادًا إلى نهج التخزين المؤقت. لمزيد من المعلومات حول الاستعلام عن البيانات الباردة في Azure Data Explorer، راجع Query cold data with hot windows.
كفاءة الأداء
كفاءة الأداء هي قدرة حمل عملك على تغيير الحجم لتلبية المطالب التي يضعها المستخدمون عليها بطريقة فعالة. لمزيد من المعلومات، يرجى مراجعةأنماط كفاءة الأداء.
إذا كنت بحاجة إلى تخزين بيانات الأمان لفترة طويلة أو لفترة غير محدودة، فصدر السجلات إلى Storage. يدعم Azure Data Explorer التصدير المستمر للبيانات. باستخدام هذه الوظيفة، يمكنك تصدير البيانات إلى التخزين بتنسيق Parquet المضغوط والمقسم. يمكنك بعد ذلك الاستعلام عن تلك البيانات بسلاسة. لمزيد من المعلومات، راجع Continuous data export overview.
تحسين التكلفة
يركز تحسين التكلفة على البحث عن طرق للحد من النفقات غير الضرورية وتحسين الكفاءة التشغيلية. لمزيد من المعلومات، راجع نظرة عامة على ركيزة تحسين التكلفة.
تستند تكلفة مجموعة Azure Data Explorer بشكل أساسي إلى قوة الحوسبة المستخدمة لتخزين البيانات في ذاكرة التخزين المؤقت الساخنة. توفر الاستعلامات حول بيانات ذاكرة التخزين المؤقت الساخنة أداء أفضل على استعلامات ذاكرة التخزين المؤقت الباردة. يخزن هذا الحل معظم البيانات في ذاكرة التخزين المؤقت الباردة، ما يقلل من تكلفة الحوسبة.
لاستكشاف تكلفة تشغيل هذا الحل في بيئتك، استخدم حاسبة تسعير Azure.
نشر هذا السيناريو
لأتمتة النشر، استخدم هذا البرنامج النصي PowerShell. ينشئ هذا البرنامج النصي هذه المكونات:
- الجدول الهدف
- الجدول الخام
- تعيين الجدول الذي يحدد كيفية بقاء سجلات Event Hubs في الجدول الأولي
- سياسات الاستبقاء والتحديث
- مساحات أسماء Event Hubs
- قواعد تصدير البيانات في مساحة عمل Log Analytics
- اتصال البيانات بين مراكز الأحداث وجدول البيانات الأولية Azure Data Explorer
المساهمون
تحتفظ Microsoft بهذه المقالة. وهي مكتوبة في الأصل من قبل المساهمين التاليين.
الكاتب الرئيسي:
- ديباك أغراوال | إدارة المنتجات
لمشاهدة ملفات تعريف LinkedIn غير العامة، سجل الدخول إلى LinkedIn.
الخطوات التالية
- دمج Azure Data Explorer للاحتفاظ بالسجل على المدى الطويل
- نقل سجلات Microsoft Sentinel إلى التخزين طويل الأمد بسهولة
- استعلام عبر الموارد Azure Data Explorer باستخدام Azure Monitor
- كيفية: تكوين تصدير بيانات Microsoft Sentinel للتخزين طويل الأجل
- استخدام Azure Data Explorer للاحتفاظ طويل الأجل بسجلات Microsoft Sentinel
- ما الجديد: يدعم Microsoft Sentinel Hunting استعلامات ADX عبر الموارد
- كيفية دفق سجلات تتبع Microsoft Defender ATP في Azure Data Explorer
- سلسلة المدونة: تتبع متقدم بلا حدود باستخدام Azure Data Explorer (ADX)
الموارد ذات الصلة
- مراقبة Azure Data Explorer
- [تحليلات Azure Data Explorer التفاعلية] [تحليلات Azure Data Explorer التفاعلية]
- تحليلات البيانات الضخمة باستخدام Azure Data Explorer