تحديد أداة استيعاب البيانات

بعد تحديد نظام أساسي مستهدف لبياناتك التاريخية، فإن الخطوة التالية هي تحديد أداة لنقل بياناتك.

توضح هذه المقالة مجموعة من الأدوات المختلفة المستخدمة لنقل بياناتك التاريخية إلى النظام الأساسي المستهدف المحدد. يسرد هذا الجدول الأدوات المتوفرة لكل نظام أساسي مستهدف، والأدوات العامة لمساعدتك في عملية الاستيعاب.

سجلات/أرشفة Azure Monitor الأساسية	Azure Data Explorer ‏(Kusto)	Azure Blob Storage	الأدوات العامة
• أداة استيعاب السجل المخصصة لـ Azure Monitor • واجهة برمجة تطبيقات مباشرة	• LightIngest • Logstash	• Azure Data Factory أو Azure Synapse • AzCopy	• Azure Data Box • مسرع ترحيل بيانات SIEM

سجلات/أرشفة Azure Monitor الأساسية

قبل استيعاب البيانات إلى سجلات Azure Monitor الأساسية أو الأرشيف، للحصول على أسعار استيعاب أقل، تأكد من تكوين الجدول الذي تكتب إليه كسجلات أساسية. راجع أداة استيعاب سجل Azure Monitor المخصصة وأسلوب واجهة برمجة التطبيقات المباشرة لسجلات Azure Monitor الأساسية.

أداة استيعاب السجل المخصصة لـ Azure Monitor

أداة استيعاب السجل المخصصة هي برنامج نصي PowerShell يرسل بيانات مخصصة إلى مساحة عمل Azure Monitor Logs. يمكنك توجيه البرنامج النصي إلى المجلد حيث توجد جميع ملفات السجل الخاصة بك، ويدفع البرنامج النصي الملفات إلى هذا المجلد. يقبل البرنامج النصي تنسيق CSV أو JSON لملفات السجل.

واجهة برمجة تطبيقات مباشرة

باستخدام هذا الخيار، يمكنك استيعاب سجلاتك المخصصة في سجلات Azure Monitor. يمكنك استيعاب السجلات باستخدام برنامج نصي PowerShell يستخدم واجهة برمجة تطبيقات REST. بدلاً من ذلك، يمكنك استخدام أي لغة برمجة أخرى لتنفيذ الاستيعاب، ويمكنك استخدام خدمات Azure الأخرى لتجريد طبقة الحوسبة، مثل Azure Functions أو Azure Logic Apps.

Azure Data Explorer ‏(Kusto)

يمكنك استيعاب البيانات إلى Azure Data Explorer (ADX) بعدة طرق.

تستند أساليب الاستيعاب التي تقبلها ADX إلى مكونات مختلفة:

• SDKs للغات مختلفة، مثل .NET وGo وPython وJava وNodeJS وواجهات برمجة التطبيقات.
• البنية الأساسية لبرنامج ربط العمليات التجارية المدارة، مثل Event Grid أو Storage Blob Event Hubs وAzure Data Factory.
• الموصلات أو المكونات الإضافية، مثل Logstash وKafka وPower Automate وApache Spark.

راجع LightIngestوLogstash، وهما طريقتان مصممتان بشكل أفضل لحالة استخدام ترحيل البيانات.

LightIngest

طورت ADX الأداة المساعدة LightIngest خصيصًا لحالة استخدام ترحيل البيانات التاريخية. يمكنك استخدام LightIngest لنسخ البيانات من نظام ملفات محلي أو Azure Blob Storage إلى ADX.

فيما يلي بعض الفوائد والقدرات الرئيسية لـ LightIngest:

• نظرًا إلى عدم وجود قيود زمنية على مدة الاستيعاب، فإن LightIngest مفيد للغاية عندما تريد استيعاب كميات كبيرة من البيانات.
• يعد LightIngest مفيدًا عندما تريد الاستعلام عن السجلات وفقًا لوقت إنشائها، وليس الوقت الذي تم استيعابها فيه.
• لا تحتاج إلى التعامل مع التحجيم المعقد لـ LightIngest، لأن الأداة المساعدة لا تقوم بالنسخة الفعلية. يقوم LightIngest بإعلام ADX عن الكائنات الثنائية كبيرة الحجم التي تحتاج إلى نسخ، وينسخ ADX البيانات.

إذا اخترت LightIngest، فراجع هذه التلميحات وأفضل الممارسات.

• لتسريع الترحيل وتقليل التكاليف، قم بزيادة حجم مجموعة ADX لإنشاء المزيد من العقد المتوفرة لاستيعابها. إنقاص الحجم بمجرد انتهاء الترحيل.
• للحصول على استعلامات أكثر كفاءة بعد استيعاب البيانات إلى ADX، تأكد من أن البيانات المنسوخة تستخدم الطابع الزمني للأحداث الأصلية. يجب ألا تستخدم البيانات الطابع الزمني من وقت نسخ البيانات إلى ADX. يمكنك توفير الطابع الزمني إلى LightIngest كمسار لاسم الملف كجزء من خاصية CreateTime.
• إذا لم يتضمن المسار أو أسماء الملفات طابعًا زمنيًا، فلا يزال بإمكانك إرشاد ADX لتنظيم البيانات باستخدام نهج التقسيم.

⁧⁩Logstash⁧⁩

Logstash هو مصدر مفتوح، البنية الأساسية لمعالجة البيانات من جانب الخادم الذي يخزن البيانات من العديد من المصادر في وقت واحد، ويحول البيانات، ثم يرسل البيانات إلى "المخزن" المفضل لديك. تعرف على كيفية استيعاب البيانات من Logstash إلى Azure Data Explorer. يتم تشغيل Logstash على أجهزة Windows وLinux وMacOS.

لتحسين الأداء، قم بتكوين حجم طبقة Logstash وفقًا للأحداث في الثانية. نوصي باستخدام LightIngest حيثما أمكن، لأن LightIngest يعتمد على حوسبة نظام مجموعة ADX لتنفيذ النسخة.

Azure Blob Storage

يمكنك استيعاب البيانات إلى Azure Blob Storage بعدة طرق.

• Azure Data Factory أو Azure Synapse
• AzCopy
• Azure Storage Explorer
• Python
• SSIS

راجع أساليب Azure Data Factory (ADF) وAzure Synapse، والتي تم تصميمها بشكل أفضل لحالة استخدام ترحيل البيانات.

Azure Data Factory أو Azure Synapse

لاستخدام نشاط النسخ في Azure Data Factory (ADF) أو مسارات Synapse:

1. إنشاء وقت تشغيل التكامل ذاتي الاستضافة وتكوينه هذا المكون مسؤول عن نسخ البيانات من المضيف المحلي.
2. إنشاء خدمات مرتبطة لمخزن البيانات المصدر (نظام الملفات وتخزين البيانات الثنائية الكبيرة لمخزن البيانات المخزن.
3. لنسخ البيانات، استخدم أداة نسخ البيانات. بدلاً من ذلك، يمكنك استخدام أسلوب مثل PowerShell ومدخل Azure و.NET SDK وما إلى ذلك.

AzCopy

AzCopy هي أداة بسيطة لسطر الأوامر التي تنسخ الملفات من حسابات التخزين أو إليها. يتوفر AzCopy لأنظمة التشغيل Windows وLinux وmacOS. تعرف على كيفية نسخ البيانات المحلية إلى تخزين Azure Blob باستخدام AzCopy.

يمكنك أيضًا استخدام هذه الخيارات لنسخ البيانات:

• تعرف على كيفية تحسين أداء AzCopy.
• تعرف على كيفية تكوين AzCopy
• تعرف على كيفية استخدام أمر النسخ.

Azure Data Box

في سيناريو لا يكون فيه مصدر SIEM اتصالاً جيدًا بـ Azure، قد يكون استيعاب البيانات باستخدام الأدوات التي تمت مراجعتها في هذا القسم بطيئًا أو حتى مستحيلاً. لمعالجة هذا السيناريو، يمكنك استخدام Azure Data Box لنسخ البيانات محليا من مركز بيانات العميل إلى جهاز، ثم شحن هذا الجهاز إلى مركز بيانات Azure. في حين أن Azure Data Box ليس بديلاً عن AzCopy أو LightIngest، يمكنك استخدام هذه الأداة لتسريع نقل البيانات بين مركز بيانات العملاء وAzure.

يقدم Azure Data Box ثلاث وحدات SKU مختلفة، اعتمادًا على كمية البيانات المراد ترحيلها:

• قرص صندوق البيانات
• Data Box
• Data Box Heavy

بعد إكمال الترحيل، تتوفر البيانات في حساب تخزين ضمن أحد اشتراكات Azure. يمكنك بعد ذلك استخدام AzCopy أو LightIngest أو ADF لاستيعاب البيانات من حساب التخزين.

مسرع ترحيل بيانات SIEM

بالإضافة إلى تحديد أداة استيعاب، يحتاج فريقك إلى استثمار الوقت في إعداد بيئة الأساس. لتسهيل هذه العملية، يمكنك استخدام مسرع ترحيل بيانات SIEM، الذي يقوم بأتمتة المهام التالية:

• نشر جهاز ظاهري يعمل بنظام Windows سيتم استخدامه لنقل السجلات من المصدر إلى النظام الأساسي الهدف
• تنزيل واستخراج الأدوات التالية في سطح مكتب الجهاز الظاهري:
  • LightIngest: يُستخدم لترحيل البيانات إلى ADX
  • أداة استيعاب سجل Azure Monitor المخصصة: تُستخدم لترحيل البيانات إلى Log Analytics
  • AzCopy: يُستخدم لترحيل البيانات إلى Azure Blob Storage
• نشر النظام الأساسي الهدف الذي سيستضيف سجلاتك التاريخية:
  • حساب تخزين Azure (تخزين كائن ثنائي كبير الحجم لـ Azure )
  • نظام مجموعة Azure Data Explorer وقاعدة البيانات
  • مساحة عمل Azure Monitor Logs (السجلات الأساسية؛ ممكنة مع Microsoft Sentinel)

لاستخدام مسرع ترحيل البيانات SIEM:

1. من صفحة مسرع ترحيل بيانات SIEM، انقر فوق Deploy to Azure في أسفل الصفحة، ثم قم بالمصادقة.
2. حدد Basics، وحدد مجموعة الموارد والموقع، ثم حدد Next.
3. حدد Migration VM، وقم بما يلي:
   • اكتب اسم الجهاز الظاهري واسم المستخدم وكلمة المرور.
   • حدد vNet موجودة أو أنشئ شبكة ظاهرية جديدة لاتصال الجهاز الظاهري.
   • حدد حجم الجهاز الظاهري.
4. حدد Target platform وقم بأحد الإجراءات التالية:
   • تخطّ هذه الخطوة
   • قم بتوفير مجموعة ADX واسم قاعدة البيانات وSKU وعدد العقد.
   • بالنسبة إلى حسابات Azure Blob Storage، حدد حسابًا موجودًا. إذا لم يكن لديك حساب، فوفر اسمًا ونوعًا وتكرارًا جديدًا للحساب.
   • بالنسبة إلى سجلات Azure Monitor، اكتب اسم مساحة العمل الجديدة.

الخطوات التالية

في هذه المقالة، تعرفت على كيفية تحديد أداة لإدخال بياناتك في النظام الأساسي المستهدف.

استيعاب بياناتك