مشاركة عبر

ترحيل بيانات Hadoop المحلية إلى Azure Data Lake Storage Gen2 باستخدام WANdisco LiveData Platform for Azure

  • مقالة

يقوم WANdisco LiveData Platform for Azure بترحيل بيتابايت من بيانات Hadoop المحلية إلى أنظمة الملفات Azure Data Lake Storage Gen2 دون مقاطعة عمليات البيانات أو طلب وقت توقف. تمنع عمليات الفحص المستمرة للمنصة فقدان البيانات مع الحفاظ على اتساقها في طرفي النقل حتى في أثناء خضوعها للتعديل.

يتكون النظام الأساسي من اثنتين من الخدمات. يقوم LiveData Migrator for Azure بترحيل البيانات المستخدمة بنشاط من البيئات المحلية إلى تخزين Azure، ويضمن LiveData Plane for Azure نسخ جميع البيانات المعدلة أو المستنشقة بشكل متسق.

رسم توضيحي لنظرة عامة على النظام الأساسي للبيانات المباشرة

إدارة كلتا الخدمتين باستخدام مدخل Microsoft Azure وAzure CLI. تتبع كل خدمة نفس نموذج الفوترة بالدفع حسب الاستخدام مثل جميع خدمات Azure الأخرى: يظهر استهلاك البيانات في LiveData Platform ل Azure على فاتورة Azure الشهرية، والتي ستوفر مقاييس الاستخدام.

على عكس ترحيل البيانات دون اتصال عن طريق نسخ المعلومات الثابتة إلى Azure Data Box، أو باستخدام أدوات Hadoop مثل DistCp، يمكنك الحفاظ على التشغيل الكامل لأنظمة عملك في أثناء الترحيل عبر الإنترنت باستخدام WANdisco LiveData for Azure. حافظ على تشغيل بيئات البيانات الضخمة حتى في أثناء نقل بياناتها إلى Azure.

الفوائد الرئيسية لمنصة WANdisco LiveData لـAzure

يحقق WANdisco LiveData Platform لمحرك الإجماع القادر على الشبكة الواسعة النطاق من Azure اتساق البيانات، ويجري النسخ المتماثل للبيانات في الوقت الفعلي على نطاق واسع. شاهد الفيديو التالي لمزيد من المعلومات:

تشمل الفوائد الرئيسية للمنصة ما يلي:

  • دقة البيانات: يمنع التحقق من صحة البيانات من طرف إلى طرف فقدان البيانات ويضمن أن البيانات المنقولة صالحة للاستخدام.

  • اتساق البيانات: حافظ على اتساق أحجام البيانات تلقائيا بين البيئات حتى أثناء خضوعها للتغيير المستمر.

  • كفاءة البيانات: نقل كميات البيانات الكبيرة باستمرار مع التحكم الكامل في استهلاك النطاق الترددي.

  • التخلص من وقت التوقف: يمكنك إنشاء البيانات وتعديلها وقراءتها وحذفها بحرية باستخدام تطبيقات أخرى أثناء الترحيل، دون الحاجة إلى تعطيل العمليات التجارية أثناء نقل البيانات إلى Azure. استمر في تشغيل التطبيقات والبنية التحتية للتحليلات واستيعاب الوظائف والمعالجة الأخرى.

  • استخدام بسيط: استخدم تكامل Azure الخاص بالنظام الأساسي لإنشاء عمليات الترحيل التلقائية وتكوينها وجدولتها وتتبعها. بالإضافة إلى ذلك، قم بتكوين النسخ المتماثل للبيانات الانتقائية وبيانات تعريف Hive وأمن البيانات والسرية حسب الحاجة.

المزايا الرئيسية لمنصة WANdisco LiveData لـAzure

تشمل المزايا الرئيسية للمنصة ما يلي:

  • ترحيل بيانات التعريف: بالإضافة إلى بيانات HDFS، يمكنك ترحيل بيانات التعريف (من Hive ووحدات التخزين الأخرى) باستخدام LiveData Migrator لـ Azure.

  • النقل المجدول: استخدم LiveData Migrator لـ Azure للتحكم في وقت بدء نقل البيانات وأتمتته، مما يلغي الحاجة إلى ترحيل التغييرات إلى البيانات يدويا.

  • Kerberos: يدعم LiveData Migrator for Azure مجموعات Kerberized.

  • قوالب الاستبعاد: أنشئ قواعد في LiveData Migrator لـ Azure لمنع ترحيل أحجام ملفات أو أسماء ملفات معينة (معرفة باستخدام أنماط glob) إلى وحدة التخزين المستهدفة. قم بإنشاء قوالب استبعاد في مدخل Microsoft Azure أو باستخدام CLI، وقم بتطبيقها على أي عدد من عمليات الترحيل.

  • تعيينات المسار: حدد مسارات الهدف البديلة لأنظمة ملفات هدف محددة، والتي تنقل البيانات المنقولة تلقائيا إلى الدلائل التي تحددها.

  • إدارة النطاق الترددي: تكوين الحد الأقصى لعرض النطاق الترددي للشبكة الذي يمكن لـ LiveData Migrator لـAzure استخدامه لمنع عرض النطاق الترددي على الاستهلاك.

  • الاستثناءات: حدد استعلامات القوالب التي تمنع ترحيل أي ملفات وأدلة تفي بالمعايير، مما يسمح لك بترحيل البيانات بشكل انتقائي من النظام المصدر.

  • المقاييس: يمكنك عرض تفاصيل حول نقل البيانات في LiveData Migrator لـ Azure، مثل الملفات المنقولة بمرور الوقت والمسارات المستبعدة والعناصر التي فشلت في النقل والمزيد.

    بيانات LiveData

ترحيل البيانات الضخمة بشكل أسرع دون مخاطر

الخدمة الأولى المضمنة في WANdisco LiveData Platform لـ Azure هي LiveData Migrator for Azure، والتي تقوم بترحيل البيانات من البيئات المحلية إلى Azure Storage. بمجرد نشر LiveData Migrator إلى مجموعة Hadoop المحلية الخاصة بك، سيقوم تلقائيًا بإنشاء أفضل تكوين لنظام الملفات الخاص بك. من هناك، قم بتزويد تفاصيل Kerberos للنظام. سيكون LiveData Migrator for Azure جاهزًا بعد ذلك لترحيل البيانات إلى Azure Storage.

LiveData Migrator ل Azure Architecture

قبل البدء في LiveData Migrator لـAzure، راجع هذه المتطلبات الأساسية.

لتنفيذ ترحيل:

  1. في Azure CLI:

    • سجل لموفر موارد WANdisco في Azure CLI عن طريق التشغيل az provider register --namespace Wandisco.Fusion --consent-to-permissions.
    • اقبل شروط الفوترة المقننة لمنصة LiveData من خلال تشغيل az vm image terms accept --offer ldma --plan metered-v1 --publisher Wandisco --subscription <subscriptionID>.

  2. نشر مثيل LiveData Migrator من مدخل Microsoft Azure إلى مجموعة Hadoop المحلية. (لا تحتاج إلى إجراء تغييرات على نظام المجموعة أو إعادة تشغيله.)

    إنشاء مثيل LiveData Migrator

    إشعار

    يوفر WANdisco LiveData Migrator for Azure خيار إنشاء مجموعة اختبار Hadoop.

  3. قم بتكوين تفاصيل Kerberos، إن وجدت.

  4. حدد حساب التخزين المستهدف الذي تم تمكينه Azure Data Lake Storage Gen2.

    إنشاء هدف LiveData Migrator

  5. حدد موقع البيانات التي تريد ترحيلها، على سبيل المثال: /user/hive/warehouse.

    إنشاء ترحيل LiveData Migrator

  6. بدء الترحيل.

راقب تقدم الترحيل من خلال أدوات Azure القياسية بما في ذلك Azure CLI ومدخل Microsoft Azure.

نسخ البيانات في اتجاهين ضمن التغيير النشط باستخدام LiveData Plane for Azure

الخدمة الثانية المضمنة في LiveData Platform هي LiveData Plane لـAzure. يستخدم LiveData Plane محرك التنسيق الخاص بـWANdisco للحفاظ على اتساق البيانات عبر العديد من مجموعات Hadoop المحلية وتخزين Azure من خلال تطبيق التغييرات بذكاء على البيانات على جميع الأنظمة، مما يزيل خطر تعارض البيانات في نقاط الاستخدام المختلفة.

LiveData Plane for Azure Architecture

بعد الترحيل الأولي، حافظ على اتساق بياناتك مع LiveData Plane لـAzure:

  1. نشر LiveData Plane لـAzure محليًا وفي Azure، بدءًا من مدخل Microsoft Azure. لا يلزم إجراء أي تغييرات في التطبيق.

  2. تكوين قواعد النسخ المتماثل التي تغطي مواقع البيانات التي تريد الحفاظ على اتساقها، على سبيل المثال: /user/contoso/sales/region/WA.

  3. قم بتشغيل التطبيقات التي تقوم بالوصول إلى البيانات وتعديلها في أي من الموقعين حسب حاجتك.

يقوم LiveData Plane for Azure باستمرار بنسخ تغييرات البيانات عبر جميع البيئات دون تأثير كبير على تشغيل المجموعة أو أداء التطبيق.

اختبار القيادة أو التجربة

من منصة LiveData لصفحة سوق Azure، لديك خياران:

  • يقوم الزر Get It Now بتشغيل الخدمة في اشتراكك. من هناك، يمكنك استخدام مجموعة Hadoop الخاصة بك أو مجموعة WANdisco التجريبية.

  • حدد Test Drive لاختبار LiveData Migrator ل Azure في بيئة تم تكوينها مسبقا واستضافتها لك. يتيح لك ذلك تجربة LiveData Migrator لـAzure قبل إضافته إلى اشتراكك، دون أي تكلفة أو مخاطر على بياناتك.

الخطوات التالية

(راجع أيضًا )