ترحيل البيانات إلى Azure Cosmos DB لحساب NoSQL باستخدام Striim

ينطبق على: NoSQL

توفر صورة Striim في سوق Azure حركة مستمرة للبيانات في الوقت الفعلي من مستودعات البيانات وقواعد البيانات إلى Azure. أثناء نقل البيانات، يمكنك إجراء إلغاء التطابق المباشر وتحويل البيانات وتمكين التحليلات في الوقت الفعلي وسيناريوهات إعداد تقارير البيانات. من السهل البدء مع Striim لنقل بيانات المؤسسة باستمرار إلى Azure Cosmos DB ل NoSQL. يوفر Azure عرض السوق الذي يجعل من السهل نشر Striim وترحيل البيانات إلى Azure Cosmos DB.

توضح هذه المقالة كيفية استخدام Striim لترحيل البيانات من قاعدة بيانات Oracle إلى حساب Azure Cosmos DB ل NoSQL.

المتطلبات الأساسية

• في حال لم يكن لديك اشتراك في Azure، قم بإنشاءحساب مجاني قبل البدء.

• قاعدة بيانات Oracle تعمل محلياً مع بعض البيانات بداخلها.

انشر حل Striim Marketplace

1. قم بتسجيل الدخول إلى بوابة Azure.

2. حدد Create a resource وابحث عن Striim في سوق Azure. حدد الخيار الأول وإنشاء.

   

3. بعد ذلك، أدخل خصائص التكوين لمثيل Striim. يتم نشر بيئة Striim في جهاز ظاهري. من جزء Basics، أدخل اسم مستخدم الجهاز الظاهري، وكلمة مرور الجهاز الظاهري (يتم استخدام كلمة المرور هذه ل SSH في الجهاز الظاهري). حدد تفاصيل الاشتراك ومجموعة الموارد والموقع حيث تريد نشر Striim. بمجرد الانتهاء، حدد موافق.

   

4. في جزء Striim Cluster settings ، اختر نوع توزيع Striim وحجم الجهاز الظاهري.

   الإعداد	قيمة	‏‏الوصف
   نوع نشر Striim	مستقل	يمكن تشغيل Striim في أنواع توزيع مستقلة أو نظام مجموعة. سينشر الوضع المستقل خادم Striim على جهاز ظاهري واحد ويمكنك تحديد حجم الأجهزة الظاهرية اعتماداً على حجم بياناتك. سينشر وضع الكتلة خادم Striim على جهازي ظاهري أو أكثر بالحجم المحدد. توفر بيئات نظام المجموعة التي تحتوي على أكثر من عقدتين توفراً تلقائياً عالياً وتجاوز فشل. في هذا البرنامج التعليمي، يمكنك تحديد خيار Standalone. استخدم الحجم الافتراضي للجهاز الظاهري "Standard_F4s".
   اسم مجموعة Striim	<Striim_cluster_Name>	اسم مجموعة Striim.
   كلمة مرور مجموعة Striim	<Striim_cluster_password>	كلمة سر المجموعة.

   بعد تعبئة النموذج، حدد موافق للمتابعة.

5. في جزء إعدادات الوصول إلى Striim، قم بتكوين عنوان IP العام (اختر القيم الافتراضية)، واسم المجال ل Striim، وكلمة مرور المسؤول التي تريد استخدامها لتسجيل الدخول إلى واجهة مستخدم Striim. تكوين VNET والشبكة الفرعية (اختر القيم الافتراضية). بعد ملء التفاصيل، حدد OK للمتابعة.

   

6. سيقوم Azure بالتحقق من صحة النشر والتأكد من أن كل شيء يبدو جيداً؛ يستغرق التحقق من الصحة بضع دقائق حتى يكتمل. بعد اكتمال التحقق من الصحة، حدد موافق.

7. وأخيرا، راجع شروط الاستخدام وحدد Create لإنشاء مثيل Striim الخاص بك.

تكوين قاعدة البيانات المصدر

في هذا القسم، تقوم بتكوين قاعدة بيانات Oracle كمصدر لنقل البيانات. يأتي خادم Striim مزوداً ببرنامج تشغيل Oracle JDBC المستخدم للاتصال بـ Oracle. لقراءة التغييرات من قاعدة بيانات Oracle المصدر، يمكنك إما استخدام LogMiner أو واجهات برمجة تطبيقات XStream. برنامج تشغيل Oracle JDBC موجود في مسار فئة Java الخاص بـ Striim لقراءة البيانات، أو كتابتها، أو الاحتفاظ بها من قاعدة بيانات Oracle.

تكوين قاعدة البيانات الهدف

في هذا القسم، ستقوم بتكوين حساب Azure Cosmos DB ل NoSQL كهدف لحركة البيانات.

1. إنشاء حساب Azure Cosmos DB ل NoSQL باستخدام مدخل Microsoft Azure.

2. انتقل إلى جزء Data Explorer في حساب Azure Cosmos DB الخاص بك. حدد حاوية جديدة لإنشاء حاوية جديدة. افترض أنك تقوم بترحيل بيانات المنتجات والطلباتمن قاعدة بيانات Oracle إلى Azure Cosmos DB. إنشاء قاعدة بيانات جديدة باسم StriimDemo مع حاوية تسمى Orders. توفير الحاوية ب 1000 وحدة طلب (يستخدم هذا المثال 1000 وحدة طلب، ولكن يجب عليك استخدام معدل النقل المقدر لحمل العمل الخاص بك)، و /ORDER_ID كمفتاح القسم. ستختلف هذه القيم بناءً على بيانات المصدر الخاصة بك.

   

تكوين Oracle لتدفق بيانات Azure Cosmos DB

1. انتقل إلى مثيل Striim الذي قمت بنشره في مدخل Azure. حدد زر الاتصال في شريط القوائم العلوي ومن علامة التبويب SSH، انسخ عنوان URL في تسجيل الدخول باستخدام حقل الحساب المحلي للجهاز الظاهري.

   

2. افتح نافذة طرفية جديدة وقم بتشغيل أمر SSH الذي نسخته من مدخل Azure. تستخدم هذه المقالة المحطة الطرفية في MacOS، ويمكنك اتباع الإرشادات المماثلة باستخدام عميل SSH على جهاز Windows. عند المطالبة، اكتب نعم للمتابعة وأدخل كلمة المرور التي قمت بتعيينها للجهاز الظاهري في الخطوة السابقة.

   

3. من نفس نافذة المحطة الطرفية، أعد تشغيل خادم Striim عن طريق تنفيذ الأوامر التالية:

   systemctl stop striim-node
   systemctl stop striim-dbms
   systemctl start striim-dbms
   systemctl start striim-node
   

4. سيستغرق Striim دقيقة لبدء التشغيل. إذا كنت ترغب في رؤية الحالة، فقم بتشغيل الأمر التالي:

   tail -f /opt/striim/logs/striim-node.log
   

5. الآن، انتقل مرة أخرى إلى Azure وانسخ عنوان بروتوكول الإنترنت العام لجهاز Striim الظاهري الخاص بك.

   

6. للتنقل إلى Striim's Web UI، افتح علامة تبويب جديدة في متصفح وانسخ عنوان IP العام متبوعاً بـ: 9080. سجل الدخول باستخدام اسم مستخدم المسؤول ، جنبا إلى جنب مع كلمة مرور المسؤول التي حددتها في مدخل Microsoft Azure.

   

7. ستصل الآن إلى صفحة Striim الرئيسية. هناك ثلاثة أجزاء مختلفة - لوحات المعلومات والتطبيقات و SourcePreview. يسمح لك جزء لوحات المعلومات بنقل البيانات في الوقت الفعلي وتصورها. يحتوي جزء التطبيقات على خطوط تدفق البيانات أو تدفقات البيانات. على الجانب الأيمن من الصفحة، توجد معاينة المصدر حيث يمكنك معاينة بياناتك قبل نقلها.

8. حدد جزء التطبيقات، وسنركز على هذا الجزء في الوقت الحالي. هناك مجموعة متنوعة من نماذج التطبيقات التي يمكنك استخدامها للتعرف على Striim، ولكن في هذه المقالة ستنشئ تطبيقاتنا الخاصة. حدد الزر إضافة تطبيق في الزاوية العلوية اليسرى.

   

9. هناك عدة طرق مختلفة لإنشاء تطبيقات Striim. حدد البدء بقالب للبدء بقالب موجود.

   

10. في حقل قوالب البحث، اكتب "Cosmos" وحدد Target: Azure Cosmos DB ثم حدد Oracle CDC إلى Azure Cosmos DB.

    

11. في الصفحة التالية، قم بتسمية التطبيق الخاص بك. يمكنك توفير اسم مثل oraToCosmosDB ثم تحديد حفظ.

12. بعد ذلك، أدخل التكوين المصدر لطبعة Oracle المصدر. أدخل قيمة لاسم المصدر. اسم المصدر هو مجرد اصطلاح تسمية لتطبيق Striim، يمكنك استخدام شيء مثل src_onPremOracle. أدخل قيم بقية عنوان URL للمعلمات المصدر واسم المستخدم وكلمة المرور، واختر LogMiner كقارئ لقراءة البيانات من Oracle. حدد التالي للمتابعة.

    

13. سيتحقق Striim من بيئتك ويتأكد من أنه يمكنه الاتصال بمصدر Oracle المصدر، ولديه الامتيازات الصحيحة، وأن CDC قد تم تكوينه بشكل صحيح. بمجرد التحقق من صحة جميع القيم، حدد التالي.

    

14. حدد الجداول من قاعدة بيانات Oracle التي تريد ترحيلها. على سبيل المثال، دعنا نختار جدول الطلبات وحدد التالي.

    

15. بعد تحديد الجدول المصدر، يمكنك القيام بعمليات أكثر تعقيداً مثل التعيين والتصفية. في هذه الحالة، ستقوم فقط بإنشاء نسخة طبق الأصل من الجدول المصدر في Azure Cosmos DB. لذلك، حدد التالي لتكوين الهدف

16. الآن، لنقم بتهيئة الهدف:

    • Target Name - أدخل اسما مألوفا للهدف.
    • الإدخال من - من القائمة المنسدلة، حدد دفق الإدخال من الذي أنشأته في تكوين Oracle المصدر.
    • المجموعات - أدخل خصائص تكوين Azure Cosmos DB الهدف. بناء جملة المجموعات هو SourceSchema.SourceTable، TargetDatabase.TargetContainer. في هذا المثال، ستكون القيمة "SYSTEM.ORDERS، StriimDemo.Orders".
    • AccessKey - PrimaryKey لحساب Azure Cosmos DB الخاص بك.
    • ServiceEndpoint – عنوان URI لحساب Azure Cosmos DB الخاص بك، يمكن العثور عليها ضمن قسم Keys في مدخل Microsoft Azure.

    حدد حفظ والتالي.

    

17. بعد ذلك، ستصل إلى مصمم التدفق، حيث يمكنك سحب الموصلات وإفلاتها من الصندوق لإنشاء تطبيقات البث الخاصة بك. لن تقوم بإجراء أي تعديلات على التدفق في هذه المرحلة. لذا انتقل إلى الأمام وانشر التطبيق عن طريق تحديد الزر Deploy App .

    

18. في نافذة النشر، يمكنك تحديد ما إذا كنت تريد تشغيل أجزاء معينة من التطبيق الخاص بك على أجزاء معينة من هيكل النشر الخاص بك. نظراً لأننا نعمل في هيكل نشر بسيط من خلال Azure، فسنستخدم الخيار الافتراضي.

    

19. بعد النشر، يمكنك معاينة الدفق لرؤية تدفق البيانات خلاله. حدد أيقونة الموجة ومقلة العين المجاورة لها. حدد الزر Deployed في شريط القوائم العلوي، وحدد Start App.

    

20. باستخدام قارئ CDC(Change Data Capture)، سيلتقط Striim التغييرات الجديدة فقط على قاعدة البيانات. إذا كانت لديك بيانات تتدفق عبر جداول المصدر، فسترى ذلك. ومع ذلك، نظراً لأن هذا جدول تجريبي، فإن المصدر غير متصل بأي تطبيق. إذا كنت تستخدم نموذجاً لمولد البيانات، فيمكنك إدراج سلسلة من الأحداث في قاعدة بيانات Oracle الخاصة بك.

21. سترى البيانات تتدفق عبر منصة Striim. يلتقط Striim جميع البيانات الوصفية المرتبطة بالجدول أيضاً، وهو أمر مفيد لمراقبة البيانات والتأكد من وصول البيانات إلى الهدف الصحيح.

    

22. وأخيرا، دعنا نسجل الدخول إلى Azure وننتقل إلى حساب Azure Cosmos DB الخاص بك. قم بتحديث مستكشف البيانات، ويمكنك رؤية وصول البيانات.

    

باستخدام حل Striim في Azure، يمكنك ترحيل البيانات باستمرار إلى Azure Cosmos DB من مصادر مختلفة مثل Oracle وCassandra وMongoDB والعديد من المصادر الأخرى إلى Azure Cosmos DB. لمعرفة المزيد، يرجى زيارة موقع Striim على الويب، وتنزيل إصدار تجريبي مجاني لمدة 30 يوما من Striim، ولمزيد من المشكلات عند إعداد مسار الترحيل باستخدام Striim، قم بتقديم طلب دعم.

الخطوات التالية

• هل تحاول القيام بتخطيط السعة للترحيل إلى Azure Cosmos DB؟

  • في حال كان كل ما تعرفه هو عدد vcores والخوادم في مجموعة قاعدة البيانات الحالية، فاقرأ عن تقدير وحدات الطلب باستخدام vCores أو vCPUs
  • إذا كان كل ما تعرفه هو عدد vcores والخوادم الموجودة في مجموعة قاعدة البيانات، اقرأ عن تقدير وحدات الطلب باستخدام vCores أو vCPUs

• إذا كنت تقوم بترحيل البيانات إلى Azure Cosmos DB ل NoSQL، فشاهد كيفية ترحيل البيانات إلى واجهة برمجة التطبيقات لحساب Cassandra باستخدام Striim

• مراقبة بياناتك وتصحيحها باستخدام مقاييس Azure Cosmos DB