التقاط البيانات التي تم تغييرها من Azure Data Lake Storage Gen2 إلى قاعدة بيانات Azure SQL باستخدام مورد التقاط بيانات التغيير

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

في هذه المقالة، يمكنك استخدام واجهة مستخدم Azure Data Factory لإنشاء مورد التقاط بيانات التغيير (CDC). يلتقط المورد البيانات التي تم تغييرها من مصدر Azure Data Lake Storage Gen2 ويضيفها إلى قاعدة بيانات Azure SQL في الوقت الفعلي.

في هذه المقالة، ستتعرف على كيفية:

• إنشاء مورد CDC.
• مراقبة نشاط التقاط بيانات التغيير.

يمكنك تعديل نمط التكوين وتوسيعه في هذه المقالة.

المتطلبات الأساسية

قبل أن تبدأ الإجراءات الواردة في هذه المقالة، تأكد من أن لديك هذه الموارد:

• اشتراك Azure. إذا لم يكن لديك اشتراك في Azure، يمكنك إنشاء حساب Azure مجاني.
• قاعدة بيانات SQL. يمكنك استخدام قاعدة بيانات Azure SQL كمخزن بيانات مصدر. إذا لم يكن لديك قاعدة بيانات SQL، فبادر بإنشاء قاعدة بيانات في مدخل Microsoft Azure.
• حساب التخزين. يمكنك استخدام Delta Lake المخزنة في Azure Data Lake Storage Gen2 كمخزن بيانات مستهدف. إذا لم يكن لديك حساب تخزين، فشاهد إنشاء حساب تخزين للاطلاع على خطوات إنشاء حساب.

إنشاء أداة التقاط بيانات التغيير

1. انتقل إلى جزء Author في مصنع البيانات. أسفل البنية الأساسية لبرنامج ربط العمليات التجارية، تظهر أداة جديدة من المستوى الأعلى تسمى Change Data Capture (preview).

   

2. مرر مؤشر الماوس فوق Change Data Capture (preview) حتى تظهر ثلاث نقاط. ثم حدد تغيير إجراءات التقاط البيانات (معاينة).

   

3. حدد New CDC (preview). تفتح هذه الخطوة قائمة منبثقة لبدء العملية الإرشادية.

   

4. تتم مطالبتك بتسمية مورد التقاط بيانات التغيير. بشكل افتراضي، الاسم هو "adfcdc" مع رقم يتزايد بمقدار 1. يمكنك استبدال هذا الاسم الافتراضي باسم تختاره.

   

5. استخدم القائمة المنسدلة لاختيار مصدر البيانات. لهذه المقالة، حدد DelimitedText.

   

6. تتم مطالبتك بتحديد خدمة مرتبطة. إنشاء خدمة مرتبطة جديدة أو تحديد خدمة موجودة.

   

7. استخدم منطقة إعدادات المصدر لتعيين تكوينات المصدر المتقدمة اختياريا، بما في ذلك محددات الأعمدة والصفوف.

   

   إذا لم تقم بتحرير إعدادات المصدر هذه يدويا، تعيينها إلى الإعدادات الافتراضية.

8. استخدم الزر استعراض لتحديد مجلد البيانات المصدر.

   

9. بعد تحديد مسار مجلد، حدد متابعة لتعيين هدف البيانات.

   

   يمكنك اختيار إضافة مجلدات مصدر متعددة باستخدام زر الجمع (+). يجب أن تستخدم المصادر الأخرى أيضا نفس الخدمة المرتبطة التي حددتها بالفعل.

10. حدد قيمة Target type باستخدام القائمة المنسدلة. لهذه المقالة، حدد Azure SQL Database.

    

11. تتم مطالبتك بتحديد خدمة مرتبطة. إنشاء خدمة مرتبطة جديدة أو تحديد خدمة موجودة.

    

12. بالنسبة للجداول الهدف، يمكنك إنشاء جدول هدف جديد أو تحديد جدول موجود:

    • لإنشاء جدول هدف، حدد علامة التبويب كيانات جديدة، ثم حدد تحرير جداول جديدة.

      

    • لتحديد جدول موجود، حدد علامة التبويب الكيانات الموجودة، ثم استخدم خانة الاختيار لاختيار جدول. استخدم الزر معاينة لعرض بيانات الجدول.

      

    إذا كانت الجداول الموجودة في الهدف تحتوي على أسماء مطابقة، يتم تحديدها بشكل افتراضي ضمن الكيانات الموجودة. إذا لم يكن الأمر كما هو، يتم إنشاء جداول جديدة بأسماء مطابقة ضمن كيانات جديدة. بالإضافة إلى ذلك، يمكنك تحرير جداول جديدة باستخدام الزر تحرير جداول جديدة.

13. يمكنك استخدام خانات الاختيار لاختيار جداول هدف متعددة من قاعدة بيانات SQL. بعد الانتهاء من اختيار الجداول الهدف، حدد متابعة.

    

14. تظهر علامة تبويب جديدة لالتقاط بيانات التغيير. علامة التبويب هذه هي استوديو التقاط بيانات التغيير، حيث يمكنك تكوين المورد الجديد.

    

    يتم إنشاء تعيين جديد تلقائيا لك. يمكنك تحديث تحديدات الجدول المصدر والجدول الهدف لتعيينك باستخدام القوائم المنسدلة.

    

15. بعد تحديد الجداول، يتم تعيين أعمدةها بشكل افتراضي مع تشغيل تبديل الخريطة التلقائية. يعين التعيين التلقائي الأعمدة تلقائيا حسب الاسم في المتلقي، ويلتقط تغييرات العمود الجديدة عند تطور مخطط المصدر، ويتدفق هذه المعلومات إلى أنواع المتلقي المدعومة.

    إذا كنت تريد استخدام التعيين التلقائي وعدم تغيير أي تعيينات أعمدة، فانتقل مباشرة إلى الخطوة 18.

    

    إذا كنت تريد تمكين تعيينات الأعمدة، فحدد التعيينات وقم بإيقاف تشغيل تبديل التعيين التلقائي. ثم حدد الزر Column mappings لعرض التعيينات.

    

    يمكنك التبديل مرة أخرى إلى التعيين التلقائي في أي وقت عن طريق تشغيل تبديل الخريطة التلقائية.

16. عرض تعيينات الأعمدة. استخدم القوائم المنسدلة لتحرير تعيينات الأعمدة لأسلوب التعيين وعمود المصدر والعمود الهدف.

    

    من هذه الصفحة، يمكنك:

    • أضف المزيد من تعيينات الأعمدة باستخدام الزر تعيين جديد. استخدم القوائم المنسدلة لإجراء تحديدات لأسلوب التعيين وعمود المصدر والعمود الهدف.
    • حدد عمود Keys إذا كنت تريد تعقب عملية الحذف لنوع المتلقي المدعوم.
    • حدد الزر Refresh ضمن Data preview لتصور كيفية ظهور البيانات في الهدف.

    

17. عند اكتمال التعيين، حدد زر السهم للعودة إلى لوحة التقاط بيانات التغيير الرئيسية.

    

18. يمكنك إضافة المزيد من التعيينات من مصدر إلى هدف في عنصر CDC واحد. استخدم الزر تحرير لإضافة المزيد من مصادر البيانات والأهداف. ثم حدد تعيين جديد واستخدم القوائم المنسدلة لتعيين مصدر وهدف جديدين. يمكنك تشغيل التعيين التلقائي أو إيقاف تشغيله لكل تعيين من هذه التعيينات بشكل مستقل.

    

19. بعد اكتمال التعيينات، قم بتعيين زمن انتقال التقاط بيانات التغيير باستخدام الزر تعيين زمن الانتقال .

    

20. حدد زمن انتقال التقاط بيانات التغيير، ثم حدد تطبيق لإجراء التغييرات.

    بشكل افتراضي، يتم تعيين زمن الانتقال إلى 15 دقيقة. يستخدم المثال في هذه المقالة خيار الوقت الحقيقي لزمن الانتقال. يلتقط زمن الانتقال في الوقت الحقيقي باستمرار التغييرات في بيانات المصدر على فترات أقل من دقيقة واحدة.

    بالنسبة لأزمنة الانتقال الأخرى (على سبيل المثال، إذا حددت 15 دقيقة)، فسيعالج التقاط بيانات التغيير بيانات المصدر ويلتقط أي بيانات تم تغييرها منذ آخر وقت تمت معالجته.

    

    إشعار

    إذا تم توسيع الدعم لتكامل البيانات المتدفقة (Azure Event Hubs ومصادر بيانات Kafka)، تعيين زمن الانتقال إلى الوقت الحقيقي بشكل افتراضي.

21. بعد الانتهاء من تكوين التقاط بيانات التغيير، حدد نشر الكل لنشر التغييرات.

    

    إشعار

    إذا لم تنشر التغييرات، فلن تتمكن من بدء تشغيل مورد التقاط بيانات التغيير. لن يتوفر زر البدء في الخطوة التالية.

22. حدد البدء لبدء تشغيل التقاط بيانات التغيير.

    

مراقبة التقاط بيانات التغيير

1. افتح جزء Monitor باستخدام أي من هذه الطرق:

   • حدد Monitor في مدخل Microsoft Azure.

     

   • حدد أيقونة المراقبة من مصمم التقاط بيانات التغيير.

     

2. حدد تغيير التقاط البيانات (معاينة) لعرض موارد التقاط بيانات التغيير.

   

   يعرض جزء Change Data Capture المعلومات المصدر والهدف والحالة وآخر معلومات تمت معالجتها لتسجيل بيانات التغيير.

   

3. حدد اسم التقاط بيانات التغيير للاطلاع على مزيد من التفاصيل. يمكنك معرفة عدد التغييرات (الإدراج أو التحديث أو الحذف) التي تمت قراءتها وكتابتها، بالإضافة إلى معلومات تشخيصية أخرى.

   

   إذا قمت بإعداد تعيينات متعددة في التقاط بيانات التغيير، يظهر كل تعيين بلون مختلف. حدد الشريط للاطلاع على تفاصيل محددة لكل تعيين، أو استخدم معلومات التشخيص في أسفل الجزء.

   

   

المحتوى ذو الصلة

• تعرف على المزيد حول مورد التقاط بيانات التغيير