مشاركة عبر

تحويل البيانات من مصدر SAP ODP باستخدام موصل SAP CDC في Azure Data Factory أو Azure Synapse Analytics

  • مقالة

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

توضح هذه المقالة كيفية استخدام تعيين تدفق البيانات لتحويل البيانات من مصدر SAP ODP باستخدام موصل SAP CDC. للتعرف على المزيد، اقرأ المقالة التمهيدية حول Azure Data Factory أو Azure Synapse Analytics. للحصول على مقدمة لتحويل البيانات باستخدام Azure Data Factory وتحليلات Azure Synapse، اقرأ تدفق بيانات التعيين أو البرنامج التعليمي حول تعيين تدفق البيانات.

تلميح

للتعرف على الدعم العام لسيناريو تكامل بيانات SAP، راجع تكامل بيانات SAP باستخدام الورق الأبيض لمصنع البيانات Azure مع مقدمة مفصلة حول كل موصل SAP والمقارنة والتوجيه.

القدرات المدعومة

يتم دعم موصل SAP CDC هذا للقدرات التالية:

القدرات المدعومة IR
تعيين تدفق البيانات (مصدر البيانات/-) (1)، (2)

① وقت تشغيل تكامل Azure ② وقت تشغيل التكامل المستضاف ذاتيًا

يستخدم موصل SAP CDC إطار عمل SAP ODP لاستخراج البيانات من أنظمة مصدر SAP. للحصول على مقدمة حول بنية الحل، اقرأ مقدمة وبنية لالتقاط بيانات تغيير SAP (CDC) في مركز معارف SAP.

يتم تضمين إطار عمل SAP ODP في جميع الأنظمة المستندة إلى SAP NetWeaver المحدثة، بما في ذلك SAP ECC وSAP S/4HANA وSAP BW وSAP BW/4HANA وSAP LT Replication Server (SLT). للحصول على المتطلبات الأساسية والحد الأدنى من الإصدارات المطلوبة، راجع المتطلبات الأساسية والتكوين.

يدعم موصل SAP CDC المصادقة الأساسية أو اتصالات الشبكة الآمنة (SNC)، إذا تم تكوين SNC.

القيود الحالية

فيما يلي القيود الحالية لموصل SAP CDC في Data Factory:

  • لا يمكنك إعادة تعيين اشتراكات ODQ أو حذفها في Data Factory (استخدم العملية ODQMON في نظام SAP المتصل لهذا الغرض).
  • لا يمكنك استخدام التسلسلات الهرمية لـ SAP مع الحل.

المتطلبات الأساسية

لاستخدام موصل SAP CDC هذا، راجع المتطلبات الأساسية والإعداد لموصل SAP CDC.

الشروع في العمل

لتنفيذ نشاط النسخ باستخدام أحد المسارات، يمكنك استخدام إحدى الأدوات أو عدد تطوير البرامج التالية:

إنشاء خدمة مرتبطة لموصل SAP CDC باستخدام واجهة المستخدم

اتبع الخطوات الموضحة في إعداد خدمة SAP CDC المرتبطة لإنشاء خدمة مرتبطة لموصل SAP CDC في واجهة مستخدم مدخل Microsoft Azure.

خصائص مجموعة البيانات

لإعداد مجموعة بيانات SAP CDC، اتبع إعداد مجموعة بيانات مصدر SAP CDC.

تحويل البيانات باستخدام موصل SAP CDC

من الصعب تفسير موجز تغيير SAP ODP البسيط وتحديثه بشكل صحيح إلى متلقي يمكن أن يكون تحديا. على سبيل المثال، يجب فهم السمات التقنية المقترنة بكل صف (مثل ODQ_CHANGEMODE) لتطبيق التغييرات على المتلقي بشكل صحيح. أيضا، يمكن أن يحتوي استخراج بيانات التغيير من ODP على تغييرات متعددة على نفس المفتاح (على سبيل المثال، نفس أمر المبيعات). لذلك من المهم احترام ترتيب التغييرات، مع تحسين الأداء في نفس الوقت من خلال معالجة التغييرات بالتوازي. علاوة على ذلك، تتطلب إدارة موجز التقاط بيانات التغيير أيضا تتبع الحالة، على سبيل المثال من أجل توفير آليات مضمنة لاسترداد الأخطاء. تهتم تدفقات بيانات تعيين مصنع بيانات Azure بجميع هذه الجوانب. لذلك، يعد اتصال SAP CDC جزءا من تجربة تدفق بيانات التعيين. وبالتالي، يمكن للمستخدمين التركيز على منطق التحويل المطلوب دون الحاجة إلى إزعاجهم بالتفاصيل التقنية لاستخراج البيانات.

للبدء، قم بإنشاء مسار مع تدفق بيانات التعيين.

لقطة شاشة لإضافة نشاط تدفق البيانات في البنية الأساسية لبرنامج ربط العمليات التجارية.

بعد ذلك، حدد خدمة مرتبطة مرحليا ومجلدا مرحليا في Azure Data Lake Gen2، والذي يعمل كمخزن وسيط للبيانات المستخرجة من SAP.

إشعار

  • لا يمكن للخدمة المرتبطة المرحلية استخدام وقت تشغيل تكامل مستضاف ذاتيا.
  • يجب اعتبار المجلد المرحلي تخزينا داخليا لموصل SAP CDC. لمزيد من التحسينات لوقت تشغيل SAP CDC، قد تتغير تفاصيل التنفيذ، مثل تنسيق الملف المستخدم للبيانات المرحلية. لذلك نوصي بعدم استخدام المجلد المرحلي لأغراض أخرى، على سبيل المثال كمصدر لأنشطة النسخ الأخرى أو تعيين تدفقات البيانات.

لقطة شاشة لتحديد مجلد التقسيم المرحلي في نشاط تدفق البيانات.

يتم استخدام مفتاح نقطة التحقق من قبل وقت تشغيل SAP CDC لتخزين معلومات الحالة حول عملية التقاط بيانات التغيير. يسمح هذا، على سبيل المثال، لتدفقات بيانات تعيين SAP CDC بالتعافي تلقائيا من حالات الخطأ، أو معرفة ما إذا كانت عملية التقاط بيانات التغيير لتدفق بيانات معين قد تم إنشاؤها بالفعل. لذلك من المهم استخدام مفتاح نقطة تفتيش فريد لكل مصدر. وإلا سيتم الكتابة فوق معلومات حالة مصدر واحد بواسطة مصدر آخر.

إشعار

  • لتجنب التعارضات، يتم إنشاء معرف فريد كمفتاح نقطة التحقق بشكل افتراضي.
  • عند استخدام المعلمات للاستفادة من نفس تدفق البيانات لمصادر متعددة، تأكد من قياس مفتاح نقطة التحقق بقيم فريدة لكل مصدر.
  • لا يتم عرض الخاصية مفتاح نقطة التحقق إذا تم تعيين وضع التشغيل داخل مصدر SAP CDC إلى كامل عند كل تشغيل (راجع القسم التالي)، لأنه في هذه الحالة لم يتم إنشاء عملية التقاط بيانات التغيير.

لقطة شاشة لخاصية مفتاح نقطة التحقق في نشاط تدفق البيانات.

مفاتيح نقطة التحقق ذات المعلمات

مفاتيح نقاط التحقق مطلوبة لإدارة حالة تغيير عمليات التقاط البيانات. للإدارة الفعالة، يمكنك تحديد معلمات مفتاح نقطة التحقق للسماح بالاتصالات بمصادر مختلفة. فيما يلي كيفية تنفيذ مفتاح نقطة تحقق ذات معلمات:

  1. إنشاء معلمة عمومية لتخزين مفتاح نقطة التحقق على مستوى المسار لضمان التناسق عبر عمليات التنفيذ:

    "parameters": {
 "checkpointKey": {
     "type": "string",
     "defaultValue": "YourStaticCheckpointKey"
 }
}

  2. قم بتعيين مفتاح نقطة التحقق برمجيا لاستدعاء البنية الأساسية لبرنامج ربط العمليات التجارية بالقيمة المطلوبة في كل مرة يتم تشغيلها. فيما يلي مثال لاستدعاء REST باستخدام مفتاح نقطة التحقق ذات المعلمات:

    PUT https://management.azure.com/subscriptions/{subscriptionId}/resourceGroups/{resourceGroupName}/providers/Microsoft.DataFactory/factories/{factoryName}/pipelines/{pipelineName}?api-version=2018-06-01
Content-Type: application/json
{
    "properties": {
        "activities": [
            // Your activities here
        ],
        "parameters": {
            "checkpointKey": {
                "type": "String",
                "defaultValue": "YourStaticCheckpointKey"
            }
        }
    }
}

لمزيد من المعلومات التفصيلية، راجع الموضوعات المتقدمة لموصل SAP CDC.

تعيين خصائص تدفق البيانات

لإنشاء تدفق بيانات تعيين باستخدام موصل SAP CDC كمصدر، أكمل الخطوات التالية:

  1. في ADF Studio، انتقل إلى قسم Data flows في مركز Author ، وحدد الزر ... لإفلات قائمة إجراءات تدفق البيانات، وحدد عنصر تدفق البيانات الجديد. قم بتشغيل وضع تتبع الأخطاء باستخدام الزر Data flow debug في الشريط العلوي من لوحة تدفق البيانات.

    لقطة شاشة لزر تتبع أخطاء تدفق البيانات في تعيين تدفق البيانات.

  2. في محرر تعيين تدفق البيانات، حدد إضافة مصدر.

    لقطة شاشة لإضافة مصدر في تعيين تدفق البيانات.

  3. في علامة التبويب إعدادات المصدر، حدد مجموعة بيانات SAP CDC معدة أو حدد الزر جديد لإنشاء مجموعة جديدة. بدلا من ذلك، يمكنك أيضا تحديد Inline في خاصية Source type والمتابعة دون تعريف مجموعة بيانات صريحة.

    لقطة شاشة لخيار تحديد مجموعة البيانات في إعدادات المصدر لتعيين مصدر تدفق البيانات.

  4. في علامة التبويب خيارات المصدر، حدد الخيار كامل في كل تشغيل إذا كنت تريد تحميل لقطات كاملة على كل تنفيذ لتدفق بيانات التعيين. حدد كامل في التشغيل الأول، ثم تزايدي إذا كنت تريد الاشتراك في موجز تغيير من نظام مصدر SAP بما في ذلك لقطة بيانات كاملة أولية. في هذه الحالة، يقوم التشغيل الأول للبنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك بتهيئة دلتا، ما يعني أنه ينشئ اشتراك دلتا ODP في النظام المصدر ويعيد لقطة بيانات كاملة حالية. تقوم عمليات تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية اللاحقة فقط بإعادة التغييرات التزايدية منذ التشغيل السابق. تنشئ التغييرات التزايدية للخيار اشتراك دلتا ODP فقط دون إرجاع لقطة بيانات كاملة أولية في التشغيل الأول. مرة أخرى، ترجع عمليات التشغيل اللاحقة تغييرات تزايدية منذ التشغيل السابق فقط. يتطلب كلا خياري التحميل التزايدي تحديد مفاتيح عنصر مصدر ODP في خاصية أعمدة المفتاح.

    لقطة شاشة لخاصية وضع التشغيل في خيارات المصدر لتعيين مصدر تدفق البيانات.

    لقطة شاشة لتحديد الأعمدة الرئيسية في خيارات المصدر لتعيين مصدر تدفق البيانات.

  5. بالنسبة إلى علامات التبويب إسقاط، تحسين وفحص، اتبع تعيين تدفق البيانات.

تحسين أداء الأحمال الكاملة أو الأولية مع تقسيم المصدر

إذا تم تعيين وضع التشغيل إلى كامل على كل تشغيل أو كامل في التشغيل الأول، ثم تزايدي، فإن علامة التبويب تحسين تقدم نوع تحديد وتقسيم يسمى المصدر. يسمح لك هذا الخيار بتحديد شروط أقسام متعددة (أي عامل تصفية) لتقسيم مجموعة بيانات مصدر كبيرة إلى أجزاء أصغر متعددة. لكل قسم، يقوم موصل SAP CDC بتشغيل عملية استخراج منفصلة في نظام مصدر SAP.

لقطة شاشة لخيارات التقسيم في تحسين تعيين مصدر تدفق البيانات.

إذا كانت الأقسام متساوية الحجم، يمكن أن يزيد تقسيم المصدر خطيا من معدل نقل استخراج البيانات. لتحقيق تحسينات الأداء هذه، يلزم وجود موارد كافية في نظام مصدر SAP، والجهاز الظاهري الذي يستضيف وقت تشغيل التكامل المستضاف ذاتيا، ووقت تشغيل تكامل Azure.

المحتوى ذو الصلة