مشاركة عبر

استخدام تدفقات البيانات في المسارات

  • مقالة

عند إنشاء مسارات معقدة مع تدفقات بيانات متعددة، يمكن أن يكون لتدفقك المنطقي تأثير كبير على التوقيت والتكلفة. يغطي هذا القسم تأثير إستراتيجيات العمارة المختلفة.

تنفيذ تدفق البيانات بالتوازي

إذا قمت بتنفيذ تدفقات بيانات متعددة بالتوازي، تقوم الخدمة بتدوير مجموعات Spark منفصلة لكل نشاط. يتيح ذلك عزل كل وظيفة وتشغيلها بالتوازي، ولكنه سيؤدي إلى تشغيل مجموعات متعددة في نفس الوقت.

إذا تم تنفيذ تدفقات البيانات بالتوازي، نوصي بعدم تمكين وقت وقت تشغيل تكامل Azure للخاصية المباشرة لأنه يؤدي إلى تجمعات دافئة متعددة غير مستخدمة.

تلميح

بدلاً من تشغيل نفس تدفق البيانات عدة مرات في كل نشاط، قم بترتيب بياناتك في تجمع بيانات واستخدم مسارات أحرف البدل لمعالجة البيانات في تدفق بيانات واحد.

تنفيذ تدفقات البيانات بالتتابع

إذا قمت بتنفيذ أنشطة تدفق البيانات الخاصة بك في تسلسل، فمن المستحسن تعيين TTL في تكوين وقت تشغيل تكامل Azure. تعيد الخدمة استخدام موارد الحوسبة، ما يؤدي إلى وقت بدء تشغيل نظام المجموعة بشكل أسرع. لا يزال كل نشاط معزولا ويتلقى سياق Spark جديدا لكل تنفيذ.

زيادة التحميل على تدفق بيانات واحد

إذا وضعت كل منطقك داخل تدفق بيانات واحد، تنفذ الخدمة المهمة بأكملها على مثيل Spark واحد. في حين أن هذا قد يبدو كطريقة لتقليل التكاليف، فإنه يمزج بين تدفقات منطقية مختلفة ويمكن أن يكون من الصعب مراقبته وتصحيح أخطائه. إذا فشل أحد المكونات، تفشل جميع الأجزاء الأخرى من الوظيفة أيضا. يوصى بتنظيم تدفقات البيانات عن طريق التدفقات المستقلة لمنطق الأعمال. إذا أصبح تدفق البيانات كبيرا جدا، فإن تقسيمه إلى مكونات منفصلة يجعل المراقبة وتصحيح الأخطاء أسهل. في حين أنه لا يوجد حد ثابت لعدد التحويلات في تدفق البيانات، فإن وجود عدد كبير جدا يجعل المهمة معقدة.

تنفيذ المخازن بالتوازي

السلوك الافتراضي لمخازن تدفق البيانات هو تنفيذ كل مصدر بالتسلسل، بطريقة تسلسلية، وفشل تدفق البيانات عند مواجهة خطأ في المخزن. بالإضافة إلى ذلك، يتم تعيين جميع المتلقيات بشكل افتراضي إلى نفس المجموعة ما لم تدخل في خصائص تدفق البيانات وتعيين أولويات مختلفة للمتلقيات.

تسمح لك تدفقات البيانات بتجميع المخازن معاً في مجموعات من علامة تبويب خصائص تدفق البيانات في مصمم واجهة المستخدم. يمكنك تعيين ترتيب تنفيذ المتلقيات وتجميع المتلقيات معا باستخدام نفس رقم المجموعة. للمساعدة في إدارة المجموعات، يمكنك أن تطلب من الخدمة تشغيل المخازن في نفس المجموعة، للتشغيل بالتوازي.

في البنية الأساسية لبرنامج ربط العمليات التجارية، يعد تنفيذ نشاط تدفق البيانات ضمن قسم "خصائص المتلقي" خيارا لتشغيل تحميل المتلقي المتوازي. عند تمكين "التشغيل بالتوازي"، فإنك ترشد تدفقات البيانات للكتابة إلى المتلقيات المتصلة في نفس الوقت بدلا من أسلوب تسلسلي. من أجل الاستفادة من الخيار المتوازي، يجب تجميع المخازن معاً وتوصيلها بنفس التدفق عبر فرع جديد أو انقسام شرطي.

الوصول إلى قوالب قاعدة بيانات Azure Synapse في البنية الأساسية لبرنامج ربط العمليات التجارية

يمكنك استخدام قالب قاعدة بيانات Azure Synapse عند صناديق البنية الأساسية لبرنامج ربط العمليات التجارية. عند إنشاء تدفق بيانات جديد، في إعدادات المصدر أو المتلقي، حدد Workspace DB. تسرد القائمة المنسدلة لقاعدة البيانات قواعد البيانات التي تم إنشاؤها من خلال قالب قاعدة البيانات. يتوفر خيار Workspace DB فقط لتدفقات البيانات الجديدة، ولا يتوفر عند استخدام مسار موجود من معرض Synapse studio.

المحتوى ذو الصلة

راجع مقالات تدفق البيانات الأخرى المتعلقة بالأداء: