تحسين التحويلات

استخدم الاستراتيجيات التالية لتحسين أداء التحويلات في تعيين تدفقات البيانات في خطوط أنابيب Azure Data Factory وAzure Synapse Analytics.

تحسين الانضمامات، الوجود، والبحثات

البث

في عمليات الربط والبحث، والتحويلات الموجودة، إذا كان أحد أو كلا تدفقي البيانات صغيرين بما يكفي ليضعوا في ذاكرة عقدة العامل، يمكنك تحسين الأداء بتفعيل البث. البث هو عندما ترسل إطارات بيانات صغيرة إلى جميع العقد في العنقود. هذا يسمح لمحرك سبارك بإجراء عملية الربط دون إعادة ترتيب البيانات في التدفق الكبير. افتراضيا، يقرر محرك سبارك تلقائيا ما إذا كان سيبث أحد جانبي الوصلة أم لا. إذا كنت على دراية ببياناتك الواردة وتعلم أن أحد البث أصغر من الآخر، يمكنك اختيار البث الثابت . البث الثابت يجبر Spark على بث البث المختار.

إذا كان حجم البيانات المرسلة كبيرا جدا بالنسبة لعقدة Spark، فقد تظهر لك رسالة خروج من الذاكرة. لتجنب أخطاء نفاد الذاكرة، استخدم مجموعات محسنة للذاكرة . إذا واجهت مهلة توقف أثناء تنفيذ تدفق البيانات، يمكنك إيقاف تحسين البث. ومع ذلك، يؤدي ذلك إلى تدفقات بيانات أبطأ.

عند العمل مع مصادر بيانات قد تستغرق وقتا أطول للاستعلام، مثل استعلامات قواعد البيانات الكبيرة، ينصح بإيقاف بث الإشارات أثناء الانضمام. المصدر ذو أوقات الاستعلام الطويلة يمكن أن يسبب مهلة Spark عند محاولة العنقود البث لحساب العقد. خيار جيد آخر لإيقاف البث هو عندما يكون لديك تدفق بيانات يجمع القيم لاستخدامها في تحويل البحث لاحقا. هذا النمط قد يربك محسن Spark ويسبب مهلة توقف.

تحسين تحويل الانضمام

الانضمام المتقاطعة

إذا استخدمت القيم الحرفية في شروط الانضمام أو كان لديك عدة تطابقات على جانبي الاتصال، فإن Spark يشغل الانضمام كاتصال متقاطع. الربط المتقاطع هو حاصل ضرب ديكارتي كامل يقوم بعد ذلك بتصفية القيم المتصلة. هذا أبطأ من أنواع الانضمام الأخرى. تأكد من وجود مراجع للأعمدة على جانبي شروط الانضمام لتجنب تأثير الأداء.

الفرز قبل الانضمام

على عكس أدوات الدمج مثل SSIS، فإن تحويل الانضمام ليس عملية دمج إلزامية. مفاتيح الربط لا تتطلب فرزا قبل التحويل. استخدام تحويلات الفرز في تعيين تدفقات البيانات غير موصى به.

أداء تحويل النافذة

تحويل النافذة في تدفق البيانات المخصص يقسم بياناتك حسب القيمة في الأعمدة التي تختارها كجزء من الجملة over() في إعدادات التحويل. هناك العديد من الدوال المجمعة والتحليلية الشائعة التي تظهر في تحويل ويندوز. ومع ذلك، إذا كان استخدامك هو إنشاء نافذة على كامل مجموعة البيانات الخاصة بك للترتيب rank() أو رقم rowNumber()الصف، فمن المستحسن أن تستخدم بدلا من ذلك تحويل الرتبةوتحويل المفتاح البديل. تؤدي هذه التحويلات أداء أفضل مرة أخرى عند تشغيل مجموعة البيانات الكاملة باستخدام تلك الوظائف.

إعادة تقسيم البيانات المشوهة

بعض التحولات مثل الروابط والتجميعات تعيد ترتيب أقسام بياناتك وقد تؤدي أحيانا إلى انحراف البيانات. البيانات المشوهة تعني أن البيانات ليست موزعة بالتساوي عبر الأقسام. البيانات المنحرفة بشدة يمكن أن تؤدي إلى تباطؤ التحويلات في المراحل النهائية وكتابة المستهلك. يمكنك التحقق من انحراف بياناتك في أي نقطة خلال تشغيل تدفق البيانات بالنقر على التحويل في شاشة المراقبة.

الانحراف والكورتوزيس

تعرض شاشة المراقبة كيفية توزيع البيانات عبر كل قسم مع مقياسين، الانحراف والكورتوسيس. الانحراف هو مقياس لمدى عدم تماثل البيانات ويمكن أن يكون له قيمة موجبة أو صفرية أو سالبة أو غير محددة. الانحراف السالب يعني أن الذيل الأيسر أطول من الأيمن. الكورتوزيس هو مقياس ما إذا كانت البيانات ثقيلة الذيل أو خفيفة. قيم الكورتوسيس العالية ليست مرغوبة. النطاقات المثالية للانحراف تقع بين -3 و3، ونطاق الكورتوزيس أقل من 10. طريقة سهلة لتفسير هذه الأرقام هي النظر إلى مخطط التقسيم ومعرفة ما إذا كان شريط واحد أكبر من البقية.

إذا لم تكن بياناتك مقسمة بشكل متساو بعد التحول، يمكنك استخدام تبويب تحسين لإعادة التقسيم. إعادة ترتيب البيانات تستغرق وقتا وقد لا تحسن أداء تدفق البيانات لديك.

نصيحة

إذا أعدت تقسيم بياناتك، لكن لديك تحويلات لاحقة تعيد ترتيب بياناتك، استخدم تقسيم التجزئة على عمود يستخدم كمفتاح للانضمام.

ملحوظة

التحويلات داخل تدفق البيانات لديك (باستثناء تحويل Sink) لا تعدل تقسيم الملفات والمجلدات للبيانات في حالة السكون. التقسيم في كل تحويل يعيد تقسيم البيانات داخل إطارات البيانات في عنقود Spark المؤقت بدون خادم الذي يديره ADF لكل تنفيذ تدفق بيانات لديك.

المحتوى ذو الصلة

راجع مقالات أخرى من Data Flow تتعلق بالأداء:

  • Last updated on