تعيين وضع تصحيح أخطاء تدفق البيانات

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

Data Factory في Microsoft Fabric هو الجيل القادم من Azure Data Factory، مع بنية أبسط، وذكاء اصطناعي مدمج، وميزات جديدة. إذا كنت جديدا في تكامل البيانات، ابدأ مع Fabric Data Factory. يمكن لأعباء عمل ADF الحالية الترقية إلى Fabric للوصول إلى قدرات جديدة في علوم البيانات، والتحليلات اللحظية، والتقارير.

• ابدأ تجربة مجانية Fabric.
• Upgrade from Azure Data Factory إلى Data Factory في Microsoft Fabric.

نظرة عامة

يتيح وضع تصحيح البيانات في Azure Data Factory وSynapse Analytics لرسم خريطة تدفق البيانات بمشاهدة تحول شكل البيانات بشكل تفاعلي أثناء بناء وتصحيح تدفقات البيانات. يمكن استخدام جلسة التصحيح في جلسات تصميم Data Flow وأثناء تنفيذ تصحيح الأخطاء في خط الأنابيب. لتفعيل وضع التصحيح، استخدم زر Data Flow تصحيح في الشريط العلوي من لوحة data flow أو لوحة خط الأنابيب عندما يكون لديك أنشطة data flow.

بمجرد تشغيل شريط التمرير، ستتم مطالبتك بتحديد تكوين وقت تشغيل التكامل الذي ترغب في استخدامه. إذا تم اختيار AutoResolveIntegrationRuntime، فسيتم إنشاء مجموعة مكونة من ثماني ذاكرات أساسية من الحساب العام مع وقت افتراضي للبث يبلغ 60 دقيقة. إذا كنت ترغب في السماح بمزيد من وقت الخمول للفريق قبل انتهاء مهلة الجلسة، فيمكنك اختيار إعداد وقت بث أعلى. لمزيد من المعلومات حول أوقات تشغيل تكامل تدفق البيانات، راجع Integration Runtime performance.

عندما يكون وضع التصحيح قيد التشغيل، ستقوم ببناء تدفق البيانات بشكل تفاعلي باستخدام مجموعة Spark نشطة. يتم إغلاق جلسة العمل بمجرد إيقاف تشغيل تتبع الأخطاء. يجب أن تكون على دراية بالرسوم التي يتكبدها مصنع البيانات بالساعة أثناء وقت تشغيل جلسة تصحيح الأخطاء.

في معظم الحالات، من الممارسات الجيدة إنشاء تدفقات البيانات في وضع التصحيح بحيث يمكنك التحقق من صحة منطق عملك وعرض تحويلات البيانات قبل نشر عملك. استخدم الزر "تصحيح الأخطاء" في لوحة المسارات لاختبار تدفق البيانات في المسار.

مصنع بيانات Azure

تحليلات Synapse

إشعار

كل جلسة تصحيح أخطاء يبدأها المستخدم من واجهة مستخدم المتصفح الخاصة به هي جلسة جديدة مع مجموعة Spark الخاصة بها. يمكنك استخدام طريقة عرض المراقبة لجلسات تصحيح الأخطاء الموضحة في الصور السابقة لعرض جلسات تصحيح الأخطاء وإدارتها. يتم تحصيل الرسوم على كل ساعة يتم فيها تنفيذ كل جلسة تصحيح أخطاء بما في ذلك وقت TTL.

يتحدث مقطع الفيديو هذا عن التلميحات والنصائح والممارسات الجيدة لوضع تصحيح تدفق البيانات.

حالة المجموعة

يتحول مؤشر حالة المجموعة الموجود أعلى سطح التصميم إلى اللون الأخضر عندما تكون المجموعة جاهزة للتصحيح. إذا كانت مجموعتك دافئة بالفعل، فسيظهر المؤشر الأخضر على الفور تقريبا. إذا لم يكن نظام المجموعة قيد التشغيل بالفعل عند إدخال وضع التصحيح، فإن نظام مجموعة Spark ينفذ تمهيدا باردا. يدور المؤشر حتى تصبح البيئة جاهزة لتصحيح الأخطاء التفاعلي.

عند الانتهاء من تصحيح الأخطاء، قم بإيقاف تشغيل تصحيح الأخطاء بحيث يمكن إنهاء نظام مجموعة Spark ولن تتم فوترتك بعد الآن لنشاط التصحيح.

إعدادات تتبع الأخطاء

بمجرد تشغيل وضع التصحيح، يمكنك تحرير كيفية قيام تدفق البيانات بمعاينة البيانات. يمكن تعديل إعدادات التصحيح بالنقر على "إعدادات التصحيح" في شريط أدوات لوحة Data Flow. يمكنك تحديد حد الصف أو مصدر الملف لاستخدامه لكل تحويل من تحويلات المصدر الخاصة بك هنا. حدود الصفوف في هذا الإعداد مخصصة فقط لجلسة تصحيح الأخطاء الحالية. يمكنك أيضا اختيار خدمة staging المرتبطة لاستخدامها كمصدر Azure Synapse Analytics.

إذا كان لديك معلمات في Data Flow أو أي من مجموعات البيانات المشار إليها، يمكنك تحديد القيم التي تستخدمها أثناء التصحيح باختيار تبويب Parameters.

استخدم إعدادات أخذ العينات هنا للإشارة إلى نماذج الملفات أو نماذج جداول البيانات بحيث لا تضطر إلى تغيير مجموعات البيانات المصدر. باستخدام نموذج ملف أو جدول هنا، يمكنك الاحتفاظ بالمنطق وإعدادات الخصائص نفسها في تدفق البيانات أثناء الاختبار مقابل مجموعة فرعية من البيانات.

إن وقت تشغيل التكامل الافتراضي المستخدم لوضع التصحيح في تدفقات البيانات هو عقدة عامل فردية صغيرة رباعية الذاكرة مع عقدة تشغيل فردية رباعية الذاكرة. يعمل هذا بشكل جيد مع عينات أصغر من البيانات عند اختبار منطق تدفق البيانات. إذا قمت بتوسيع حدود الصفوف في إعدادات التصحيح أثناء معاينة البيانات أو تعيين عدد أكبر من الصفوف المأخوذة في المصدر أثناء تصحيح خط الأنابيب، فقد ترغب في التفكير في إعداد بيئة حوسبة أكبر في Azure Integration Runtime جديد. ثم يمكنك إعادة تشغيل جلسة التصحيح باستخدام بيئة الحوسبة الأكبر.

معاينة البيانات

مع تشغيل التصحيح، تضيء علامة التبويب معاينة البيانات على اللوحة السفلية. بدون تفعيل وضع التصحيح، يعرض لك Data Flow فقط البيانات الوصفية الحالية داخل وخارج كل تحويل في تبويب Inspect. معاينة البيانات ستسترسل فقط عدد الصفوف التي حددتها كحد في إعدادات التصحيح. حدد تحديث لتحديث معاينة البيانات استنادا إلى التحويلات الحالية. إذا تغيرت بيانات المصدر الخاصة بك، فحدد Refresh > Refetch من المصدر.

يمكنك فرز الأعمدة في معاينة البيانات وإعادة ترتيب الأعمدة باستخدام السحب والإفلات. بالإضافة إلى ذلك، يوجد زر تصدير أعلى لوحة معاينة البيانات يمكنك استخدامها لتصدير بيانات المعاينة إلى ملف CSV لاستكشاف البيانات دون اتصال. يمكنك استخدام هذه الميزة لتصدير ما يصل إلى 1000 صف من بيانات المعاينة.

إشعار

تحدد مصادر الملفات الصفوف التي تراها فقط، وليس الصفوف التي تتم قراءتها. بالنسبة لمجموعات البيانات الكبيرة جدا، ينصح بأخذ جزء صغير من ذلك الملف واستخدامه في اختباراتك. يمكنك تحديد ملف مؤقت في إعدادات التصحيح لكل مصدر يمثل نوع مجموعة بيانات الملف.

عند تشغيل Data Flow في وضع التصحيح، لن تكتب بياناتك على تحويل Sink. تهدف جلسة التصحيح إلى أن تكون بمثابة أداة اختبار لتحولاتك. المتلقيات غير مطلوبة أثناء تتبع الأخطاء ويتم تجاهلها في تدفق البيانات. إذا كنت ترغب في اختبار كتابة البيانات في Sink الخاص بك، قم بتنفيذ Data Flow من خط أنابيب واستخدم تنفيذ التصحيح من خط الأنابيب.

معاينة البيانات هي لقطة لبياناتك المحولة باستخدام حدود الصفوف وأخذ عينات البيانات من إطارات البيانات في ذاكرة Spark. لذلك، لا يتم استخدام برامج تشغيل المتلقي أو اختبارها في هذا السيناريو.

إشعار

تعرض معاينة البيانات الوقت وفقا لإعداد الإعدادات المحلية للمستعرض.

اختبار شروط الانضمام

عند اختبار الوحدة لعمليات تحويلات الصلات أو الموجودة أو البحث، تأكد من استخدام مجموعة صغيرة من البيانات المعروفة للاختبار الخاص بك. يمكنك استخدام الخيار إعدادات تتبع الأخطاء الموضح سابقا لتعيين ملف مؤقت لاستخدامه في الاختبار. هذا مطلوب لأنه عند تقييد الصفوف أو أخذ العينات من مجموعة بيانات كبيرة، لا يمكنك التنبؤ بالصفوف والمفاتيح التي تتم قراءتها في التدفق للاختبار. النتيجة غير محددة، ما يعني أن شروط الانضمام قد تفشل.

إجراءات سريعة

بمجرد أن ترى معاينة البيانات، يمكنك إنشاء تحويل سريع للمادة المطبوعة أو الإزالة أو إجراء تعديل على عمود. حدد رأس العمود ثم حدد أحد الخيارات من شريط أدوات معاينة البيانات.

بمجرد تحديد تعديل، سيتم تحديث معاينة البيانات على الفور. حدد تأكيد في الزاوية العلوية اليسرى لإنشاء تحويل جديد.

يقوم Typecast و Modify بإنشاء تحويل عمود مشتق وإزالة بإنشاء تحويل تحديد.

إشعار

إذا قمت بتعديل Data Flow، تحتاج إلى إعادة جلب معاينة البيانات قبل إضافة تحويل سريع.

جمع معلومات البيانات

يؤدي تحديد عمود في علامة تبويب معاينة البيانات والنقر فوق إحصائيات في شريط أدوات معاينة البيانات إلى ظهور مخطط في أقصى يسار شبكة البيانات مع إحصائيات مفصلة حول كل حقل. تقدم الخدمة قاعدة تحديد استنادا إلى أخذ عينات البيانات من أي نوع من المخططات لعرضها. الحقول ذات العلاقة الأساسية العالية افتراضيا إلى مخططات NULL/NOT NULL بينما تعرض البيانات الفئوية والرقوية ذات العلاقة الأساسية المنخفضة المخططات الشريطية التي تعرض تكرار قيمة البيانات. كما ترى الحد الأقصى/الطول الأقصى لحقول السلسلة، والقيم الدقيقة/القصوى في الحقول الرقمية، والتطوير القياسي، والقيم المئوية، والأعداد، والمتوسط.

المحتوى ذو الصلة

• بمجرد الانتهاء من إنشاء تدفق البيانات وتصحيحه، قم بتنفيذه من البنية الأساسية لبرنامج ربط العمليات التجارية.
• عند اختبار البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك مع تدفق البيانات، استخدم خيار تنفيذ تشغيل تتبع أخطاء المسار .