تتدفق البيانات في Azure Synapse Analytics

ما هو تدفق البيانات؟

تدفقات البيانات عبارة عن تحويلات بيانات مصممة بصرياً في Azure Synapse Analytics. يسمح تدفق البيانات لمهندسي البيانات بتطوير منطق تحويل البيانات دون كتابة التعليمة البرمجية. يتم تنفيذ تدفقات البيانات الناتجة كأنشطة داخل مسارات تدفق Azure Synapse Analytics التي تستخدم مجموعات Apache Spark المتدرجة. يمكن تفعيل أنشطة تدفق البيانات باستخدام إمكانات الجدولة والتحكم والتدفق والمراقبة في Azure Synapse.

توفر تدفقات البيانات تجربة مرئية بالكامل دون الحاجة إلى ترميز. تعمل تدفقات البيانات الخاصة بك على مجموعات تنفيذ مُدارة من Synapse لمعالجة البيانات المتدرجة. يعالج Azure Synapse Analytics جميع عمليات ترجمة التعليمة البرمجية وتحسين المسار وتنفيذ مهام تدفق البيانات الخاصة بك.

الشروع في العمل

يتم إنشاء تدفقات البيانات من جزء Develop في Synapse studio. لإنشاء تدفق بيانات، حدد علامة الجمع بجوار Develop، ثم حدد Data Flow.

يأخذك هذا الإجراء إلى لوحة تدفق البيانات، التي يمكنك من خلالها إنشاء منطق التحويل. حدد Add source لبدء تكوين تحويل المصدر. لمزيد من المعلومات، راجع تحويل المصدر.

تدفقات بيانات التأليف

يحتوي تدفق البيانات على لوحة تأليف فريدة مصممة لتسهيل منطق تحويل البناء. يتم فصل لوحة تدفق البيانات إلى ثلاثة أجزاء: الشريط العلوي والرسم البياني ولوحة التكوين.

Graph

يعرض الرسم البياني دفق التحويل. يظهر دورة حياة بيانات المصدر أثناء تدفقها إلى متلقٍ واحد أو أكثر. لإضافة مصدر جديد، حدد Add source. لإضافة تحويل جديد، حدد علامة الجمع على الجانب الأيمن السفلي من تحويل موجود. تعرف على المزيد حول كيفية إدارة الرسم البياني لتدفق البيانات.

لوحة التكوين

تعرض لوحة التكوين الإعدادات الخاصة بالتحويل المحدد حالياً. إذا لم يتم تحديد أي تحويل، فإنها تظهر تدفق البيانات. في التكوين العام لتدفق البيانات، يمكنك إضافة معلمات عبر علامة التبويب Parameters . لمزيد من المعلومات، راجع معلمات تدفق البيانات.

يحتوي كل تحويل على أربع علامات تبويب تكوين على الأقل.

إعدادات التحويل

تحتوي علامة التبويب الأولى في كل جزء تكوين التحويل على إعدادات خاصة بهذا التحويل. لمزيد من المعلومات، راجع صفحة وثائق هذا التحويل.

تحسين

تحتوي علامة التبويب Optimize على إعدادات لتكوين أنظمة التقسيم. لمعرفة المزيد حول كيفية تحسين تدفق البيانات، راجع دليل أداء تعيين تدفق البيانات.

فحص

توفر علامة التبويب Inspect طريقة عرض في بيانات التعريف الخاصة بتدفق البيانات الذي تقوم بتحويله. يمكنك مشاهدة عدد الأعمدة، والأعمدة التي تم تغييرها، والأعمدة المضافة، وأنواع البيانات، وترتيب الأعمدة، ومراجع الأعمدة. الفحص هو طريقة عرض للقراءة فقط لبيانات التعريف. لا تحتاج إلى تمكين وضع تتبع الأخطاء لرؤية بيانات التعريف في جزء الفحص.

عند تغيير شكل بياناتك من خلال التحويلات، سترى تدفق تغييرات بيانات التعريف في جزء الفحص. إذا لم يكن هناك مخطط معرف في تحويل المصدر، فلن تكون بيانات التعريف مرئية في جزء الفحص. نقص بيانات التعريف شائع في سيناريوهات انجراف المخطط.

معاينة البيانات

إذا كان وضع تتبع الأخطاء قيد التشغيل، فإن علامة التبويب Data Preview تمنحك لقطة تفاعلية للبيانات عند كل تحويل. لمزيد من المعلومات، راجع معاينة البيانات في وضع تتبع الأخطاء.

الشريط العلوي

يحتوي الشريط العلوي على الإجراءات التي تؤثر على تدفق البيانات بالكامل، مثل إعدادات التحقق من الصحة وتصحيح الأخطاء. يمكنك عرض التعليمة البرمجية JSON الأساسية والبرنامج النصي لتدفق البيانات من منطق التحويل الخاص بك أيضاً.

التحويلات المتاحة

اعرض نظرة عامة على تعيين تحويل تدفق البيانات للحصول على قائمة بالتحويلات المتاحة.

نشاط تدفق البيانات

يتم تفعيل تدفقات البيانات داخل مسارات تدفق Azure Synapse Analytics باستخدام نشاط تدفق البيانات. كل ما على المستخدم القيام به هو تحديد وقت تشغيل التكامل الذي يجب استخدامه وتمريره في قيم المعلمات. لمزيد من المعلومات، تعرف على وقت تشغيل تكامل Azure.

وضع تصحيح الأخطاء

يسمح لك وضع تتبع الأخطاء بالاطلاع بشكل تفاعلي على نتائج كل خطوة تحويل أثناء إنشاء تدفقات البيانات وتصحيحها. يمكن استخدام جلسة عمل تتبع الأخطاء في كل من عند إنشاء منطق تدفق البيانات وتشغيل تتبع أخطاء المسارات الذي يعمل مع أنشطة تدفق البيانات. لمعرفة المزيد، راجع وثائق وضع تتبع الأخطاء.

مراقبة تدفق البيانات

يتكامل تدفق البيانات مع إمكانات المراقبة الحالية لـ Azure Synapse Analytics. لمعرفة كيفية فهم إخراج مراقبة تدفق البيانات، راجع مراقبة تعيين تدفقات البيانات.

أنشأ فريق Azure Synapse Analytics دليل ضبط الأداء لمساعدتك على تحسين وقت تنفيذ تدفقات البيانات بعد بناء منطق عملك.

الخطوات التالية

• تعرف على كيفية إنشاء تحويل مصدر.
• تعرف على كيفية إنشاء تدفقات البيانات في وضع تتبع الأخطاء.