تعيين تدفقات البيانات في Azure Data Factory

  • مقالة

ينطبق على:Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

ماذا يُقصد بتعيين تدفق البيانات؟

تعيين تدفق البيانات هي تحويلات بيانات مصممة بصرياً في Azure Data Factory. يسمح تدفق البيانات لمهندسي البيانات بتطوير منطق تحويل البيانات دون كتابة التعليمات البرمجية. يتم تنفيذ تدفقات البيانات الناتجة كأنشطة داخل البنية الأساسية لبرنامج ربط العمليات التجارية Azure Data Factory التي تستخدم مجموعات Apache Spark المتدرجة. يمكن تفعيل أنشطة تدفق البيانات باستخدام إمكانيات الجدولة والتحكم والتدفق والمراقبة الحالية في Azure Data Factory.

يوفر تعيين تدفق البيانات تجربة مرئية بالكامل دون الحاجة إلى ترميز. تعمل تدفقات البيانات الخاصة بك على مجموعات التنفيذ المُدارة بواسطة ADF لمعالجة البيانات المتدرجة. يعالج Azure Data Factory جميع ترجمة التعليمات البرمجية وتحسين المسار وتنفيذ مهام تدفق البيانات.

الشروع في العمل

يتم إنشاء تدفقات البيانات من جزء موارد المصنع مثل المسارات ومجموعات البيانات. لإنشاء تدفق بيانات، حدد علامة الجمع بجوار Factory Resources، ثم حدد Data Flow.

Screenshot showing a new data flow. ينقلك هذا الإجراء إلى لوحة تدفق البيانات، حيث يمكنك إنشاء منطق التحويل الخاص بك. حدد Add source لبدء تكوين تحويل المصدر. لمزيد من المعلومات، راجع تحويل المصدر.

تدفقات بيانات التأليف

لتعيين تدفق البيانات لوحة تأليف فريدة من نوعها مصممة لجعل بناء منطق التحول سهلاً. يتم فصل لوحة تدفق البيانات إلى ثلاثة أجزاء: الشريط العلوي والرسم البياني ولوحة التكوين.

Screenshot shows the data flow canvas with top bar, graph, and configuration panel labeled.

رسم بياني

يعرض الرسم البياني دفق التحويل. يظهر دورة حياة بيانات المصدر أثناء تدفقها إلى متلقٍ واحد أو أكثر. لإضافة مصدر جديد، حدد Add source. لإضافة تحويل جديد، حدد علامة الجمع على الجانب الأيمن السفلي من تحويل موجود. تعرف على المزيد حول كيفية إدارة الرسم البياني لتدفق البيانات.

Screenshot shows the graph part of the canvas with a Search text box.

لوحة التكوين

تعرض لوحة التكوين الإعدادات الخاصة بالتحويل المحدد حالياً. إذا لم يتم تحديد أي تحويل، فإنها تظهر تدفق البيانات. في تكوين تدفق البيانات الكلي، يمكنك إضافة معلمات عبر علامة التبويب Parameters.لمزيد من المعلومات، راجع تعيين معلمات تدفق البيانات.

يحتوي كل تحويل على أربع علامات تبويب تكوين على الأقل.

إعدادات التحويل

تحتوي علامة التبويب الأولى في كل جزء تكوين التحويل على إعدادات خاصة بهذا التحويل. لمزيد من المعلومات، راجع صفحة وثائق هذا التحويل.

Screenshot showing the source settings tab.

تحسين

تحتوي علامة التبويب Optimize على إعدادات لتكوين أنظمة التقسيم. لمعرفة المزيد حول كيفية تحسين تدفق البيانات، راجع دليل أداء تعيين تدفق البيانات.

Screenshot shows the Optimize tab, which includes Partition option, Partition type, and Number of partitions.

فحص

توفر علامة التبويب Inspect طريقة عرض في بيانات التعريف الخاصة بتدفق البيانات الذي تقوم بتحويله. يمكنك مشاهدة عدد الأعمدة، والأعمدة التي تم تغييرها، والأعمدة المضافة، وأنواع البيانات، وترتيب الأعمدة، ومراجع الأعمدة. الفحص هو طريقة عرض للقراءة فقط لبيانات التعريف. لا تحتاج إلى تمكين وضع تتبع الأخطاء لرؤية بيانات التعريف في جزء الفحص.

Inspect

عند تغيير شكل بياناتك من خلال التحويلات، سترى تدفق تغييرات بيانات التعريف في جزء الفحص. إذا لم يكن هناك مخطط معرف في تحويل المصدر، فلن تكون بيانات التعريف مرئية في جزء الفحص. نقص بيانات التعريف شائع في سيناريوهات انجراف المخطط.

معاينة البيانات

إذا كان وضع تتبع الأخطاء قيد التشغيل، فإن علامة التبويب Data Preview تمنحك لقطة تفاعلية للبيانات عند كل تحويل. لمزيد من المعلومات، راجع معاينة البيانات في وضع تتبع الأخطاء.

الشريط العلوي

يحتوي الشريط العلوي على إجراءات تؤثر على تدفق البيانات بالكامل، مثل الحفظ والتحقق من الصحة. يمكنك عرض التعليمات البرمجية JSON الأساسية والبرنامج النصي لتدفق البيانات من منطق التحويل الخاص بك أيضاً. لمزيد من المعلومات، تعرف على البرنامج النصي لتدفق البيانات.

التحويلات المتاحة

اعرض نظرة عامة على تعيين تحويل تدفق البيانات للحصول على قائمة بالتحويلات المتاحة.

أنواع بيانات تدفق البيانات

  • صفيف
  • binary
  • boolean
  • معقد
  • عشري (يتضمن الدقة)
  • date
  • عائم
  • integer
  • طويل
  • map
  • قصير
  • سلسلة
  • الطابع الزمني

نشاط تدفق البيانات

يتم تشغيل تعيين تدفقات البيانات داخل مسارات ADF باستخدام نشاط تدفق البيانات. كل ما على المستخدم القيام به هو تحديد وقت تشغيل التكامل الذي يجب استخدامه وتمريره في قيم المعلمات. لمزيد من المعلومات، تعرف على وقت تشغيل تكامل Azure.

وضع تصحيح الأخطاء

يسمح لك وضع تتبع الأخطاء بالاطلاع بشكل تفاعلي على نتائج كل خطوة تحويل أثناء إنشاء تدفقات البيانات وتصحيحها. يمكن استخدام جلسة عمل تتبع الأخطاء في كل من عند إنشاء منطق تدفق البيانات وتشغيل تتبع أخطاء المسارات الذي يعمل مع أنشطة تدفق البيانات. لمعرفة المزيد، راجع وثائق وضع تتبع الأخطاء.

مراقبة تدفق البيانات

يدمج تعيين تدفق البيانات مع قدرات مراقبة Azure Data Factory الموجودة. لمعرفة كيفية فهم إخراج مراقبة تدفق البيانات، راجع مراقبة تعيين تدفقات البيانات.

قام فريق Azure Data Factory بإنشاء دليل ضبط الأداء لمساعدتك على تحسين وقت تنفيذ تدفقات البيانات بعد إنشاء منطق تسلسل العمل.

المحتوى ذو الصلة