مشاركة عبر

تعيين تدفقات البيانات في Azure Data Factory

  • مقالة

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

ماذا يُقصد بتعيين تدفق البيانات؟

تعيين تدفق البيانات هي تحويلات بيانات مصممة بصرياً في Azure Data Factory. يسمح تدفق البيانات لمهندسي البيانات بتطوير منطق تحويل البيانات دون كتابة التعليمات البرمجية. يتم تنفيذ تدفقات البيانات الناتجة كأنشطة داخل البنية الأساسية لبرنامج ربط العمليات التجارية Azure Data Factory التي تستخدم مجموعات Apache Spark المتدرجة. يمكن تفعيل أنشطة تدفق البيانات باستخدام إمكانيات الجدولة والتحكم والتدفق والمراقبة الحالية في Azure Data Factory.

يوفر تعيين تدفق البيانات تجربة مرئية بالكامل دون الحاجة إلى ترميز. تعمل تدفقات البيانات الخاصة بك على مجموعات التنفيذ المُدارة بواسطة ADF لمعالجة البيانات المتدرجة. يعالج Azure Data Factory جميع ترجمة التعليمات البرمجية وتحسين المسار وتنفيذ مهام تدفق البيانات.

الشروع في العمل

يتم إنشاء تدفقات البيانات من جزء موارد المصنع مثل المسارات ومجموعات البيانات. لإنشاء تدفق بيانات، حدد علامة الجمع بجوار Factory Resources، ثم حدد Data Flow.

لقطة شاشة تعرض تدفق بيانات جديدا. ينقلك هذا الإجراء إلى لوحة تدفق البيانات، حيث يمكنك إنشاء منطق التحويل الخاص بك. حدد Add source لبدء تكوين تحويل المصدر. لمزيد من المعلومات، راجع تحويل المصدر.

تدفقات بيانات التأليف

لتعيين تدفق البيانات لوحة تأليف فريدة من نوعها مصممة لجعل بناء منطق التحول سهلاً. يتم فصل لوحة تدفق البيانات إلى ثلاثة أجزاء: الشريط العلوي والرسم البياني ولوحة التكوين.

تظهر لقطة الشاشة لوحة تدفق البيانات مع الشريط علوي ورسم بياني ولوحة تكوين تحمل علامة.

رسم بياني

يعرض الرسم البياني دفق التحويل. يظهر دورة حياة بيانات المصدر أثناء تدفقها إلى متلقٍ واحد أو أكثر. يمكن أن تكون المتلقيات أي وجهات مصدر بيانات حيث تريد نقل نتائج البيانات المحولة. لإضافة مصدر جديد، حدد Add source. لإضافة تحويل جديد، حدد علامة الجمع على الجانب الأيمن السفلي من تحويل موجود. تعرف على المزيد حول كيفية إدارة الرسم البياني لتدفق البيانات.

تظهر لقطة الشاشة جزء الرسم البياني من اللوحة مع مربع بحث نصي.

لوحة التكوين

تعرض لوحة التكوين الإعدادات الخاصة بالتحويل المحدد حالياً. إذا لم يتم تحديد أي تحويل، فإنها تظهر تدفق البيانات. في تكوين تدفق البيانات الكلي، يمكنك إضافة معلمات عبر علامة التبويب Parameters.لمزيد من المعلومات، راجع تعيين معلمات تدفق البيانات.

يحتوي كل تحويل على أربع علامات تبويب تكوين على الأقل.

إعدادات التحويل

تحتوي علامة التبويب الأولى في كل جزء تكوين التحويل على إعدادات خاصة بهذا التحويل. لمزيد من المعلومات، راجع صفحة وثائق هذا التحويل.

لقطة شاشة تعرض علامة تبويب إعدادات المصدر.

تحسين

تحتوي علامة التبويب Optimize على إعدادات لتكوين أنظمة التقسيم. لمعرفة المزيد حول كيفية تحسين تدفق البيانات، راجع دليل أداء تعيين تدفق البيانات.

تُظهر لقطة الشاشة علامة التبويب Optimize، والتي تتضمن خيار التقسيم ونوع التقسيم وعدد الأقسام.

فحص

توفر علامة التبويب Inspect طريقة عرض في بيانات التعريف الخاصة بتدفق البيانات الذي تقوم بتحويله. يمكنك مشاهدة عدد الأعمدة، والأعمدة التي تم تغييرها، والأعمدة المضافة، وأنواع البيانات، وترتيب الأعمدة، ومراجع الأعمدة. الفحص هو طريقة عرض للقراءة فقط لبيانات التعريف. لا تحتاج إلى تمكين وضع تتبع الأخطاء لرؤية بيانات التعريف في جزء الفحص.

فحص

أثناء تغيير شكل بياناتك من خلال التحويلات، يمكنك رؤية تدفق تغييرات بيانات التعريف في جزء الفحص . إذا لم يكن هناك مخطط محدد في تحويل المصدر، فلن تكون بيانات التعريف مرئية في جزء الفحص . نقص بيانات التعريف شائع في سيناريوهات انجراف المخطط.

معاينة البيانات

إذا كان وضع تتبع الأخطاء قيد التشغيل، فإن علامة التبويب Data Preview تمنحك لقطة تفاعلية للبيانات عند كل تحويل. لمزيد من المعلومات، راجع معاينة البيانات في وضع تتبع الأخطاء.

الشريط العلوي

يحتوي الشريط العلوي على إجراءات تؤثر على تدفق البيانات بالكامل، مثل الحفظ والتحقق من الصحة. يمكنك عرض التعليمات البرمجية JSON الأساسية والبرنامج النصي لتدفق البيانات من منطق التحويل الخاص بك أيضاً. لمزيد من المعلومات، تعرف على البرنامج النصي لتدفق البيانات.

التحويلات المتاحة

اعرض نظرة عامة على تعيين تحويل تدفق البيانات للحصول على قائمة بالتحويلات المتاحة.

أنواع بيانات تدفق البيانات

  • صفيف
  • binary
  • boolean
  • معقد
  • عشري (يتضمن الدقة)
  • date
  • عائم
  • integer
  • طويل
  • map
  • قصير
  • سلسلة
  • الطابع الزمني

نشاط تدفق البيانات

يتم تشغيل تعيين تدفقات البيانات داخل مسارات ADF باستخدام نشاط تدفق البيانات. كل ما على المستخدم القيام به هو تحديد وقت تشغيل التكامل الذي يجب استخدامه وتمريره في قيم المعلمات. لمزيد من المعلومات، تعرف على وقت تشغيل تكامل Azure.

وضع تصحيح الأخطاء

يسمح لك وضع تتبع الأخطاء بالاطلاع بشكل تفاعلي على نتائج كل خطوة تحويل أثناء إنشاء تدفقات البيانات وتصحيحها. يمكن استخدام جلسة تتبع الأخطاء عند إنشاء منطق تدفق البيانات وعند تشغيل تتبع أخطاء البنية الأساسية لبرنامج ربط العمليات التجارية يعمل مع أنشطة تدفق البيانات. لمعرفة المزيد، راجع وثائق وضع تتبع الأخطاء.

مراقبة تدفق البيانات

يدمج تعيين تدفق البيانات مع قدرات مراقبة Azure Data Factory الموجودة. لمعرفة كيفية فهم إخراج مراقبة تدفق البيانات، راجع مراقبة تعيين تدفقات البيانات.

قام فريق Azure Data Factory بإنشاء دليل ضبط الأداء لمساعدتك على تحسين وقت تنفيذ تدفقات البيانات بعد إنشاء منطق تسلسل العمل.

المحتوى ذو الصلة