تحميل البيانات وتحويلها باستخدام Dataflow Gen2

مكتمل

Dataflow Gen2 هو الجيل الجديد من تدفقات البيانات. يوفر تجربة Power Query شاملة، توجهك خلال كل خطوة من خطوات استيراد البيانات إلى تدفق البيانات. تم تبسيط عملية إنشاء تدفقات البيانات، ما يقلل من عدد الخطوات المعنية.

يمكنك استخدام تدفقات البيانات في مسارات البيانات لاستيعاب البيانات في مستودع أو مستودع، أو لتحديد مجموعة بيانات لتقرير Power BI.

إنشَاء تدفق البيانات

لإنشاء تدفق بيانات جديد، انتقل إلى مساحة العمل، ثم حدد + جديد. إذا لم يكن Dataflow Gen2 مرئيا في القائمة، فحدد المزيد من الخيارات، ثم ابحث عن Dataflow Gen2 ضمن قسم Data Factory .

استيراد البيانات

بمجرد تشغيل Dataflow Gen2، هناك العديد من الخيارات لتحميل البيانات المتوفرة.

يمكنك تحميل أنواع ملفات مختلفة ببضع خطوات فقط. على سبيل المثال، لتحميل نص أو ملف CSV من الكمبيوتر المحلي.

بمجرد استيراد البيانات، يمكنك البدء في تأليف تدفق البيانات، قد تقرر تنظيف بياناتك وإعادة تشكيلها وإزالة الأعمدة وإنشاء أعمدة جديدة. يتم حفظ جميع الخطوات التي تنفذها.

تحويل البيانات باستخدام Copilot

يمكن أن يكون Copilot أداة قيمة للمساعدة في تحويلات تدفق البيانات. لنفترض أن لدينا عمود جنس يحتوي على "ذكر" و "أنثى" ونريد تحويله.

الخطوة الأولى هي تنشيط Copilot داخل تدفق البيانات الخاص بك. بمجرد الانتهاء من ذلك، يمكنك بعد ذلك توفير إرشادات محددة حول التحويل الذي تريد تنفيذه.

على سبيل المثال، قد تقوم بإدخال الأمر التالي: "تحويل عمود الجنس. إذا ذكر 0، إذا كانت أنثى 1. ثم قم بتحويله إلى عدد صحيح."

يضيف Copilot خطوة جديدة تلقائيا، ويمكنك دائما إعادتها إذا كنت تريد ذلك، أو الاستمرار في البناء عليها لمزيد من التحويلات.

إضافة وجهة بيانات

باستخدام ميزة إضافة وجهة البيانات ، يمكنك فصل منطق ETL والتخزين الوجهة. يمكن أن يؤدي هذا الفصل إلى تعليمات برمجية أكثر نظافة وقابلية للصيانة ويمكن أن يسهل تعديل عملية ETL أو تكوين التخزين دون التأثير على الآخر.

بمجرد تحويل البيانات، فإن الخطوة التالية هي إضافة خطوة وجهة. في علامة التبويب Query settings ، حدد + لإضافة خطوة وجهة في تدفق البيانات.

تتوفر خيارات الوجهة التالية.

• قاعدة بيانات Azure SQL
• Lakehouse
• مستكشف بيانات Azure (Kusto)
• Azure Synapse Analytics (SQL DW)
• المستودع

يمكن الوصول إلى البيانات التي يتم تحميلها في وجهة مثل المستودع وتحليلها بسهولة باستخدام أدوات مختلفة. وهذا يحسن إمكانية وصول ذوي الاحتياجات الخاصة إلى بياناتك ويسمح بتحليل البيانات أكثر مرونة وشمولا.

عند تحديد مستودع كوجهة، يمكنك اختيار أساليب التحديث التالية.

• ألحق: إضافة صفوف جديدة إلى جدول موجود.
• استبدل: استبدل محتوى الجدول بأكمله بمجموعة جديدة من البيانات.

نشر تدفق بيانات

بعد اختيار أسلوب التحديث الخاص بك، فإن الخطوة الأخيرة هي نشر تدفق البيانات.

يجعل النشر عمليات التحويل وتحميل البيانات مباشرة، ما يسمح بتنفيذ تدفق البيانات إما يدويا أو على جدول زمني. تغلف هذه العملية عمليات ETL الخاصة بك في وحدة واحدة وقابلة لإعادة الاستخدام، مما يبسط سير عمل إدارة البيانات.

تسري أي تغييرات يتم إجراؤها في تدفق البيانات عند نشرها. لذلك، تأكد دائما من نشر تدفق البيانات بعد إجراء أي تعديلات ذات صلة.