تمرين - استخدام البيانات المتشابكة لـ Azure Data Factory
تمكنك ميزة Power Query داخل Azure Data Factory من العمل مع البيانات وتشابكها. وهو كائن يمكن إضافته إلى مصمم لوحة كنشاط في البنية الأساسية لبرنامج ربط العمليات التجارية Azure Data Factory لتنفيذ إعداد بيانات خالية من الرموز. إنه يمكّن الأفراد الذين ليسوا على دراية بتقنيات إعداد البيانات التقليدية مثل Spark أو SQL Server، ولغات مثل Python وT-SQL لإعداد البيانات على نطاق سحابي بشكل تكراري.
تستخدم ميزة Power Query واجهة نوع الشبكة لإعداد البيانات الأساسية التي تشبه جماليات Excel، والمعروفة باسم Online Mashup Editor. يُمكّن المحرر أيضًا للمستخدمين المتقدمين أداء إعداد بيانات أكثر تعقيدًا باستخدام الصيغ. يجب عليك أولاً إنشاء خدمة مرتبطة بمصدر للبيانات أولاً قبل أن تتمكن من الوصول إلى البيانات
تعمل الصيغ مع Power Query Online وتجعل وظائف Power Query M متاحة لمستخدمي data factory. Power Query ثم يترجم اللغة M التي تم إنشاؤها بواسطة محرر المزج عبر إنترنت إلى رمز شرارة لتنفيذ مقياس سحابة.
وتمكن هذه القدرة مهندسي البيانات ومحللي البيانات من استكشاف مجموعات البيانات وإعدادها بشكل تفاعلي. بالإضافة إلى ذلك، يمكنهم العمل بشكل تفاعلي مع لغة M ومعاينة النتيجة قبل عرضها في سياق مسار أوسع.
لإضافة نشاط Power Query في Azure Data Factory، انقر فوق رمز الجمع وحدد Power Query في جزء موارد المصنع.
أضف مجموعة بيانات المصدر لتدفق البيانات المتشابكة، وحدد مجموعة بيانات المتلقي. مصادر البيانات التالية مدعومة.
| الموصل | تنسيق البيانات | نوع المصادقة |
|---|---|---|
| Azure Blob Storage | CSV, باركيه | مفتاح الحساب |
| Azure Data Lake Storage الجيل الأول | CSV | كيان الخدمة |
| Azure Data Lake Storage Gen2 | CSV, باركيه | مفتاح الحساب، خدمة أساسية |
| قاعدة بيانات Azure SQL | مصادقة SQL | |
| Azure Synapse Analytics | مصادقة SQL |
بمجرد تحديد المصدر، انقر فوق إنشاء.
يؤدي هذا إلى فتح محرر أداة مزج بيانات عبر الإنترنت.
يتكون من المكونات التالية:
قائمة مجموعة البيانات.
سيوفر هذا مجموعات البيانات التي تم تحديدها على أنها مصدر بيانات متشابك.
شريط أدوات الدالة المتشابكة.
يحتوي شريط الأدوات على مجموعة متنوعة من وظائف تشابك البيانات التي يمكن للمستخدم الوصول إليها لمعالجة البيانات بما في ذلك:
- إدارة الأعمدة.
- تحويل الجداول.
- تقليل الصفوف.
- إضافة أعمدة.
- الجمع بين الجداول.
كل عنصر حسب السياق ويحتوي على وظائف فرعية خاصة به.
عناوين الأعمدة.
بالإضافة إلى القدرة على إعادة تسمية الأعمدة، سيؤدي النقر بزر الماوس الأيمن فوق العمود إلى إظهار العناصر حسب السياق لإدارة الأعمدة.
إعدادات.
يمكّنك هذا من إضافة أو تحرير مصادر البيانات ومتلقيات البيانات، وتعديل الإعداد لمهمة البيانات المتشابكة.
نافذة الخطوات.
تعرض هذه النافذة الخطوات التي تم تطبيقها على إخراج التشابك. في المثال الموجود في الرسم، تم تطبيق الخطوة المسماة "المصدر" بإخراج التشابك المسمى "UserQuery".
قائمة إخراج استعلام الطاقة.
يسرد مخرجات تشابك البيانات التي تم تحديدها.
زر النشر.
يمكنك من نشر العمل الذي تم إنشاؤه.
يمكن إضافة Power Query task في مصمم اللوحات اللوحية تماماً مثل Copy Activity task، أو Mapping Data Flow task ويمكن إدارتها ومراقبتها بنفس الطريقة.
