استخدام أنماط الأعمدة في تعيين تدفقات البيانات

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

تسمح لك العديد من تحويلات تدفقات بيانات التعيين بالإشارة إلى أعمدة القالب استنادا إلى الأنماط بدلا من أسماء الأعمدة ذات التعليمات البرمجية المضمنة. تُعرف هذه المطابقة باسم أنماط الأعمدة . يمكنك تحديد أنماط لمطابقة الأعمدة بناءً على الاسم أو نوع البيانات أو الدفق أو الأصل أو الموضع بدلاً من طلب أسماء الحقول الدقيقة. هناك نوعان من السيناريوهين حيث تكون أنماط الأعمدة مفيدة:

• إذا كانت الحقول المصدر الواردة تتغير كثيراً مثل حالة تغيير الأعمدة في الملفات النصية أو قواعد بيانات NoSQL. يُعرف هذا السيناريو باسم انحراف المخطط .
• إذا كنت ترغب في القيام بعملية مشتركة على مجموعة كبيرة من الأعمدة. على سبيل المثال، الرغبة في تحويل كل عمود يحتوي على "إجمالي" في اسم العمود الخاص به إلى ضعف.

أنماط الأعمدة في العمود المشتق والمجمع

لإضافة نمط عمود في عمود مشتق أو مجمع أو تحويل نافذة، انقر فوق إضافة أعلى قائمة الأعمدة أو رمز علامة الجمع بجوار عمود مشتق موجود. اختر إضافة نمط عمود .

استخدم منشئ التعبير لإدخال شرط المطابقة. أنشئ تعبيراً منطقياً يطابق الأعمدة بناءً على name وtype وstream وorigin وposition العمود. سيؤثر النمط على أي عمود، منحرفاً أو محدداً، حيث يعود الشرط صحيحاً.

يتطابق نمط العمود أعلاه مع كل عمود من نوع مزدوج وينشئ عموداً مشتقاً واحداً لكل مطابقة. من خلال ذكر $$ كحقل اسم العمود، يتم تحديث كل عمود مطابق بنفس الاسم. قيمة كل عمود هي القيمة الموجودة التي تم تقريبها إلى نقطتين عشريتين.

للتحقق من صحة شرط المطابقة، يمكنك التحقق من صحة مخطط الإخراج للأعمدة المحددة في علامة التبويب فحص أو الحصول على لقطة من البيانات في علامة التبويب معاينة البيانات .

مطابقة النمط الهرمي

يمكنك أيضاً إنشاء مطابقة نمط داخل الهياكل الهرمية المعقدة. قم بتوسيع القسم Each MoviesStruct that matches حيث ستتم مطالبتك بكل تسلسل هرمي في تدفق البيانات. يمكنك بعد ذلك إنشاء أنماط مطابقة للخصائص ضمن هذا التسلسل الهرمي المختار.

تبسيط البنية

عندما تحتوي بياناتك على بنيات معقدة مثل الصفائف والبنية الهرمية والخرائط، يمكنك استخدام تحويل التبسيط لإلغاء تسجيل الصفائف وإلغاء تنسيق بياناتك. بالنسبة إلى البنية والخرائط، استخدم تحويل العمود المشتق مع أنماط الأعمدة لتشكيل الجدول الارتباطي البسيط من التسلسلات الهرمية. يمكنك استخدام أنماط الأعمدة التي قد تبدو مثل هذه العينة، والتي تبسط التدرج الهرمي الجغرافي في نموذج جدول علائقي:

رسم الخرائط على أساس القواعد في التحديد والحوض

عند تعيين الأعمدة في المصدر وتحديد عمليات التحويل، يمكنك إضافة تعيينات ثابتة أو تعيينات قائمة على القواعد. تستند المطابقة إلى name وtype وstream وorigin وposition من الأعمدة. يمكنك الحصول على أي مجموعة من التعيينات الثابتة والمعتمدة على القواعد. بشكل افتراضي، ستتحول جميع الإسقاطات التي تحتوي على أكبر من 50 عموداً إلى تعيين قائم على القواعد يتطابق مع كل عمود ويخرج الاسم المُدخل.

لإضافة تعيين مستند إلى القواعد، انقر فوق إضافة تعيين وحدد تعيين مستند إلى القواعد .

يتطلب كل تعيين قائم على القواعد مدخلين: الشرط الذي يتم التطابق به وماذا يتم تسمية كل عمود معيّن. يتم إدخال كلا القيمتين عبر منشئ التعبير . في مربع التعبير الأيسر، أدخل شرط المطابقة المنطقية. في مربع التعبير الأيمن، حدد ما سيتم تعيين العمود المتطابق إليه.

استخدم بناء الجملة $$ للإشارة إلى اسم الإدخال لعمود مطابق. باستخدام الصورة أعلاه كمثال، لنفترض أن المستخدم يريد التطابق في جميع أعمدة السلسلة التي تكون أسماؤها أقصر من ستة أحرف. إذا تم تسمية عمود وارد واحد باسم test، فسيعيد التعبير $$ + '_short' تسمية العمود test_short. إذا كان هذا هو التعيين الوحيد الموجود، فسيتم إسقاط جميع الأعمدة التي لا تفي بالشرط من البيانات الناتجة.

تتطابق الأنماط مع كل من الأعمدة المنحرفة والمحددة. لمعرفة الأعمدة المحددة التي تم تعيينها بواسطة قاعدة، انقر فوق رمز النظارات بجوار القاعدة. تحقق من مخرجاتك باستخدام معاينة البيانات.

تخطيط Regex

إذا نقرت على رمز الرتبة المتجه لأسفل، فيمكنك تحديد شرط تعيين التعبير العادي. يتطابق شرط تعيين regex مع جميع أسماء الأعمدة التي تطابق شرط regex المحدد. يمكن استخدام هذا مع التعيينات القياسية المستندة إلى القواعد.

يتطابق المثال أعلاه مع نمط regex (r) أو أي اسم عمود يحتوي على حرف r صغير. على غرار التعيين القياسي المستند إلى القواعد، يتم تغيير جميع الأعمدة المتطابقة حسب الشرط الموجود على اليمين باستخدام بناء الجملة $$.

التسلسلات الهرمية المعتمدة على القواعد

إذا كان الإسقاط المحدد الخاص بك يحتوي على تسلسل هرمي، فيمكنك استخدام التعيين المستند إلى القواعد لتعيين الأعمدة الفرعية للتسلسلات الهرمية. حدد شرطاً مطابقاً والعمود المعقد الذي ترغب في تعيين أعمدته الفرعية. سيتم إخراج كل عمود فرعي متطابق باستخدام قاعدة "الاسم كـ" المحددة على اليمين.

يتطابق المثال أعلاه مع جميع الأعمدة الفرعية للعمود المركب a. يحتوي a على عمودين فرعيين b وc. سيتضمن مخطط الإخراج عمودين b وc حيث أن شرط "الاسم كـ" هو $$.

مطابقة النمط لقيم التعبير

• $$ يترجم إلى اسم أو قيمة كل مباراة في وقت التشغيل. فكر في $$ كمكافئ لـ this
• $0 يترجم إلى تطابق اسم العمود الحالي في وقت التشغيل للأنواع العددية. بالنسبة إلى الأنواع الهرمية، $0 يمثل مسار التدريج الهرمي للعمود المطابق الحالي.
• يمثل name اسم كل عمود وارد
• يمثل type نوع البيانات لكل عمود وارد. يمكن العثور على قائمة أنواع البيانات في نظام نوع تدفقات البيانات هنا.
• يمثل stream الاسم المرتبط بكل تدفق أو تحويل في التدفق الخاص بك
• position هو الموضع الترتيبي للأعمدة في تدفق البيانات
• origin هو التحويل الذي نشأ فيه العمود أو تم تحديثه آخر مرة

المحتوى ذو الصلة

• تعرف على المزيد حول تعيين لغة تعبير تدفقات البيانات لتحويلات البيانات
• استخدم أنماط الأعمدة في تحويل الحوض و تحديد التحويل باستخدام التعيين المستند إلى القواعد