تحويل البيانات باستخدام Power Query

  • 10 دقائق

الآن بعد أن فهمت ما هي تدفقات البيانات، حان الوقت لاستكشاف كيفية استخدام Power Query لتحويل البيانات. محرر Power Query Online هو المكان الذي تتصل فيه بمصادر البيانات، وتطبق التحويلات، وتضبط وجهات الإخراج.

إنشاء تدفق البيانات

لإنشاء تدفق بيانات، انتقل إلى مساحة العمل Fabric واختر + عنصر جديد، ثم اختر Dataflow Gen2. يمكنك الآن بناء منطق التحويل الخاص بك في محرر Power Query Online.

تبدأ بالاتصال بمصدر بيانات. اختر الحصول على البيانات في شريط المحرر لتصفح الموصلات المتاحة. يدعم Fabric مئات مصادر البيانات بما في ذلك قواعد البيانات السحابية، وقواعد البيانات المحلية (عبر البوابات)، والملفات المسطحة، وخدمات الويب، وغيرها من عناصر Fabric مثل بيوت البحيرات والمستودعات.

بعد الاتصال، تظهر معاينة لبياناتك في المحرر. من هنا، تطبق التحويلات بصريا، وتضبط وجهة الإخراج الخاصة بك، وتنشر تدفق البيانات.

محرر Power Query Online يحتوي على خمسة مجالات رئيسية تستخدمها أثناء تطوير تدفق البيانات:

  • الشريط: يحتوي على أوامر منظمة حسب علامات التبويب (المنزل، التحويل، إضافة عمود، عرض). يمكنك الوصول إلى موصلات مصدر البيانات، وعمليات التحول، وإعدادات الوجهة من الشريط.
  • لوحة الاستعلامات: يسرد جميع اتصالات مصادر البيانات في تدفق البيانات الخاص بك. كل اتصال يسمى استعلاما، وتتحول الاستعلامات إلى جداول عند تحميلها إلى وجهة. يمكنك تكرار أو الإشارة أو تعطيل الاستعلامات من هذا القسم.
  • عرض الرسم التوضيحي: يوفر تمثيلا بصريا لكيفية اتصال الاستعلامات ببعضها البعض وما هي التحولات التي تنطبق على كل منها. يمكنك تفعيل أو إيقاف هذا العرض من تبويب العرض.
  • معاينة البيانات: يعرض مجموعة فرعية من البيانات حتى تتمكن من رؤية تأثير كل تحويل. يمكنك التفاعل مع المعاينة عن طريق النقر بزر الفأرة الأيمن على الأعمدة لتصفيتها أو إزالتها أو إعادة تسميتها.
  • إعدادات الاستعلام: يعرض الخطوات المطبقة للاستعلام المختار. كل تحول تطبقه يسجل كخطوة. يمكنك إعادة ترتيب أو إعادة تسمية أو حذف أو تعديل الخطوات. تظهر لوحة إعدادات الاستعلام أيضا وجهة البيانات المكونة.

Tip

كل خطوة يتم تطبيقها تحتوي على أيقونة ترس تتيح لك تعديل إعدادات الخطوة. إذا لم يكن هناك أيقونة ترس في الخطوة، يجب عليك حذفها وإعادة تطبيق التحويل بإعدادات مختلفة.

تطبيق التحويلات الشائعة

يوفر Power Query مجموعة واسعة من التحويلات لتنظيف وتشكيل البيانات. الجدول التالي يصف التحويلات المستخدمة بشكل متكرر عند إعداد البيانات التحليلية:

نوع التحويل الغرض
صفوف التصفية أزل الصفوف التي لا تفي بالمعايير
اختيار أو إزالة الأعمدة احتفظ فقط بالأعمدة التي تحتاجها
تغيير أنواع البيانات تعيين الأنواع الصحيحة للتحليل
الأعمدة المنقسمة فصل القيم في العمود حسب محدد أو موضع
أعمدة الدمج دمج القيم من عدة أعمدة
أعمدة المحور تحويل قيم الصفوف إلى رؤوس أعمدة
أعمدة غير محورية تحويل رؤوس الأعمدة إلى قيم صفوف
تجميع حسب تجميع البيانات بواسطة عمود أو أكثر
إضافة الأعمدة المحسوبة إنشاء أعمدة جديدة بناء على التعبيرات
استعلامات الدمج قم بربط استعلامين على أعمدة متطابقة (مثل SQL JOIN)
الاستعلامات الملحقة تكديس الصفوف من استعلامين أو أكثر (مثل SQL UNION)

تغطي هذه التحولات معظم احتياجات إعداد البيانات. تقوم بتطبيقها باختيار الخيارات من الشريط أو بالنقر بزر الفأرة الأيمن على الأعمدة في معاينة البيانات.

تنظيف البيانات وتوحيدها

تحولات جودة البيانات ضرورية لإنتاج بيانات تحليلية موثوقة. تشمل عمليات جودة البيانات الشائعة في Power Query:

  • تعامل مع القيم الصفرية. فلتر الصفوف التي تحتوي على نقاط فارغة، أو استبدال القيم الفارغة بالقيم الافتراضية باستخدام استبدال القيم.
  • أزل النسخ. انقر بزر الفأرة الأيمن على عمود واختر إزالة التكرارات للاحتفاظ فقط بالصفوف الفريدة بناء على ذلك العمود.
  • المساحة البيضاء. استخدم تبويب التحويل لقص المساحات الافتتاحية والخلفية من أعمدة النص.
  • توحيد النص. طبق كل تحويل بحرف كبير لكل Word أو بحروف كبيرة أو صغيرة لضمان تنسيق متناسق.
  • تعامل مع الأخطاء. انقر بزر الفأرة الأيمن على عمود واختر إزالة الأخطاء لتصفية الصفوف التي أحدثت فيها التحويلات خطأ، أو استخدم استبدال الأخطاء لاستبدال قيمة افتراضية.

البيانات المتسقة والنظيفة مهمة بشكل خاص عندما تدعم البيانات تجارب الذكاء الاصطناعي اللاحقة. تؤدي Copilot وبيانات الوكلاء أداء أفضل عندما تكون قيم الأعمدة موحدة وخالية من الضوضاء.

العمل مع لغة M

كل تحويل تطبقه عبر واجهة Power Query يولد كود لغة M خلف الكواليس. M هي لغة وظيفية تصف منطق التحويل الكامل للاستعلام. يمكنك عرض وتعديل نص M الكامل باختيار Advanced Editor من تبويب العرض.

بالنسبة لمعظم التحويلات، تكون الواجهة البصرية هي النهج الأسرع والأقل عرضة للأخطاء. ومع ذلك، فإن كتابة M مباشرة مفيدة في السيناريوهات التالية:

  • وظائف مخصصة. أنشئ منطق تحويل قابل لإعادة الاستخدام يمكنك تطبيقه عبر عدة استعلامات. على سبيل المثال، وظيفة توحد صيغ التواريخ أو تطبق قواعد تنظيف خاصة بالأعمال.
  • استعلامات معلمية. استخدم المعلمات لتغيير سلاسل الاتصال أو قيم التصفية أو الإعدادات الأخرى بشكل ديناميكي بناء على البيئة.
  • معالجة الأخطاء. استخدم try...otherwise التعبيرات للتعامل مع الأخطاء برشاقة وتوفير قيم احتياطية.
  • منطق متقدم. نفذ حسابات تكرارية، أو التفرع الشرطي، أو قواعد الأعمال المعقدة التي لا تدعمها الواجهة البصرية مباشرة.

المثال التالي يوضح دالة مخصصة بسيطة في M تقوم بتوحيد عمود نصي عن طريق قص الفراغ الأبيض وتحويله إلى حرف كبير:

(inputText as text) as text =>
    Text.Upper(Text.Trim(inputText))

على سبيل المثال، عند استدعاء هذه الدالة مع الإدخال " hello world " يعود "HELLO WORLD"ب .

يمكنك بعد ذلك تطبيق هذه الدالة على أي عمود نصي عبر استفساراتك.

استخدم Copilot للعبة Dataflow Gen2

يتيح لك Copilot for Dataflow Gen2 استخدام محفزات اللغة الطبيعية لتوليد منطق التحول، مما يسرع مهام التشكيل الشائعة ويساعدك على اكتشاف أنماط Power Query الصحيحة بشكل أسرع. بدلا من التنقل بين القوائم واختيار الخيارات، تشرح ما تريد تحقيقه ويقوم Copilot بإنشاء خطوات التحول المناسبة.

لفتح دردشة Copilot، اختر زر Copilot في تبويب الصفحة الرئيسية.

أمثلة على المحفزات التي يمكنك استخدامها:

  • "إزالة الصفوف التي تكون فيها الحالة معدومة"
  • "أضف عمودا يحسب الربح كإيرادات مطروحة منها التكلفة"
  • "احتفظ فقط بالصفوف التي تكون فيها الفئة إلكترونيات أو ملابس"
  • "عد إجمالي عدد الطلبات حسب الزبون"

كل إجراء يقوم به Copilot يظهر كبطاقة استجابة مع خطوات مقابلة في قائمة الخطوات التطبيقية. يمكنك مراجعة أو تعديل أو التراجع عن أي خطوة يخلقها Copilot.

Copilot يشمل أيضا مهارة explainer تساعدك على فهم منطق الاستعلام الحالي دون كتابة أي كود. لشرح استعلام كامل، انقر بزر الفأرة الأيمن على الاستعلام في قسم الاستعلامات واختر وصف أو شرح. لشرح خطوة واحدة مطبقة، انقر بزر الفأرة الأيمن على الخطوة في قسم الخطوات التطبيقية واختر شرح هذه الخطوة. يعيد Copilot ملخصا بلغة بسيطة لما تفعله الاستفسار أو الخطوة. هذه الميزة مفيدة عند وراثة تدفق بيانات من عضو آخر في الفريق أو عند تصحيح الأخطاء في تحويل غير مألوف.

ملاحظة

يتطلب Copilot للعبة Dataflow Gen2 سعة مدفوعة لفئة Fabric تبلغ F2 أو أعلى، أو P1 أو أعلى. وحدات SKU التجريبية غير مدعومة. تحقق من Copilot في Fabric الوثائق لمعرفة التوفر الإقليمي.

تصدير نتائج الاستعلام للتحقق من الصحة

يمكنك تصدير نتائج الاستعلام مباشرة من تجربة تأليف Power Query للتحقق من صحة التحولات، ومشاركة العينات مع زملاء الفريق، وتصحيح مشاكل البيانات دون الخروج من تدفق التأليف. تجعل هذه القدرة تسريع عملية استكشاف الأخطاء بسهولة من خلال تصدير مجموعة بيانات مشكلة ومقارنة النتائج عبر الخطوات. أو لتحسين التعاون من خلال مشاركة لمحة سريعة من النتائج مع مستخدمي الأعمال أو فرق الدعم.

لتصدير نتائج الاستعلام، اختر الاستعلام في لوحة الاستعلامات، ثم اختر تصدير البيانات من تبويب الصفحة الرئيسية. يمكنك التصدير إلى صيغ مثل CSV أو Excel حسب احتياجاتك.