ما هو تحويل البيانات؟

ينطبق على:Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

تحتاج المؤسسات إلى القدرة على استكشاف بيانات الأعمال الهامة الخاصة بها لإعداد البيانات والمشاحنات من أجل توفير تحليل دقيق للبيانات المعقدة التي تستمر في الازدياد كل يوم. يعد إعداد البيانات مطلوباً حتى تتمكن المؤسسات من استخدام البيانات في العمليات التجارية المختلفة وتقليل الوقت المستغرق في القيمة.

يمكّنك Data Factory من إعداد البيانات الخالية من التعليمات البرمجية على نطاق سحابي بشكل متكرر باستخدام Power Query. يتكامل Data Factory مع Power Query Online ويجعل وظائف Power Query M متاحة كنش تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية.

يتحول Data Factory M الذي تم إنشاؤه بواسطة محرر Power Query Online Mashup إلى رمز شرارة لتنفيذ مقياس السحابة عن طريق تحويل M إلى تدفقات بيانات مصنع بيانات Azure. تعد البيانات المتشاحنة باستخدام Power Query وتدفقات البيانات مفيدة بشكل خاص لمهندسي البيانات أو "مدمجي بيانات المواطنين".

حالات الاستخدام

استكشاف وإعداد البيانات التفاعلية بسرعة

يمكن لمهندسي البيانات المتعددين وموظفي تكامل البيانات من المواطنين استكشاف مجموعات البيانات وإعدادها بشكل تفاعلي على نطاق السحابة. مع ارتفاع حجم وتنوع وسرعة البيانات في بحيرات البيانات، يحتاج المستخدمون إلى طريقة فعالة لاستكشاف مجموعات البيانات وإعدادها. على سبيل المثال، قد تحتاج إلى إنشاء مجموعة بيانات "تحتوي على جميع المعلومات الديموغرافية للعملاء الجدد منذ عام 2017". أنت لا تقوم بالتعيين إلى هدف معروف. أنت تستكشف مجموعات البيانات وتحولها وتجهزها لتلبية أحد المتطلبات قبل نشرها في التجمع. غالباً ما يتم استخدام التحويل لسيناريوهات التحليلات الأقل رسمية. يمكن استخدام مجموعات البيانات المعدة لإجراء عمليات التحويل والتعلم الآلي في نهاية المطاف.

إعداد بيانات سريعة خالية من التعليمات البرمجية

يقضي مدمجو بيانات المواطنين أكثر من 60٪ من وقتهم في البحث عن البيانات وإعدادها. إنهم يتطلعون إلى القيام بذلك بطريقة خالية من التعليمات البرمجية لتحسين الإنتاجية التشغيلية. يؤدي السماح لجهات تكامل بيانات المواطنين بإثراء البيانات وتشكيلها ونشرها باستخدام أدوات معروفة مثل Power Query Online بطريقة قابلة للتطوير إلى تحسين إنتاجيتهم بشكل كبير. يتيح Wrangling في Azure Data Factory محرر Power Query Online المألوف المزج للسماح لمتكامل بيانات المواطنين بإصلاح الأخطاء بسرعة وتوحيد البيانات وإنتاج بيانات عالية الجودة لدعم قرارات العمل.

التحقق من صحة البيانات واستكشافها

امسح بياناتك بصرياً بطريقة خالية من التعليمات البرمجية لإزالة أي قيم خارجية أو شذوذ وتطابقها مع شكل لتحليلات سريعة.

المصادر المدعومة

الموصل تنسيق البيانات نوع المصادقة
مخزن البيانات الثنائية كبيرة الحجم لـ Azure CSV, Parquet, Excel مفتاح الحساب، مدير الخدمة، MSI
Azure Data Lake Storage الجيل الأول CSV, Parquet, Excel مدير الخدمة، MSI
Azure Data Lake Storage Gen2 CSV, Parquet, Excel مفتاح الحساب، مدير الخدمة، MSI
قاعدة بيانات Azure SQL - مصادقة SQL، MSI، مدير الخدمة
Azure Synapse Analytics - مصادقة SQL، MSI، مدير الخدمة

محرر mashup

عند إنشاء نشاط Power Query، تصبح جميع مجموعات البيانات المصدر استعلامات لمجموعة البيانات ويتم وضعها في مجلد ADFResource . بشكل افتراضي، سيشير UserQuery إلى استعلام مجموعة البيانات الأول. يجب إجراء جميع عمليات التحويل في UserQuery حيث لا يتم دعم التغييرات على استعلامات مجموعة البيانات ولن يتم استمرارها. إعادة تسمية الاستعلامات وإضافتها وحذفها غير مدعومة حالياً.

Wrangling

لا يتم حالياً دعم جميع وظائف Power Query M لجدل البيانات بالرغم من توفرها أثناء التأليف. أثناء إنشاء أنشطة Power Query الخاصة بك، ستتم مطالبتك برسالة الخطأ التالية إذا كانت الوظيفة غير مدعومة:

The Power Query Spark Runtime does not support the function

لمزيد من المعلومات حول التحويلات المدعومة، راجع وظائف تشابك بيانات Power Query.

تعرف على كيفية إنشاء مزج بيانات ل Power Query.