شرح طرق تحويل Azure Data Factory
كما يوفر Azure Data Factory مجموعة متنوعة من الأساليب لاستيعاب البيانات تمامًا، فإنه يوفر أيضًا مجموعة من الأساليب لإجراء عمليات التحويل. يمكنك اختيار طريقة تتوافق مع مهارات فريقك أو الاستفادة من التقنيات الحالية الموجودة لديك بالفعل في ملكية البيانات الخاصة بك. هناك أيضًا فرصة لإجراء تحويلات دون كتابة تعليمة برمجية على الإطلاق باستخدام Mapping Data Flow.
تحويل البيانات باستخدام Mapping Data Flow
توفر Mapping Data Flows بيئة لإنشاء نطاق واسع من تحويلات البيانات بصريًا دون الحاجة إلى استخدام التعليمة البرمجية. يتم تنفيذ تدفقات البيانات الناتجة التي تم إنشاؤها لاحقًا على مجموعات Apache Spark التي تم تغيير حجمها والتي يتم توفيرها تلقائيًا عند تنفيذ Mapping Data Flow. توفر Mapping Data Flows أيضًا القدرة على مراقبة تنفيذ التحويلات بحيث يمكنك عرض مدى تقدم التحويلات، أو لفهم أي أخطاء قد تحدث
تحويل البيانات باستخدام موارد الحوسبة
يمكن أن تستدعي Azure Data Factory أيضًا موارد الحوسبة لتحويل البيانات من خلال خدمة النظام الأساسي للبيانات التي قد تكون أكثر ملاءمة للمهمة. ومن الأمثلة الرائعة على ذلك أن Azure Data Factory يمكنها إنشاء مسار لمنصة بيانات تحليلية مثل مجموعات Spark في مثيل Azure Synapse Analytics لإجراء عملية حسابية معقدة باستخدام Python. مثال آخر يمكن أن يكون إرسال البيانات إلى مثيل قاعدة بيانات Azure SQL لتنفيذ إجراء مخزن باستخدام Transact-SQL. هناك مجموعة واسعة من موارد الحوسبة، والأنشطة المرتبطة التي يمكنهم القيام بها كما هو موضح في الجدول التالي:
| بيئة الحساب | الأنشطة |
|---|---|
| نظام مجموعة HDInsight حسب الطلب، أو نظام مجموعة HDInsight الخاصة بك | Hive ،Pig ،Spark ،MapReduce، دفق Hadoop |
| Azure Batch | أنشطة مخصصة |
| آلة ستوديو التعلم الآلي من Azure | أنشطة التعلم: تنفيذ الدفعة وتحديث الموارد |
| Azure Machine Learning | مسار تنفيذ التعلم الآلي من Azure |
| Azure Data Lake Analytics | تحليلات بحيرة البيانات U-SQL |
| Azure SQL، مستودع بيانات Azure SQL، وSQL Server | الإجراء المخزَّن |
| Azure Databricks | Notebook، Jar، Python |
| دالة Azure | نشاط Azure Function |
تحويل البيانات باستخدام حزم SQL Server Integration Services (SSIS)
تمتلك العديد من المؤسسات عقودًا من الاستثمار في التطوير في حزم SSIS التي تحتوي على منطق الاستيعاب والتحويل من مخازن البيانات المحلية ومخازن البيانات في السحابة. توفر Azure Data Factory القدرة على رفع وتحويل حمل عمل SSIS الحالي، وذلك عن طريق إنشاء Azure-SSIS Integration Runtime لتنفيذ حزم SSIS في الأصل. سيمكنك استخدام Azure-SSIS Integration Runtime من نشر وإدارة حزم SSIS الحالية الخاصة بك مع القليل من التغيير أو بدون تغيير باستخدام أدوات مألوفة مثل SQL Server Data Tools (SSDT) وSQL Server Management Studio (SSMS)، تمامًا مثل استخدام SSIS في أماكن العمل.