تحميل البيانات بشكل متزايد من مخزن بيانات مصدر إلى مخزن بيانات وجهة

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

هل تبحث عن طريقة سهلة لنقل البيانات؟ وظيفة النسخ في Microsoft Fabric توفر طريقة بسيطة وقابلة للتوسع لتحميل البيانات دون بناء خط أنابيب. تعلم كيف تصنع واحدا.

في حل تكامل البيانات، تحميل البيانات بشكل متزايد (أو "دلتا") بعد تحميل بيانات كامل أولي هو سيناريو مستخدم على نطاق واسع. تظهر لك الدروس في هذا القسم طرقا مختلفة لتحميل البيانات بشكل متزايد باستخدام Azure Data Factory.

تحميل بيانات "دلتا" من قاعدة البيانات باستخدام علامة مائية

في هذه الحالة، يمكنك تعريف علامة مائية في قاعدة البيانات المصدر. العلامة المائية هي عمود له آخر طابع زمني محدث أو مفتاح متزايد. يقوم حل تحميل "دلتا" بتحميل البيانات التي تم تغييرها بين علامة مائية قديمة وعلامة مائية جديدة. يتم تصوير سير العمل لهذا الأسلوب في الرسم التخطيطي التالي:

للحصول على إرشادات خطوة بخطوة، راجع الدروس التالية:

• نسخ البيانات بشكل متزايد من جدول واحد في قاعدة بيانات azure SQL إلى تخزين Azure Blob
• نسخ البيانات بشكل متزايد من جداول متعددة في مثيل SQL Server إلى قاعدة بيانات azure SQL

بالنسبة للقوالب، راجع التالي:

• نسخة "دلتا" مع جدول التحكم

تحميل بيانات "دلتا" من SQL DB باستخدام تقنية تعقب التغيير

تكنولوجيا تعقب التغيير هو حل خفيف الوزن في SQL Server وقاعدة بيانات azure SQL التي توفر آلية فعالة لتتبع التغيير للتطبيقات. وهو يمكن التطبيق من التعرف بسهولة على البيانات التي تم إدراجها أو تحديثها أو حذفها.

يتم تصوير سير العمل لهذا الأسلوب في الرسم التخطيطي التالي:

للحصول على إرشادات خطوة بخطوة، راجع البرنامج التعليمي التالي:

• نسخ البيانات بشكل متزايد من قاعدة بيانات Azure SQL إلى تخزين Azure Blob باستخدام تقنية تعقب التغيير

تحميل الملفات الجديدة والمتغيرة فقط باستخدام LastModifiedDate

يمكنك نسخ الملفات الجديدة والمتغيرة فقط باستخدام LastModifiedDate إلى المخزن الوجهة. سيقوم ADF بمسح جميع الملفات من مخزن المصدر وتطبيق عامل تصفية الملف بواسطة LastModifiedDate الخاص بهم ونسخ الملف الجديد والمحدث فقط منذ آخر مرة إلى المخزن الوجهة. إذا سمحت ل ADF بفحص كميات هائلة من الملفات ولكنك تنسخ عددا قليلا فقط من الملفات إلى الوجهة ، فسيستغرق ذلك وقتا طويلا بسبب عملية فحص الملفات.

للحصول على إرشادات خطوة بخطوة، راجع البرنامج التعليمي التالي:

• نسخ الملفات الجديدة والمتغيرة بشكل متزايد استناداً إلى LastModifiedDate من تخزين Azure Blob إلى تخزين Azure Blob

بالنسبة للقوالب، راجع التالي:

• نسخ ملفات جديدة بواسطة LastModifiedDate

تحميل الملفات الجديدة فقط باستخدام المجلد أو اسم الملف المقسم بالوقت

يمكنك نسخ ملفات جديدة فقط، حيث تم تقسيم الملفات أو المجلدات مسبقاً بمعلومات ذات طابع زمني كجزء من اسم الملف أو المجلد (على سبيل المثال، /yyyy/mm/dd/file.csv). إنه النهج الأكثر أداء لتحميل الملفات الجديدة بشكل تدريجي.

للحصول على إرشادات خطوة بخطوة، راجع البرنامج التعليمي التالي:

• نسخ الملفات الجديدة بشكل متزايد استناداً إلى مجلد أو اسم ملف مقسم زمنيا من تخزين Azure Blob إلى تخزين Azure Blob

المحتوى ذو الصلة

تقدم إلى البرنامج التعليمي التالي:

نسخ البيانات بشكل متزايد من جدول واحد في قاعدة بيانات azure SQL إلى تخزين Azure Blob