نسخ الملفات الجديدة والمتغيرة حسب LastModifiedDate مع Azure Data Factory

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

توضح هذه المقالة قالب حل التي يمكنك استخدامه لنسخ الملفات الجديدة والمتغيرة فقط حسب LastModifiedDate من مخزن يستند إلى ملف إلى مخزن وجهة.

حول قالب الحل هذا

يحدد هذا القالب أولاً الملفات الجديدة والمتغيرة فقط من خلال سماتها LastModifiedDate، ثم ينسخ تلك الملفات المحددة من مخزن مصدر البيانات إلى مخزن وجهة البيانات.

يحتوي القالب على نشاط واحد:

• نسخ لنسخ الملفات الجديدة والمتغيرة فقط حسب LastModifiedDate من مخزن الملفات إلى مخزن الوجهة.

يُعرّف القالب ستة معلمات:

• FolderPath_Source هو مسار المجلد حيث يمكنك قراءة الملفات من مخزن المصدر. تحتاج إلى استبدال القيمة الافتراضية بمسار المجلد الخاص بك.
• Directory_Source هو مسار المجلد الفرعي حيث يمكنك قراءة الملفات من مخزن المصدر. تحتاج إلى استبدال القيمة الافتراضية بمسار المجلد الفرعي الخاص بك.
• FolderPath_Destination هو مسار المجلد حيث تريد نسخ الملفات إلى مخزن الوجهة. تحتاج إلى استبدال القيمة الافتراضية بمسار المجلد الخاص بك.
• Directory_Destination هو مسار المجلد الفرعي حيث تريد نسخ الملفات إلى مخزن الوجهة. تحتاج إلى استبدال القيمة الافتراضية بمسار المجلد الفرعي الخاص بك.
• يتم استخدام LastModified_From لتحديد الملفات التي تكون سمة LastModifiedDate الخاصة بها بعد قيمة التاريخ والوقت هذه أو مساوية لها. لتحديد الملفات الجديدة فقط، والتي لم يتم نسخها في المرة الأخيرة، يمكن أن تكون قيمة التاريخ والوقت هذه هي الوقت الذي تم فيه تشغيل المسار في المرة الأخيرة. يمكنك استبدال القيمة الافتراضية "2019-02-01T00: 00: 00Z" بالتوقيت المتوقع لـ LastModifiedDate بالتوقيت العالمي المنسق (UTC).
• يتم استخدام LastModified_To لتحديد الملفات التي تكون سمة LastModifiedDate الخاصة بها قبل قيمة التاريخ والوقت هذه. لتحديد الملفات الجديدة فقط، والتي لم يتم نسخها في عمليات التشغيل السابقة، يمكن أن تكون قيمة التاريخ والوقت هذه هي الوقت الحالي. يمكنك استبدال القيمة الافتراضية "2019-02-01T00: 00: 00Z" بالتوقيت المتوقع لـ LastModifiedDate بالتوقيت العالمي المنسق (UTC).

كيفية استخدام قالب الحل هذا

1. انتقل إلى معرض القوالب من علامة التبويب Author في Azure Data Factory، ثم اختر + الزر، Pipeline، وأخيرا Template Gallery.

   

2. ابحث عن القالب نسخ الملفات الجديدة فقط بواسطة LastModifiedDate، وحدده، ثم حدد متابعة.

   

3. إنشاء اتصال جديد بمخزن الوجهة. مخزن الوجهة هو المكان الذي تريد نسخ الملفات إليه.

   

4. قم بإنشاء اتصال جديد إلى مخزن تخزين المصدر. مخزن تخزين المصدر هو المكان الذي تريد نسخ الملفات منه.

   

5. حدد استخدام هذا القالب.

   

6. ترى البنية الأساسية لبرنامج ربط العمليات التجارية متوفرة في اللوحة، كما هو موضح في المثال التالي:

   

7. حدد تتبع الأخطاء، واكتب قيمة المعلمات، وحدد إنهاء. في الصورة التالية، قمنا بتعيين المعلمات على النحو التالي.

   • FolderPath_Source = مجلد المصدر
   • Directory_Source = مجلد فرعي
   • FolderPath_Destination = مجلد الوجهة
   • Directory_Destination = مجلد فرعي
   • LastModified_From = 2019-02-01T00:00:00Z
   • LastModified_To = 2019-03-01T00:00:00Z

   يشير المثال إلى أن الملفات، التي تم تعديلها آخر مرة خلال الفترة الزمنية (2019-02-01T00:00:00Z إلى 2019-03-01T00:00:00Z) سيتم نسخها من المجلد المصدر/المجلد الفرعي لمسار الوجهة إلى المجلد الوجهة/المجلد الفرعي للمسار الوجهة. يمكنك استبدال هذه الأوقات أو المجلدات بمعلماتك الخاصة.

   

8. راجع النتيجة. ترى فقط الملفات التي تم تعديلها مؤخرا ضمن الفترة الزمنية المكونة يتم نسخها إلى المخزن الوجهة.

   

9. يمكنك الآن إضافة مشغل نوافذ متقلب لأتمتة هذا المسار، بحيث يمكن للمسار دائماً نسخ الملفات الجديدة والمتغيرة فقط حسب LastModifiedDate بشكل دوري. حدد "Add trigger"، وحدد "New/Edit".

   

10. في إطار إضافة مشغلات، حدد "+ New".

11. حدد "Tumbling Window" لنوع المشغل، ثم قم بتعيين كل 15 دقيقة كتكرار (يمكنك التغيير إلى أي فترة زمنية). حدد "Yes" للمربع المُنشّط، ثم حدد "OK".

    

12. قم بتعيين قيمة تشغيل معلمات التشغيل على النحو التالي، وحدد "Finish".

    • FolderPath_Source = المجلد المصدر. يمكنك استبدال المجلد في مخزن بيانات المصدر.
    • Directory_Source = المجلد الفرعي. يمكنك استبدال المجلد الفرعي في مخزن بيانات المصدر.
    • FolderPath_Destination = ملف الوجهة. يمكنك استبدال المجلد الخاص بك في مخزن بيانات الوجهة.
    • Directory_Destination = المجلد الفرعي. يمكنك استبدال المجلد الفرعي في مخزن بيانات الوجهة.
    • LastModified_From = @trigger().outputs.windowStartTime. إنه متغير نظام من المشغل يحدد الوقت الذي تم فيه تشغيل المسار في المرة الأخيرة.
    • LastModified_To = @trigger().outputs.windowEndTime. إنه متغير نظام من المشغل يحدد الوقت الذي يتم فيه تشغيل المسار هذه المرة.

    

13. حدد "Publish All".

    

14. إنشاء ملفات جديدة في مجلد المصدر الخاص بك من مخزن مصدر البيانات. أنت الآن في انتظار تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية تلقائيا ويتم نسخ الملفات الجديدة فقط إلى مخزن الوجهة.

15. حدد علامة التبويب Monitor في لوحة التنقل اليسرى، وانتظر لمدة 15 دقيقة تقريبا إذا تم تعيين تكرار المشغل إلى كل 15 دقيقة.

16. راجع النتيجة. ترى أن البنية الأساسية لبرنامج ربط العمليات التجارية يتم تشغيلها تلقائيا كل 15 دقيقة، ويتم نسخ الملفات الجديدة أو التي تم تغييرها فقط من مخزن المصدر إلى مخزن الوجهة في كل تشغيل للبنية الأساسية لبرنامج ربط العمليات التجارية.

    

المحتوى ذو الصلة

• مقدمة إلى مصنع البيانات Azure