مشاركة عبر

تشغيل المهام عند وصول ملفات جديدة

  • مقالة

يمكنك استخدام مشغلات وصول الملفات لتشغيل مهمة Azure Databricks عند وصول ملفات جديدة إلى موقع خارجي مثل Amazon S3 أو تخزين Azure أو Google Cloud Storage. يمكنك استخدام هذه الميزة عندما تكون المهمة المجدولة غير فعالة لأن البيانات الجديدة تصل إلى جدول زمني غير منتظم.

تبذل مشغلات وصول الملفات أفضل جهد للتحقق من وجود ملفات جديدة كل دقيقة، على الرغم من أن هذا يمكن أن يتأثر بأداء التخزين السحابي الأساسي. لا تتحمل مشغلات وصول الملفات تكاليف إضافية غير تكاليف موفر السحابة المرتبطة بإدراج الملفات في موقع التخزين.

يمكن تكوين مشغل وصول الملف لمراقبة جذر موقع أو وحدة تخزين خارجية لكتالوج Unity، أو مسار فرعي لموقع خارجي أو وحدة تخزين. على سبيل المثال، بالنسبة لوحدة تخزين /Volumes/mycatalog/myschema/myvolume/جذر كتالوج Unity، فيما يلي مسارات صالحة لمشغل وصول الملف:

/Volumes/mycatalog/myschema/myvolume/
/Volumes/mycatalog/myschema/myvolume/mydirectory/

المتطلبات

فيما يلي مطلوب لاستخدام مشغلات وصول الملفات:

القيود

  • يمكن تكوين خمسين وظيفة كحد أقصى مع مشغل وصول ملف في مساحة عمل Azure Databricks.
  • يمكن أن يحتوي موقع التخزين الذي تم تكوينه لمشغل وصول الملفات على ما يصل إلى 10000 ملف فقط. لا يمكن مراقبة المواقع التي تتضمن المزيد من الملفات لوصول الملفات الجديدة. إذا كان موقع التخزين المكون عبارة عن مسار فرعي لموقع أو وحدة تخزين خارجية لكتالوج Unity، فإن حد الملفات البالغ 10000 ينطبق على مسار فرعي وليس جذر موقع التخزين. على سبيل المثال، يمكن أن يحتوي جذر موقع التخزين على أكثر من 10000 ملف عبر الدلائل الفرعية الخاصة به، ولكن يجب ألا يتجاوز الدليل الفرعي المكون حد الملفات البالغ 10000 ملف.
  • يجب ألا يحتوي المسار المستخدم لمشغل وصول الملف على أي جداول خارجية أو مواقع مدارة للكتالوجات والمخططات.

إضافة مشغل وصول ملف

لإضافة مشغل وصول ملف إلى وظيفة:

  1. في الشريط الجانبي، انقر فوق مهام سير العمل.
  2. في العمود الاسم على علامة التبويب وظائف ، انقر فوق اسم الوظيفة.
  3. في لوحة Job details على اليمين، انقر فوق Add trigger.
  4. في نوع المشغل، حدد وصول الملف.
  5. في موقع التخزين، أدخل عنوان URL للجذر أو مسار فرعي لموقع خارجي لكتالوج Unity أو الجذر أو مسار فرعي لوحدة تخزين كتالوج Unity لمراقبته.
  6. (اختياري) تكوين الخيارات المتقدمة:
    • الحد الأدنى للوقت بين المشغلات بالثوان: الحد الأدنى من الوقت للانتظار لتشغيل تشغيل بعد اكتمال تشغيل سابق. تعمل الملفات التي تصل في هذه الفترة على تشغيل فقط بعد انتهاء صلاحية وقت الانتظار. استخدم هذا الإعداد للتحكم في تكرار إنشاء التشغيل.
    • انتظر بعد التغيير الأخير بالثوان: وقت الانتظار لتشغيل بعد وصول الملف. يؤدي وصول ملف آخر في هذه الفترة إلى إعادة تعيين المؤقت. يمكن استخدام هذا الإعداد عند وصول الملفات على دفعات، ويجب معالجة الدفعة بأكملها بعد وصول جميع الملفات.
  7. للتحقق من صحة التكوين، انقر فوق اختبار الاتصال.
  8. انقر فوق حفظ.

تلقي إعلامات بمشغلات وصول الملفات الفاشلة

ليتم إعلامك إذا فشل مشغل وصول الملف في التقييم، قم بتكوين رسائل البريد الإلكتروني أو إعلامات وجهة النظام عند فشل الوظيفة. راجع إضافة إعلامات البريد الإلكتروني والنظام لأحداث الوظيفة.