مشاركة عبر


نسخ البيانات والتحويل مع المعلمات الديناميكية كل ساعة

ينطبق على: Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

في هذا السيناريو، تريد نسخ البيانات من AWS S3 إلى تخزين Azure Blob والتحويل باستخدام Azure Databricks (مع معلمات ديناميكية في البرنامج النصي) على جدول زمني كل ساعة لمدة 8 ساعات كل يوم على مدى 30 يوما.

الأسعار المستخدمة في هذا المثال أدناه افتراضية ولا يقصد بها أن تعني التسعير الفعلي الدقيق. لا تظهر تكاليف القراءة/الكتابة والمراقبة لأنها عادة ما تكون ضئيلة ولن تؤثر على التكاليف الإجمالية بشكل كبير. يتم أيضا تقريب عمليات تشغيل النشاط إلى أقرب 1000 في تقديرات حاسبة التسعير.

راجع حاسبة أسعار Azure للحصول على سيناريوهات أكثر تحديدا وتقدير التكاليف المستقبلية لاستخدام الخدمة.

التكوين

لإنجاز السيناريو، تحتاج إلى إنشاء مسار مع العناصر التالية:

  • نشاط نسخ واحد مع مجموعة بيانات إدخال للبيانات المراد نسخها من AWS S3، ومجموعة بيانات إخراج للبيانات الموجودة على تخزين Azure.
  • نشاط بحث واحد لتمرير المعلمات بشكل ديناميكي إلى برنامج التحويل النصي.
  • نشاط واحد لـ Azure Databricks لتحويل البيانات.
  • مشغل جدول واحد لتنفيذ البنية الأساسية لبرنامج ربط العمليات التجارية كل ساعة لمدة 8 ساعات في اليوم. عندما تريد تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية، يمكنك إما تشغيله على الفور أو جدولته. بالإضافة إلى البنية الأساسية لبرنامج ربط العمليات التجارية نفسها، يتم حساب كل مثيل مشغل كتشغيل نشاط واحد.

يوضح الرسم التخطيطي مسارا مع مشغل جدول زمني. في البنية الأساسية لبرنامج ربط العمليات التجارية، يتدفق نشاط النسخ إلى مجموعة بيانات إدخال، ومجموعة بيانات إخراج، ونشاط بحث يتدفق إلى نشاط DataBricks، والذي يعمل على Azure Databricks. تتدفق مجموعة بيانات الإدخال إلى خدمة مرتبطة AWS S3. تتدفق مجموعة بيانات الإخراج إلى خدمة مرتبطة ب Azure Storage.

تقدير التكاليف

العمليات أنواع ووحدات
تشغيل مسار 4 يتم تشغيل النشاط لكل تنفيذ (1 لتشغيل المشغل، 3 لتشغيل النشاط) = 960 تشغيل نشاط، يتم تقريبه لأعلى لأن الحاسبة تسمح فقط بزيادات 1000.
نسخ افتراض البيانات: ساعات DIU لكل تنفيذ = 10 دقائق 10 دقائق \ 60 دقيقة * 4 وقت تشغيل تكامل Azure (إعداد DIU الافتراضي = 4) لمزيد من المعلومات حول وحدات تكامل البيانات وتحسين أداء النسخ، راجع هذه المقالة
تنفيذ افتراض نشاط البحث: ساعات نشاط المسار لكل تنفيذ = دقيقة واحدة 1 دقيقة / 60 دقيقة تنفيذ نشاط البنية الأساسية لبرنامج ربط العمليات التجارية
تنفيذ افتراض نشاط Databricks: ساعات التنفيذ الخارجية لكل تنفيذ = 10 دقائق 10 دقائق / 60 دقيقة تنفيذ نشاط البنية الأساسية لبرنامج ربط العمليات التجارية الخارجية

مثال التسعير: مثال حاسبة التسعير

إجمالي تسعير السيناريو لمدة 30 يوما: 41.03 دولار

لقطة شاشة لحاسبة التسعير المكونة لنسخ البيانات والتحويل باستخدام سيناريو المعلمات الديناميكية.