مشاركة عبر

تغيير نظرة عامة على مورد التقاط البيانات

  • مقالة

ينطبق على:Azure Data Factory Azure Synapse Analytics

تلميح

جرب Data Factory في Microsoft Fabric، وهو حل تحليلي متكامل للمؤسسات. يغطي Microsoft Fabric كل شيء بدءا من حركة البيانات إلى علم البيانات والتحليلات في الوقت الحقيقي والمعلومات المهنية وإعداد التقارير. تعرف على كيفية بدء إصدار تجريبي جديد مجانا!

يمكن أن يكون التكيف مع عالم البيانات الضخمة في السحابة الأول تحديا لا يصدق لمهندسي البيانات المسؤولين عن بناء تكامل البيانات المعقدة وخطوط أنابيب ETL.

يقدم Azure Data Factory آلية جديدة لتسهيل حياة مهندس البيانات.

من خلال الكشف التلقائي عن تغييرات البيانات في المصدر دون الحاجة إلى تصميم أو ترميز معقد، يجعل ADF من السهولة في توسيع نطاق هذه العمليات. سيكون Change Data Capture موجودا الآن كمورد أصلي جديد من المستوى الأعلى في استوديو Azure Data Factory حيث يمكن لمهندسي البيانات تكوين المهام قيد التشغيل باستمرار بسرعة لمعالجة البيانات الضخمة على نطاق واسع بكفاءة قصوى.

يسمح مورد Change Data Capture الجديد في ADF بالتقاط بيانات تغيير الدقة الكاملة التي تعمل باستمرار في الوقت الفعلي تقريبا من خلال تجربة تكوين موجهة.

Screenshot of new top-level resource in Factory Resources panel.

مصادر البيانات المدعومة

  • Avro
  • Azure Cosmos DB (SQL API)
  • قاعدة بيانات Azure SQL
  • مثيل Azure SQL المُدار
  • نص محدد
  • JSON
  • ORC
  • Parquet
  • SQL Server
  • XML
  • Snowflake

الأهداف المدعومة

  • Avro
  • قاعدة بيانات Azure SQL
  • مثيل SQL المدار
  • نص محدد
  • Delta
  • JSON
  • ORC
  • Parquet
  • Azure Synapse Analytics

القيود المعروفة

  • حاليا، عند إنشاء تعيينات المصدر/الهدف، يسمح باستخدام كل مصدر وهدف مرة واحدة فقط.
  • الأنواع المعقدة غير مدعومة حاليا.
  • وقت تشغيل التكامل المستضاف ذاتيا (SHIR) غير مدعوم حاليا.

لمزيد من المعلومات حول القيود المعروفة والمساعدة في استكشاف الأخطاء وإصلاحها، يرجى الرجوع إلى دليل استكشاف الأخطاء وإصلاحها هذا.

Azure Synapse Analytics كهدف

عند استخدام Azure Synapse Analytics كهدف، يتوفر الإعدادات التقسيم المرحلي على لوحة الجدول الرئيسية. تمكين التقسيم المرحلي إلزامي عند تحديد Azure Synapse Analytics كهدف. وهذا يعزز بشكل كبير أداء الكتابة باستخدام إمكانية التحميل المجمع ذات الأداء مثل الأمر COPY INTO. يمكن تكوين الإعدادات المرحلي بطريقتين: استخدام إعدادات المصنع أو اختيار إعدادات مخصصة. تنطبق إعدادات المصنع على مستوى المصنع. للمرة الأولى، إذا لم يتم تكوين هذه الإعدادات، فسيتم توجيهك إلى قسم إعداد التقسيم المرحلي العمومي للتكوين. بمجرد التعيين، ستعتمد جميع موارد المستوى الأعلى ل CDC هذا التكوين. يتم تحديد نطاق الإعدادات المخصصة فقط لمورد التقاط بيانات التغيير الذي تم تكوينه له ويتجاوز إعدادات المصنع.

إشعار

بينما نستخدم الأمر COPY INTO لنقل البيانات من موقع التقسيم المرحلي إلى Azure Synapse Analytics، من المستحسن التأكد من تكوين جميع الأذونات المطلوبة مسبقا داخل Azure Synapse Analytics.

إشعار

نستخدم دائما آخر تكوين منشور عند بدء تشغيل التقاط بيانات التغيير. لتشغيل CDCs، أثناء معالجة بياناتك، ستتم محاسبتك على 4 v-cores من تدفقات بيانات الأغراض العامة.

المحتوى ذو الصلة