فهم Azure Data Factory
تعد الحاجة إلى تشغيل حركة دفعة البيانات، أو إعداد جدول زمني متطلبًا قياسيًا لمعظم حلول التحليلات. Azure Data Factory (ADF) عبارة عن الخدمة التي يمكن استخدامها للوفاء بمثل هذا المتطلب. يوفر ADF خدمة تكامل البيانات المستندة إلى السحابة التي تنظم حركة البيانات وتحويلها بين مختلف مخازن البيانات وموارد الحساب.
Azure Data Factory عبارة عن خدمة تكامل البيانات والبيانات المستندة إلى السحابة، والتي تسمح لك بإنشاء سير عمل قائم على البيانات لتنظيم حركة البيانات وتحويل البيانات على نطاق واسع. باستخدام Azure Data Factory، يمكنك إنشاء تدفقات سير عمل تعتمد على البيانات وجدولتها (تسمى المسارات) يمكنها استيعاب البيانات من مخازن البيانات المختلفة. يمكنك إنشاء عمليات ETL معقدة تحول البيانات بصريًا مع تدفق البيانات أو باستخدام خدمات الحساب مثل Azure HDInsight Hadoop، وAzure Databricks، وAzure Synapse Analytics.
يظهر الكثير من وظائف Azure Data Factory في Azure Synapse Analytics كميزة يشار إليها باسم المسارات، والتي تمكنك من دمج مسارات البيانات بين SQL Pools، وPools Spark، وSQL Serverless، ما يوفر منفذًا موحدًا لجميع احتياجاتك التحليلية.
ما المقصود بالتنظيم
لاستخدام قياس على ذلك، فكّر في الأوركسترا السيمفونية. العضو المركزي في الأوركسترا هو قائد الأوركسترا. قائد الأوركسترا لا يعزف على الآلات، بل يقود أعضاء السيمفونية من خلال كامل المقطوعة الموسيقية التي يؤديها. يستخدم الموسيقيون مهاراتهم الخاصة لإنتاج أصوات معينة في مراحل مختلفة من السيمفونية، لذلك قد يتعلمون فقط أجزاء معينة من الموسيقى. قائد الأوركسترا ينظّم كامل المقطوعة الموسيقية، ومن ثم يدرك النتيجة بأكملها التي يتم تنفيذها. كما أنه سوف يستخدم حركات الذراع المحددة التي توفر تعليمات للموسيقيين حول كيفية عزف مقطوعة موسيقية.
يمكن أن يستخدم ADF أسلوبًا مشابهًا، إلا أنه لديه وظائف أصلية لاستيعاب البيانات وتحويلها، وفي بعض الأحيان سوف يرشد خدمة أخرى لتنفيذ العمل الفعلي المطلوب نيابة عنه، مثل Databricks لتنفيذ استعلام تحويل. لذا، في هذه الحالة، سيكون Databricks هو الذي ينفذ العمل، وليس ADF. ADF فقط ينظّم تنفيذ الاستعلام، ثمّ يوفر المسارات لنقل البيانات إلى الخطوة التالية أو الوجهة.
كما يوفر أيضًا تصوّرات غنية لعرض النسب والتبعيات بين مسارات البيانات، ومراقبة جميع مسارات البيانات الخاصة بك من طريقة عرض موحدة واحدة لتحديد المشكلات بسهولة وتنبيهات مراقبة الإعداد.
