مشاركة عبر

كيفية استيعاب البيانات باستخدام Azure Data Factory في Azure Cosmos DB ل PostgreSQL

  • مقالة

ينطبق على: Azure Cosmos DB ل PostgreSQL (مدعوم بملحق قاعدة بيانات Citus إلى PostgreSQL)

Azure Data Factory هي خدمة تكامل البيانات وETL المستندة إلى السحابة. يسمح لك بإنشاء مهام سير عمل تعتمد على البيانات لنقل البيانات وتحويلها على نطاق واسع.

باستخدام Data Factory، يمكنك إنشاء وجدولة مهام سير العمل المستندة إلى البيانات (تسمى المسارات) التي استيعاب البيانات من مخازن البيانات المتباينة. يمكن تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية محليا، في Azure، أو على موفري السحابة الآخرين للتحليات وإعداد التقارير.

يحتوي Data Factory على مصدر بيانات ل Azure Cosmos DB ل PostgreSQL. يسمح لك مصدر البيانات بإحضار بياناتك (علائقية، NoSQL، ملفات مستودع البيانات) إلى Azure Cosmos DB لجداول PostgreSQL للتخزين والمعالجة وإعداد التقارير.

Dataflow diagram for Azure Data Factory.

هام

لا يدعم Data Factory نقاط النهاية الخاصة ل Azure Cosmos DB ل PostgreSQL في الوقت الحالي.

مصنع البيانات لاستيعاب في الوقت الحقيقي

فيما يلي الأسباب الرئيسية لاختيار Azure Data Factory لاستيعاب البيانات في Azure Cosmos DB ل PostgreSQL:

  • سهل الاستخدام - يوفر بيئة مرئية خالية من التعليمات البرمجية لتنسيق حركة البيانات وأتمتتها.
  • قوي - يستخدم السعة الكاملة للنطاق الترددي للشبكة الأساسية، ما يصل إلى 5 غيغابايت/ ثانية من معدل النقل.
  • الموصلات المضمنة - تدمج جميع مصادر البيانات الخاصة بك، مع أكثر من 90 موصلا مضمنا.
  • فعالة من حيث التكلفة - تدعم خدمة سحابية بدون خادم مدارة بالكامل للدفع أولا بأول والتي تتوسع حسب الطلب.

خطوات استخدام Data Factory

في هذه المقالة، يمكنك إنشاء مسار بيانات باستخدام واجهة مستخدم Data Factory (UI). ينسخ المسار في مصنع البيانات هذا البيانات من تخزين Azure Blob إلى قاعدة بيانات. للحصول على قائمة بمخازن البيانات المدعومة كمصادر ومتلقين، راجع جدول مخازن البيانات المدعومة.

في Data Factory، يمكنك استخدام نشاط النسخ لنسخ البيانات بين مخازن البيانات الموجودة في الموقع وفي السحابة إلى Azure Cosmos DB ل PostgreSQL. إذا كنت مستخدما جديدا لمصنع البيانات، فإليك دليل سريع حول كيفية البدء:

  1. بمجرد توفير Data Factory، انتقل إلى مصنع البيانات الخاص بك وابدأ تشغيل Azure Data Factory Studio. ترى الصفحة الرئيسية Data Factory كما هو موضح في الصورة التالية:

    لقطة شاشة تعرض الصفحة المقصودة من Azure Data Factory.

  2. في الصفحة الرئيسية ل Azure Data Factory Studio، حدد Orchestrate.

    لقطة شاشة تعرض صفحة

  3. ضمن Properties، أدخل اسما للبنية الأساسية لبرنامج ربط العمليات التجارية.

  4. في مربع أدوات الأنشطة، قم بتوسيع الفئة نقل وتحويل، واسحب نشاط نسخ البيانات وأفلته إلى سطح مصمم البنية الأساسية لبرنامج ربط العمليات التجارية. في أسفل جزء المصمم، في علامة التبويب عام ، أدخل اسما لنشاط النسخ.

    لقطة شاشة تعرض مسارا في Azure Data Factory.

  5. تكوين المصدر.

    1. في صفحة الأنشطة ، حدد علامة التبويب المصدر . حدد جديد لإنشاء مجموعة بيانات مصدر.

    2. في مربع الحوار New Dataset ، حدد Azure Blob Storage، ثم حدد Continue.

    3. اختر نوع تنسيق بياناتك، ثم حدد متابعة.

    4. في صفحة Set properties ، ضمن Linked service، حدد New.

    5. في صفحة خدمة مرتبطة جديدة، أدخل اسما للخدمة المرتبطة، وحدد حساب التخزين الخاص بك من قائمة اسم حساب التخزين.

      لقطة شاشة تعرض تكوين المصدر في Azure Data Factory.

    6. ضمن Test connection، حدد To file path، وأدخل الحاوية والدليل للاتصال به، ثم حدد Test connection.

    7. حدد Create لحفظ التكوين.

    8. في شاشة تعيين الخصائص ، حدد موافق.

  6. تكوين المتلقي.

    1. في صفحة Activities ، حدد علامة التبويب Sink . حدد New لإنشاء مجموعة بيانات متلقي.

    2. في المربع الحواري لمجموعة بيانات Azure الجديدة، حدد Azure Database لـPostgreSQL، ثم حدد متابعة.

    3. في صفحة Set properties ، ضمن Linked service، حدد New.

    4. في صفحة خدمة مرتبطة جديدة، أدخل اسما للخدمة المرتبطة، وحدد إدخال يدويا في طريقة تحديد الحساب.

    5. أدخل اسم منسق نظام المجموعة في حقل اسم المجال المؤهل بالكامل. يمكنك نسخ اسم المنسق من صفحة نظرة عامة على Azure Cosmos DB لنظام مجموعة PostgreSQL.

    6. اترك المنفذ الافتراضي 5432 في حقل المنفذ للاتصال المباشر بالمنسق أو استبدله بالمنفذ 6432 للاتصال بمنفذ PgBouncer المدار.

    7. أدخل اسم قاعدة البيانات على نظام المجموعة الخاص بك وقدم بيانات الاعتماد للاتصال بها.

    8. حدد SSL في القائمة المنسدلة لأسلوب التشفير.

      لقطة شاشة توضح تكوين Sink في Azure Data Factory.

    9. حدد Test connection في أسفل اللوحة للتحقق من صحة تكوين المتلقي.

    10. حدد Create لحفظ التكوين.

    11. في شاشة تعيين الخصائص ، حدد موافق.

    12. في علامة التبويب Sink في صفحة Activities ، حدد Open بجوار القائمة المنسدلة Sink dataset وحدد اسم الجدول على نظام المجموعة الوجهة حيث تريد استيعاب البيانات.

    13. ضمن أسلوب الكتابة، حدد الأمر نسخ.

    لقطة شاشة توضح تحديد الجدول والأمر

  7. من شريط الأدوات أعلى اللوحة، حدد تحقق للتحقق من صحة إعدادات المسار. إصلاح أي أخطاء وإعادة التحقق من صحة وتأكد من التحقق من صحة البنية الأساسية لبرنامج ربط العمليات التجارية بنجاح.

  8. حدد Debug من شريط الأدوات لتنفيذ البنية الأساسية لبرنامج ربط العمليات التجارية.

    لقطة شاشة تعرض تتبع الأخطاء والتنفيذ في Azure Data Factory.

  9. بمجرد تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية بنجاح، في شريط الأدوات العلوي، حدد Publish all. ينشر هذا الإجراء الكيانات (مجموعات البيانات والتدفقات) التي أنشأتها من خلال مصنع البيانات.

استدعاء إجراء مخزن في Data Factory

في بعض السيناريوهات المحددة، قد تحتاج إلى استدعاء إجراء/وظيفة مخزنة لدفع البيانات المجمعة من الجدول المرحلي إلى جدول الملخص. لا يقدم Data Factory نشاط إجراء مخزنا ل Azure Cosmos DB ل PostgreSQL، ولكن كحل بديل يمكنك استخدام نشاط البحث مع استعلام لاستدعاء إجراء مخزن كما هو موضح أدناه:

لقطة شاشة تعرض استدعاء إجراء في Azure Data Factory.

الخطوات التالية