مشاركة عبر

منهجية نجاح تنفيذ Synapse: تقييم تصميم تكامل البيانات

إشعار

تمثل هذه المقالة جزءا من نجاح تنفيذ Azure Synapse بواسطة تصميم سلسلة من المقالات. لإلقاء نظرة عامة على السلسلة، راجعنجاح تنفيذ Azure Synapse بواسطة التصميم.

يحتوي Azure Synapse Analytics على نفس محرك تكامل البيانات والتجارب مثل Azure Data Factory (ADF)، مما يسمح لك بإنشاء مسارات تدفق « استخراج وتحويل وتحميل البيانات» غنية على نطاق واسع دون مغادرة Azure Synapse Analytics.

تُظهر الصورة مكونات Azure Synapse، مع تمييز مكون تكامل البيانات.

توضح هذه المقالة كيفية تقييم تصميم مكونات تكامل البيانات لمشروعك. على وجه التحديد، يساعدك على تحديد ما إذا كانت مسارات Azure Synapse هي الأنسب لمتطلبات تكامل البيانات الخاصة بك. يمكن أن يساعد الوقت المستثمر في تقييم التصميم قبل تطوير الحل في القضاء على تغييرات التصميم غير المتوقعة التي قد تؤثر على المخطط الزمني للمشروع أو التكلفة.

تحليل الثغرات المناسبة

يجب إجراء تحليل شامل للفجوة المناسبة لاستراتيجية تكامل البيانات الخاصة بك. إذا اخترت مسارات Azure Synapse كأداة تكامل البيانات، فراجع النقاط التالية للتأكد من أنها الأنسب لمتطلبات تكامل البيانات وتنسيقها. حتى إذا اخترت أدوات تكامل بيانات مختلفة، فلا يزال يتعين عليك مراجعة النقاط التالية للتحقق من أن جميع نقاط التصميم الرئيسية قد تم أخذها في الاعتبار وأن الأداة التي اخترتها ستدعم احتياجات الحل الخاصة بك. يجب أن يتم تسجيل هذه المعلومات أثناء التقييم الذي أجريته سابقًا في هذه المنهجية.

  • مراجعة مصادر البيانات والوجهات (الأهداف):
  • راجع نقاط التشغيل الخاصة بتكامل البيانات والتكرار:
    • تدعم مسارات Azure Synapse الجدول الزمني ونافذة التدوير ومشغلات أحداث التخزين.
    • تحقق من الحد الأدنى للفاصل الزمني للتكرار وأحداث التخزين المدعومة مقابل متطلباتك.
  • راجع الأوضاع المطلوبة لدمج البيانات:
  • راجع تصميم الحساب:
    • هل تحتاج الحوسبة المطلوبة للبنية الأساسية لبرنامج ربط العمليات التجارية إلى أن تكون بلا خادم أو توفير؟
    • تدعم مسارات Azure Synapse كلا وضعي وقت تشغيل التكامل (IR): بلا خادم أو مستضاف ذاتيًا على جهاز Windows.
    • تحقق من صحة المنافذ وجدران الحماية وإعداد الوكيل عند استخدام وقت تشغيل التكامل المستضاف ذاتيًا (المقدم).
  • راجع متطلبات الأمان والشبكات وتكوين جدار الحماية للبيئة وقارنها بتصميم تكوين الأمان والشبكات وجدار الحماية:
    • راجع كيفية تأمين مصادر البيانات وشبكتها.
    • راجع كيفية تأمين مخازن البيانات الهدف وشبكتها. تحتوي مسارات Azure Synapse على استراتيجيات مختلفة للوصول إلى البيانات توفر طريقة آمنة لتوصيل مخازن البيانات عبر نقاط النهاية الخاصة أو الشبكات الظاهرية.
    • استخدم Azure Key Vault لتخزين بيانات الاعتماد كلما كان ذلك ممكنًا.
    • استخدم ADF لتشفير المفتاح المدار من قبل العميل (CMK) لبيانات الاعتماد وتخزينها في وقت تشغيل التكامل المستضاف ذاتيًا.
  • راجع التصميم للمراقبة المستمرة لجميع مكونات تكامل البيانات.

اعتبارات العمارة

أثناء مراجعة تصميم تكامل البيانات، ضع في اعتبارك التوصيات والإرشادات التالية للتأكد من أن مكونات تكامل البيانات للحل الخاص بك ستوفر التميز التشغيلي المستمر وكفاءة الأداء والموثوقية والأمان.

التميز التشغيلي

للتميز التشغيلي، قم بتقييم النقاط التالية.

  • البيئة: عند تخطيط بيئاتك، قم بفصلها عن طريق التطوير/الاختبار، واختبار قبول المستخدم (UAT)، والإنتاج. استخدم الخيارات التنظيمية للمجلد لتنظيم المسارات ومجموعات البيانات حسب مهام الأعمال/ETL لدعم إمكانية الصيانة بشكل أفضل. استخدم التعليقات التوضيحية لوضع علامة على المسارات الخاصة بك حتى تتمكن من مراقبتها بسهولة. إنشاء مسارات قابلة لإعادة الاستخدام باستخدام المعلمات والتكرار والأنشطة الشرطية.
  • المراقبة والتنبيه: تتضمن مساحات عمل Synapse مركز المراقبة، الذي يحتوي على معلومات مراقبة غنية لكل تشغيل للبنية الأساسية لبرنامج ربط العمليات التجارية. كما أنه يتكامل مع Log Analytics لمزيد من تحليل السجل والتنبيه. يجب عليك تنفيذ هذه الميزات لتوفير إعلامات خطأ استباقية. أيضًا، استخدم مسارات Upon Failure لتنفيذ معالجة الأخطاء المخصصة.
  • النشر والاختبار التلقائي: يتم تضمين مسارات Azure Synapse في مساحة عمل Synapse، حتى تتمكن من الاستفادة من أتمتة مساحة العمل ونشرها. استخدم قوالب ARM لتقليل الأنشطة اليدوية عند إنشاء مساحات عمل Synapse. أيضًا، قم بدمج مساحات عمل Synapse مع Azure DevOps لإنشاء إصدار التعليمات البرمجية وأتمتة النشر.

كفاءة الأداء

لكفاءة الأداء، قم بتقييم النقاط التالية.

  • اتبع إرشادات الأداء وميزات التحسين عند العمل مع نشاط النسخ.
  • اختر الموصلات المحسنة لنقل البيانات بدلاً من الموصلات العامة. على سبيل المثال، استخدم PolyBase بدلاً من الإدراج المجمع عند نقل البيانات من Azure Data Lake Storage Gen2 (ALDS Gen2) إلى تجمع SQL مخصص.
  • عند إنشاء وقت تشغيل تكامل Azure جديد، قم بتعيين موقع المنطقة كحل تلقائي أو حدد نفس المنطقة مثل مخازن البيانات.
  • بالنسبة إلى وقت تشغيل التكامل المستضاف ذاتيًا، اختر حجم جهاز Azure الظاهري استنادًا إلى متطلبات التكامل.
  • اختر اتصال شبكة ثابت، مثل Azure ExpressRoute، لعرض النطاق الترددي السريع والمتناسق.

الموثوقيه

عند تنفيذ البنية الأساسية لبرنامج ربط العمليات التجارية باستخدام وقت تشغيل تكامل Azure، يكون بلا خادم بطبيعته، وبالتالي فهو يوفر المرونة الجاهزة. هناك القليل للعملاء لإدارته. ومع ذلك، عند تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية في وقت تشغيل التكامل المستضاف ذاتيًا، نوصي بتشغيله باستخدام تكوين قابلية وصول عالية في أجهزة Azure الظاهرية. يضمن هذا التكوين عدم قطع مسارات التكامل حتى عندما يكون الجهاز الظاهري غير متصل. نوصي أيضًا باستخدام Azure ExpressRoute لاتصال شبكة سريع وموثوق به بين الموقع المحلي وAzure.

الأمان

النظام الأساسي للبيانات الآمنة هو أحد المتطلبات الرئيسية لكل مؤسسة. يجب أن تخطط بدقة للأمان للنظام الأساسي بأكمله بدلاً من المكونات الفردية. فيما يلي بعض إرشادات الأمان لحلول البنية الأساسية لبرنامج ربط العمليات التجارية لـ Azure Synapse.

الخطوات التالية

في المقالة التاليةفي نجاح Azure Synapse من خلال سلسلة التصميم، تعلم طريقة تقييم تصميم أداة تجمع SQL المخصص لتحديد المشكلات والتحقق من اتباعها للإرشادات والمتطلبات.

  • Last updated on