الموثوقية في Azure Data Factory

يمكنك Azure Data Factory من إنشاء مسارات بيانات مرنة وقوية لتكامل البيانات بلا خادم وتحويل البيانات. كخدمة Azure، يوفر Data Factory مجموعة من الإمكانات لدعم متطلبات الموثوقية الخاصة بك.

عند استخدام Azure، تعد الموثوقية مسؤولية مشتركة. توفر Microsoft مجموعة من الإمكانات لدعم المرونة والاسترداد. أنت مسؤول عن فهم كيفية عمل هذه الإمكانات في جميع الخدمات التي تستخدمها، وتحديد الإمكانات التي تحتاجها لتحقيق أهداف عملك وأهداف وقت التشغيل.

توضح هذه المقالة كيفية جعل Data Factory مرنا لمجموعة متنوعة من الانقطاعات والمشاكل المحتملة، بما في ذلك الأعطال العابرة وانقطاع منطقة التوفر وانقطاع التيار الكهربائي في المنطقة. كما يصف كيفية استخدام النسخ الاحتياطية للتعافي من أنواع أخرى من المشكلات، ويسلط الضوء على بعض المعلومات الأساسية حول اتفاقية مستوى خدمة Data Factory (SLA).

إشعار

عندما تفكر في موثوقية مصنع البيانات الخاص بك، تحتاج أيضا إلى مراعاة موثوقية مخازن البيانات التي يتصل بها. قد يكون لتحسين مرونة مصنع البيانات وحده تأثير محدود إذا لم تكن مخازن البيانات مرنة بنفس القدر. اعتمادا على متطلبات المرونة الخاصة بك، قد تحتاج إلى إجراء تغييرات في التكوين عبر مناطق متعددة. للمساعدة في التأكد من أن مخازن البيانات تفي بمتطلبات استمرارية الأعمال الخاصة بك، راجع وثائق وإرشادات موثوقية المنتج الخاصة بها.

نظرة عامة على بنية الموثوقية

يتكون Data Factory من مكونات بنية أساسية متعددة. يدعم كل مكون موثوقية البنية الأساسية بطرق مختلفة.

تتضمن مكونات Data Factory ما يلي:

• خدمة Data Factory الأساسية، التي تدير مشغلات البنية الأساسية لبرنامج ربط العمليات التجارية وتشرف على تنسيق أنشطة البنية الأساسية لبرنامج ربط العمليات التجارية. تدير الخدمة الأساسية أيضا بيانات التعريف لكل مكون في مصنع البيانات. تدير Microsoft الخدمة الأساسية.

• أوقات تشغيل التكامل (IRs)، التي تتصل بمخازن البيانات وتؤدي الأنشطة المحددة في البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك. هناك أنواع مختلفة من IRs.

  • IRs المدارة من قبل Microsoft، والتي تتضمن وقت تشغيل التكامل Azure وخدمات تكامل خادم Azure-SQL (Azure-SSIS) وقت تشغيل التكامل. تدير Microsoft المكونات التي تشكل أوقات التشغيل هذه. في بعض السيناريوهات، يمكنك تكوين الإعدادات التي تؤثر على مرونة IRs.

  • أوقات تشغيل التكامل المستضاف ذاتيا (SHIRs). توفر Microsoft البرامج التي يمكنك تشغيلها على البنية الأساسية للحساب الخاصة بك لتنفيذ بعض أجزاء مسارات Data Factory. أنت مسؤول عن نشر موارد الحوسبة وإدارتها، وعن مرونة موارد الحوسبة هذه.

المرونة في مواجهة الأعطال العابرة

الأخطاء العابرة هي حالات فشل قصيرة متقطعة في المكونات. تحدث بشكل متكرر في بيئة موزعة مثل السحابة، وهي جزء طبيعي من العمليات. الأخطاء العابرة تصحح نفسها بعد فترة زمنية قصيرة. من المهم أن تتمكن تطبيقاتك من معالجة الأخطاء العابرة، عادة عن طريق إعادة محاولة الطلبات المتأثرة.

يجب أن تتبع جميع التطبيقات المستضافة على السحابة إرشادات معالجة الأخطاء العابرة ل Azure عند الاتصال بأي واجهات برمجة تطبيقات وقواعد بيانات ومكونات أخرى مستضافة على السحابة. لمزيد من المعلومات، راجع توصيات للتعامل مع الأخطاء العابرة.

عند استخدام Data Factory، من المهم الاستعداد للأخطاء العابرة، خاصة عند تصميم البنية الأساسية لبرنامج ربط العمليات التجارية والأنشطة.

التكرار

يجب أن تكون أنشطة البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك متكررة، ما يعني أنه يمكن إعادة تشغيلها عدة مرات دون التسبب في أي تأثيرات سلبية. إذا حدث خطأ عابر مثل فشل الشبكة أو انقطاع منطقة التوفر، فقد يقوم Data Factory بإعادة تشغيل أنشطة البنية الأساسية لبرنامج ربط العمليات التجارية. يمكن لإعادة التشغيل هذه إنشاء سجلات مكررة.

لمنع إدراج سجل مكرر بسبب خطأ عابر، نفذ أفضل الممارسات التالية:

• استخدم معرفات فريدة لكل سجل قبل الكتابة إلى قاعدة البيانات. يمكن أن يساعدك هذا الأسلوب في العثور على السجلات المكررة والقضاء عليها.

• استخدم استراتيجية upsert للموصلات التي تدعم upsert. قبل حدوث إدراج سجل مكرر، استخدم هذا الأسلوب للتحقق مما إذا كان السجل موجودا بالفعل. إذا كان موجودا، فقم بتحديثه. إذا لم يكن موجودا، فدرجه. على سبيل المثال، أوامر SQL مثل MERGE أو ON DUPLICATE KEY UPDATE استخدام نهج upsert هذا.

• استخدم استراتيجيات إجراء النسخ. لمزيد من المعلومات، راجع التحقق من تناسق البيانات في نشاط النسخ.

نهُج إعادة المحاولة

يمكنك استخدام نهج إعادة المحاولة لتكوين أجزاء من البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك لإعادة المحاولة إذا كانت هناك مشكلة، مثل الأخطاء العابرة في الموارد المتصلة. في Data Factory، يمكنك تكوين نهج إعادة المحاولة على أنواع عناصر البنية الأساسية لبرنامج ربط العمليات التجارية التالية:

• مشغلات النافذة الهابطة
• أنشطة التنفيذ

لمزيد من المعلومات حول كيفية تغيير نهج إعادة المحاولة أو تعطيلها لمشغلات وأنشطة مصنع البيانات، راجع تشغيل البنية الأساسية لبرنامج ربط العمليات التجارية والمشغلات.

المرونة في مواجهة حالات فشل منطقة التوفر

مناطق التوفر هي مجموعات منفصلة فعليا من مراكز البيانات داخل منطقة Azure. عند فشل منطقة واحدة، يمكن أن تفشل الخدمات إلى إحدى المناطق المتبقية.

يدعم Data Factory تكرار المنطقة، مما يوفر مرونة لحالات الفشل في مناطق التوفر.

يدعم كل جزء من Data Factory تكرار المنطقة:

• الخدمة الأساسية: تدير Microsoft المكونات في خدمة Data Factory الأساسية وتنشرها عبر مناطق التوفر.

  ومع ذلك، بعد فشل المنطقة، لا تضمن Microsoft حالة مشغلات النوافذ المتدفقة.

• مصلحه الضرائب: يعتمد دعم التكرار في المنطقة على نوع وقت تشغيل التكامل الذي تستخدمه.

  • يدعم وقت تشغيل تكامل Azure التكرار في المنطقة، وتدير Microsoft هذه الإمكانية.

    

  • يتطلب وقت تشغيل التكامل Azure-SSIS نشر عقدتين على الأقل. يتم تخصيص هذه العقد في مناطق توفر مختلفة تلقائيا.

    يوضح الرسم التخطيطي التالي مسار متكرر للمنطقة ووقت تشغيل تكامل Azure-SSIS مع عقدتين يتم نشرهما في مناطق مختلفة:

    

  • يمنحك SHIR مسؤولية نشر البنية الأساسية للحوسبة لاستضافة وقت التشغيل. يمكنك نشر عقد متعددة، مثل الأجهزة الظاهرية الفردية (VMs)، وتكوينها لقابلية وصول عالية. يمكنك بعد ذلك توزيع هذه العقد عبر مناطق توفر متعددة. لمزيد من المعلومات، راجع قابلية الوصول العالية وقابلية التوسع.

Requirements

يمكن نشر موارد Data Factory المكررة في المنطقة في أي منطقة تدعم مناطق التوفر.

التكلفة

• الخدمة الأساسية: لا تنطبق أي تكلفة إضافية على تكرار المنطقة.

• مصلحه الضرائب: تختلف تكلفة تكرار المنطقة اعتمادا على نوع وقت تشغيل التكامل الذي تستخدمه.

  • يتضمن وقت تشغيل تكامل Azure تكرار المنطقة دون أي تكلفة إضافية.

  • يتطلب وقت تشغيل التكامل Azure-SSIS نشر عقدتين على الأقل لتحقيق التكرار في المنطقة. لمزيد من المعلومات حول كيفية فوترة كل عقدة، راجع مثال التسعير: تشغيل حزم SSIS على وقت تشغيل التكامل Azure-SSIS.

  • يتطلب منك SHIR نشر البنية الأساسية للحوسبة وإدارتها. لتحقيق مرونة المنطقة، تحتاج إلى نشر موارد الحوسبة عبر مناطق متعددة. اعتمادا على عدد العقد التي تقوم بنشرها وكيفية تكوينها، قد تتحمل تكاليف إضافية من خدمات الحوسبة الأساسية والخدمات الداعمة الأخرى. لا توجد رسوم إضافية لتشغيل SHIR على عقد متعددة.

تكوين دعم منطقة التوفر

• الخدمة الأساسية: لا يوجد تكوين مطلوب. تدعم الخدمة الأساسية Data Factory تلقائيا تكرار المنطقة.

• مصلحه الضرائب:

  • وقت تشغيل تكامل Azure: لا يوجد تكوين مطلوب. يتيح وقت تشغيل تكامل Azure تكرار المنطقة تلقائيا.

  • وقت تشغيل التكامل Azure-SSIS: لا يوجد تكوين مطلوب. يتيح وقت تشغيل التكامل Azure-SSIS تكرار المنطقة تلقائيا عند نشره مع عقدتين أو أكثر.

  • يتطلب منك SHIR تكوين المرونة الخاصة بك، والتي تتضمن نشر العقد الخاصة بك عبر مناطق توفر متعددة.

تخطيط القدرات وإدارتها

• الخدمة الأساسية: يتم تغيير حجم الخدمة الأساسية ل Data Factory تلقائيا بناء على الطلب، ولا تحتاج إلى تخطيط السعة أو إدارتها.

• مصلحه الضرائب:

  • يتوسع وقت تشغيل تكامل Azure تلقائيا بناء على الطلب، ولا تحتاج إلى تخطيط السعة أو إدارتها.

  • يتطلب وقت تشغيل التكامل Azure-SSIS تكوين عدد العقد التي تستخدمها على وجه التحديد. للتحضير لفشل منطقة التوفر، ضع في اعتبارك الإفراط في توفير سعة وقت تشغيل التكامل الخاص بك. يسمح الإفراط في التوفير للحل بالتسامح مع درجة ما من فقدان السعة والاستمرار في العمل دون انخفاض الأداء. لمزيد من المعلومات، راجع إدارة السعة عن طريق الإفراط في التوفير.

  • يتطلب منك SHIR تكوين السعة والتحجيم الخاصين بك. ضع في اعتبارك الإفراط في التوفير عند نشر SHIR.

السلوك عندما تكون جميع المناطق صحية

يصف هذا القسم ما يمكن توقعه عند تكوين موارد Data Factory لتكرار المنطقة وتشغيل جميع مناطق التوفر.

• توجيه نسبة استخدام الشبكة بين المناطق: أثناء العمليات العادية، يقوم Data Factory تلقائيا بتوزيع أنشطة البنية الأساسية لبرنامج ربط العمليات التجارية والمشغلات والعمل الآخر بين المثيلات السليمة في كل منطقة توفر.

• النسخ المتماثل للبيانات بين المناطق: بشكل عام، Data Factory هي خدمة عديمة الحالة، لذلك لا تحتاج إلى نسخ الحالة المتماثل بين المناطق.

  ومع ذلك، تحتوي مشغلات النافذة المتدفقة على الحالة، والتي قد لا يتم نسخها بالكامل بين المناطق.

السلوك أثناء فشل المنطقة

يصف هذا القسم ما يمكن توقعه عند تكوين موارد Data Factory لتكرار المنطقة وهناك انقطاع في منطقة التوفر.

• الكشف والاستجابة: النظام الأساسي Data Factory مسؤول عن الكشف عن فشل في منطقة توفر والاستجابة. لا تحتاج إلى القيام بأي شيء لبدء تجاوز فشل المنطقة في البنية الأساسية لبرنامج ربط العمليات التجارية أو المكونات الأخرى.

• الإعلام: لا تقوم Microsoft بإعلامك تلقائيا عندما تكون المنطقة معطلة. ومع ذلك، يمكنك استخدام Azure Resource Health لمراقبة صحة كل مورد على حدة، ويمكنك إعداد تنبيهات Resource Health لإبلاغك بالمشاكل. يمكنك أيضا استخدام Azure Service Health لفهم الصحة العامة للخدمة، بما في ذلك أي أعطال في المناطق، ويمكنك إعداد تنبيهات صحة الخدمة لإبلاغك بالمشاكل.

• الطلبات النشطة: يستمر تشغيل أي مسارات ومشغلات قيد التقدم، ولا تواجه أي تعطيل فوري من فشل المنطقة. ومع ذلك، قد تفشل الأنشطة قيد التقدم أثناء فشل المنطقة ويتم إعادة تشغيلها. من المهم تصميم الأنشطة لتكون غير فعالة، ما يساعدها على التعافي من حالات فشل المنطقة وغيرها من الأخطاء. لمزيد من المعلومات، راجع المرونة في مواجهة الأخطاء العابرة.

• التوقف عن العمل المتوقع: لا يتوقع حدوث تعطل أثناء فشل المنطقة.

• فقدان البيانات المتوقع: بشكل عام، تعد Data Factory خدمة عديمة الحالة، لذلك لا يتوقع فقدان البيانات أثناء فشل المنطقة.

  ومع ذلك، إذا كنت تستخدم مشغل نافذة متدحرجة، فقد تفقد حالة المشغل بعد فشل المنطقة. يجب إعادة تشغيل أو إعادة تشغيل أي مشغلات كانت قيد التشغيل في وقت فشل المنطقة.

استعادة المنطقة

عند استرداد منطقة التوفر، يفشل Data Factory تلقائيا في العودة إلى المنطقة الأصلية. لا تحتاج إلى القيام بأي شيء لبدء إعادة فشل المنطقة في البنية الأساسية لبرنامج ربط العمليات التجارية أو المكونات الأخرى.

ومع ذلك، إذا كنت تستخدم SHIR، فقد تحتاج إلى إعادة تشغيل موارد الحوسبة إذا تم إيقافها.

اختبار فشل المنطقة

بالنسبة للخدمة الأساسية، وبالنسبة إلى Azure و IRs Azure-SSIS، يدير Data Factory توجيه نسبة استخدام الشبكة وتجاوز الفشل وإرجاع الموارد المكررة في المنطقة. نظرا لإدارة هذه الميزة بالكامل، لا تحتاج إلى بدء عمليات فشل منطقة التوفر أو التحقق من صحتها.

بالنسبة ل SHIRs، يمكنك استخدام Azure Chaos Studio لمحاكاة فشل منطقة التوفر على جهاز Azure الظاهري.

القدرة على الصمود في وجه الإخفاقات على مستوى المنطقة

يتم نشر موارد Data Factory في منطقة Azure واحدة. إذا أصبحت المنطقة غير متوفرة، فإن مصنع البيانات الخاص بك غير متوفر أيضا. ومع ذلك، هناك نهج يمكنك استخدامها للمساعدة في ضمان المرونة في انقطاع التيار الكهربائي في المنطقة. تعتمد هذه الأساليب على ما إذا كان مصنع البيانات في منطقة مقترنة أو غير مدفوعة، وعلى متطلباتك وتكوينك المحدد.

تجاوز الفشل المدار من قبل Microsoft إلى منطقة مقترنة

يدعم Data Factory تجاوز الفشل الذي تديره Microsoft لمصانع البيانات في المناطق المقترنة، باستثناء جنوب البرازيل وجنوب شرق آسيا. في حالة فشل المنطقة لفترة طويلة، قد تبدأ Microsoft في تجاوز الفشل الإقليمي لمثيل Data Factory الخاص بك.

بسبب متطلبات موقع البيانات في جنوب البرازيل وجنوب شرق آسيا، يتم تخزين بيانات Data Factory فقط في المنطقة المحلية باستخدام التخزين المتكرر لمنطقة تخزين Azure. بالنسبة إلى جنوب شرق آسيا، يتم تخزين جميع البيانات في سنغافورة. بالنسبة لجنوب البرازيل، يتم تخزين جميع البيانات في البرازيل.

بالنسبة لمصانع البيانات في المناطق غير المدفوعة، أو في جنوب البرازيل أو جنوب شرق آسيا، لا تقوم Microsoft بتجاوز الفشل الإقليمي نيابة عنك.

هام

تقوم Microsoft بتشغيل تجاوز الفشل المدار من قبل Microsoft. من المحتمل أن يحدث بعد تأخير كبير ويتم على أساس أفضل جهد. هناك أيضا بعض الاستثناءات لهذه العملية. قد تواجه بعض فقدان بيانات تعريف مصنع البيانات. قد يحدث تجاوز فشل موارد Data Factory في وقت يختلف عن وقت تجاوز الفشل لخدمات Azure الأخرى.

إذا كنت بحاجة إلى التحلي بالمرونة في مواجهة انقطاع التيار الكهربائي في المنطقة، ففكر في استخدام أحد الحلول المخصصة متعددة المناطق للمرونة.

تجاوز الفشل ل IRs

للتحضير لتجاوز الفشل، قد تكون هناك بعض الاعتبارات الإضافية، اعتمادا على وقت تشغيل التكامل الذي تستخدمه.

• يمكنك تكوين وقت تشغيل تكامل Azure لحل المنطقة التي يستخدمها تلقائيا. إذا تم تعيين المنطقة إلى حل تلقائي وكان هناك انقطاع في المنطقة الأساسية، يفشل وقت تشغيل تكامل Azure تلقائيا في المنطقة المقترنة. يخضع تجاوز الفشل هذا للقيود. لتكوين منطقة وقت تشغيل التكامل Azure لتنفيذ نشاطك أو إرساله في إعداد وقت تشغيل التكامل، قم بتعيين المنطقة إلى الحل التلقائي.

• Azure-SSIS تتم إدارة تجاوز فشل وقت تشغيل التكامل بشكل منفصل عن تجاوز الفشل المدار من قبل Microsoft لمصنع البيانات. لمزيد من المعلومات، راجع الحلول المخصصة متعددة المناطق للمرونة.

• يتم تشغيل SHIR على البنية الأساسية التي تتحمل مسؤوليتها، لذلك لا ينطبق تجاوز الفشل المدار من Microsoft على SHIRs. لمزيد من المعلومات، راجع الحلول المخصصة متعددة المناطق للمرونة.

إعادة تكوين ما بعد تجاوز الفشل

بعد اكتمال تجاوز الفشل المدار من قبل Microsoft، يمكنك الوصول إلى مسار Data Factory في المنطقة المقترنة. ومع ذلك، بعد اكتمال تجاوز الفشل، قد تحتاج إلى إجراء بعض إعادة التكوين ل IRs أو مكونات أخرى. تتضمن هذه العملية إعادة إنشاء تكوين الشبكة.

حلول مخصصة متعددة المناطق للمرونة

إذا كنت بحاجة إلى أن تكون البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك مرنة في مواجهة الانقطاعات الإقليمية وتحتاج إلى التحكم في عملية تجاوز الفشل، ففكر في استخدام البنية الأساسية لبرنامج ربط العمليات التجارية المستندة إلى بيانات التعريف.

• إعداد التحكم بالمصادر ل Data Factory لتعقب أي تغييرات على بيانات التعريف وتدقيدها. يمكنك استخدام هذا الأسلوب للوصول إلى ملفات JSON لبيانات التعريف الخاصة بك للبنية الأساسية لبرنامج ربط العمليات التجارية ومجموعات البيانات والخدمات المرتبطة والمشغلات. يدعم Data Factory أنواع مستودع Git المختلفة، مثل Azure DevOps وGitHub. لمزيد من المعلومات، راجع التحكم بالمصادر في Data Factory.

• استخدم نظام التكامل المستمر والتسليم المستمر (CI/CD)، مثل Azure DevOps، لإدارة بيانات تعريف البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك وتوزيعها. يمكنك استخدام CI/CD لاستعادة العمليات بسرعة إلى مثيل في منطقة أخرى. إذا كانت المنطقة غير متوفرة، يمكنك توفير مصنع بيانات جديد يدويا أو من خلال الأتمتة. بعد إنشاء مصنع البيانات الجديد، يمكنك استعادة المسارات ومجموعات البيانات والخدمات المرتبطة JSON من مستودع Git الحالي. لمزيد من المعلومات، راجع استمرارية الأعمال والتعافي من الكوارث (BCDR) لمصنع البيانات وخطوط أنابيب Azure Synapse Analytics.

اعتمادا على وقت تشغيل التكامل الذي تستخدمه، قد تكون هناك اعتبارات أخرى.

• يستخدم وقت تشغيل التكامل Azure-SSIS قاعدة بيانات مخزنة في قاعدة بيانات Azure SQL أو مثيل Azure SQL المدار. يمكنك تكوين النسخ المتماثل الجغرافي أو مجموعة تجاوز الفشل لقاعدة البيانات هذه. توجد قاعدة بيانات Azure-SSIS في منطقة Azure أساسية لديها حق الوصول للقراءة والكتابة. يتم نسخ قاعدة البيانات باستمرار إلى منطقة ثانوية لديها حق الوصول للقراءة فقط. إذا كانت المنطقة الأساسية غير متوفرة، يتم تشغيل تجاوز الفشل، ما يؤدي إلى تبديل الأدوار لقواعد البيانات الأساسية والثانوية.

  يمكنك أيضا تكوين زوج وقت تشغيل تكامل Azure SSIS ثنائي الاستعداد يعمل بشكل متزامن مع قاعدة بيانات Azure SQL أو مجموعة تجاوز فشل مثيل SQL المدار.

  لمزيد من المعلومات، راجع تكوين وقت تشغيل التكامل Azure-SSIS ل BCDR.

• يعمل SHIR على البنية الأساسية التي تديرها. إذا تم نشر SHIR إلى Azure VM، يمكنك استخدام Azure Site Recovery لتشغيل تجاوز فشل الجهاز الظاهري إلى منطقة أخرى.

النسخ الاحتياطي والاستعادة

يدعم Data Factory CI/CD من خلال تكامل التحكم بالمصادر، بحيث يمكنك نسخ بيانات التعريف لمثيل مصنع البيانات احتياطيا. تنشر مسارات CI/CD بيانات التعريف هذه بسلاسة في بيئة جديدة. لمزيد من المعلومات، راجع CI/CD في Data Factory.

اتفاقية مستوى الخدمة

تصف اتفاقية مستوى الخدمة (SLA) لخدمات Azure التوفر المتوقع لكل خدمة والشروط التي يجب أن يفي بها الحل الخاص بك لتحقيق توقع التوفر هذا. لمزيد من المعلومات، راجع اتفاقيات مستوى الخدمة للخدمات عبر الإنترنت.

يوفر Data Factory اتفاقيات مستوى خدمة منفصلة للتوفر من أجل:

• معدل نجاح استدعاءات واجهة برمجة التطبيقات التي تجريها ، مثل تلك الخاصة بإدارة مصنع البيانات الخاص بك.
• عدد عمليات تشغيل النشاط التي تبدأ في التنفيذ.

يسمح بتأخير عمليات تشغيل النشاط لفترة وجيزة، وتتطلب استيفاء جميع التبعيات لتنفيذ المهمة.

المحتوى ذو الصلة

• الموثوقية في Azure