تحرير

مشاركة عبر

النسخ المتماثل للبيانات المركزية ومزامنتها إلى Azure

Azure Data Factory
Azure Databricks

يوضح هذا المثال البنية خطة تنفيذ لنسخ البيانات ومزامنتها أثناء التحديث إلى Azure. يناقش الجوانب التقنية مثل مخازن البيانات والأدوات والخدمات.

بناء الأنظمة

رسم تخطيطي للبنية يوضح كيفية مزامنة البيانات المحلية وبيانات قواعد بيانات Azure أثناء تحديث الحاسوب الرئيسي.

قم بتنزيل ملف Visio لهذه البنية.

‏‏سير العمل‬

تقوم الأنظمة المركزية والوسطى بتحديث قواعد بيانات التطبيقات المحلية على فترات منتظمة. للحفاظ على الاتساق، يقوم الحل بمزامنة أحدث البيانات مع قواعد بيانات Azure. تتضمن عملية المزامنة الخطوات التالية:

  1. تنسق البنية الأساسية لبرنامج ربط العمليات التجارية الديناميكية ل Azure Data Factory الأنشطة التي تتراوح بين استخراج البيانات وتحميل البيانات. يمكنك جدولة أنشطة البنية الأساسية لبرنامج ربط العمليات التجارية أو بدء تشغيلها يدويا أو تشغيلها تلقائيا.

    تقوم البنية الأساسية لبرنامج ربط العمليات التجارية بتجميع الأنشطة التي تقوم بتنفيذ المهام. لاستخراج البيانات، يقوم Data Factory بإنشاء مسار واحد لكل جدول محلي بشكل ديناميكي. يمكنك بعد ذلك استخدام تطبيق متوازي بشكل كبير عند نسخ البيانات في Azure. يمكنك أيضا تكوين الحل لتلبية متطلباتك:

    • النسخ المتماثل الكامل: يمكنك نسخ قاعدة البيانات بأكملها وإجراء التعديلات اللازمة على أنواع البيانات والحقول في قاعدة بيانات Azure الهدف.
    • النسخ المتماثل الجزئي أو دلتا أو التزايدي: يمكنك استخدام أعمدة العلامة المائية في جداول المصدر لمزامنة الصفوف المحدثة مع قواعد بيانات Azure. تحتوي هذه الأعمدة إما على مفتاح زيادة مستمر أو طابع زمني يشير إلى آخر تحديث للجدول.

    يستخدم Data Factory أيضاً البنية الأساسية لبرنامج ربط العمليات التجارية لمهام التحويل التالية:

    • تحويل نوع البيانات
    • معالجة البيانات
    • تنسيق البيانات
    • اشتقاق العمود
    • تبسيط البيانات
    • فرز البيانات
    • تصفية البيانات

  2. تقوم قواعد البيانات المحلية مثل Db2 zOS وDb2 ل i وDb2 LUW بتخزين بيانات التطبيق.

  3. يوفر وقت تشغيل التكامل المستضاف ذاتيا (SHIR) البيئة التي يستخدمها Data Factory لتشغيل الأنشطة وإرسالها.

  4. يوفر Azure Data Lake Storage Gen2 وAzure Blob Storage مكاناً لتدريج البيانات. هذه الخطوة مطلوبة أحيانا لتحويل البيانات ودمجها من مصادر متعددة.

  5. لإعداد البيانات، يستخدم Data Factory Azure Databricks والأنشطة المخصصة وتدفقات بيانات البنية الأساسية لبرنامج ربط العمليات التجارية لتحويل البيانات بسرعة وفعالية.

  6. يقوم Data Factory بتحميل البيانات في قواعد بيانات Azure الارتباطية وغير الارتباطية التالية:

    • عنوان SQL لـ Azure
    • قاعدة بيانات Azure لـ PostgreSQL
    • Azure Cosmos DB
    • Azure Data Lake Storage Gen2
    • قاعدة بيانات Azure لـ MySQL

  7. خدمات تكامل SQL Server (SSIS): يمكن لهذا النظام الأساسي استخراج البيانات وتحويلها وتحميلها.

  8. أدوات غير تابعة ل Microsoft: عندما يتطلب الحل النسخ المتماثل في الوقت الفعلي تقريبا، يمكنك استخدام أدوات غير تابعة ل Microsoft.

المكونات

يصف هذا القسم الأدوات الأخرى التي يمكنك استخدامها أثناء تحديث البيانات والمزامنة والتكامل.

الأدوات

  • تعد خدمة Microsoft لبنية قاعدة البيانات الارتباطية الموزعة (DRDA) مكونا لخادم تكامل المضيف (HIS). خدمة Microsoft ل DRDA هي خادم تطبيق يستخدمه عملاء DRDA Application Requester (AR). تتضمن أمثلة عملاء DRDA AR IBM Db2 لـ z/OS وDb2 لـ i5/OS. يستخدم هؤلاء العملاء خادم التطبيق لتحويل عبارات Db2 SQL وتشغيلها على SQL Server.

  • يقوم SQL Server Migration Assistant (SSMA) ل Db2 بأتمتة الترحيل من Db2 إلى خدمات قاعدة بيانات Microsoft. أثناء تشغيله على جهاز ظاهري (VM)، تحول هذه الأداة كائنات قاعدة بيانات Db2 إلى كائنات قاعدة بيانات SQL Server وتنشئ هذه الكائنات في SQL Server. ثم تقوم SSMA لـ Db2 بترحيل البيانات من Db2 إلى الخدمات التالية:

    • SQL Server 2012
    • SQL Server 2014
    • SQL Server 2016
    • SQL Server 2017 على Windows وLinux
    • SQL Server 2019 على Windows وLinux
    • قاعدة بيانات Azure SQL

  • Azure Synapse Analytics هي خدمة تحليلات لمستودعات البيانات وأنظمة البيانات الضخمة. تستخدم هذه الأداة تقنيات Spark ولديها تكامل عميق مع Power BI وAzure Machine Learning وخدمات Azure الأخرى.

تكامل البيانات

  • Data Factory هي خدمة تكامل بيانات مختلطة. يمكنك استخدام هذا الحل المدار بالكامل وبدون خادم لإنشاء مهام سير عمل استخراج وتحويل وتحميل (ETL) وجدولتها وتنسيقها واستخراج مهام سير عمل ELT وتحميلها وتحويلها.

  • Azure Synapse Analytics هي خدمة تحليلات مؤسسية تعمل على تسريع الوقت للحصول على نتيجة تحليلات عبر مستودعات البيانات وأنظمة البيانات الضخمة. يجمع Azure Synapse Analytics بين أفضل التقنيات والخدمات التالية:

    • تقنيات SQL، التي تستخدمها في تخزين بيانات المؤسسة.
    • تقنيات Spark، التي تستخدمها للبيانات الضخمة.
    • Azure Data Explorer، الذي تستخدمه لتحليلات السجل والسلاسل الزمنية.
    • Azure Pipelines، التي تستخدمها لتكامل البيانات وسير عمل ETL و ELT.
    • التكامل العميق مع خدمات Azure الأخرى، مثل Power BI وAzure Cosmos DB التعلم الآلي.

  • SSIS هو نظام أساسي لبناء حلول تكامل البيانات وتحويلها على مستوى المؤسسة. يمكنك استخدام SQL Server Integration Services لإدارة البيانات ونسخها وتنقيتها و استخراجها.

  • Azure Databricksهو نظام أساسي لتحليلات البيانات. وهو يستند إلى نظام المعالجة الموزعة مفتوحة المصدر Apache Spark ويتم تحسينه لمنصة سحابة Azure. في سير عمل التحليلات، يقرأ Azure Databricks البيانات من مصادر متعددة ويستخدم Spark لتوفير الرؤى.

تخزين البيانات.

  • قاعدة بيانات SQL هي جزء من عائلة Azure SQL وهي مصممة للسحابة. تقدم هذه الخدمة فوائد منصة مدارة بالكامل و دائمة الخضرة كخدمة (PaaS). توفر SQL Database أيضاً ميزات تلقائية تعمل الذكاء الاصطناعي تعمل على تحسين الأداء والمتانة. الحوسبة بلا خادم وخيارات التخزين Hyperscale تلقائياً على توسيع نطاق الموارد عند الطلب.

  • Azure SQL Managed Instance هو جزء من قائمة مشاريع خدمة Azure SQL. تجمع خدمة قاعدة البيانات السحابية الذكية والقابلة للتطوير هذه بين أوسع توافق لمحرك SQL Server مع جميع فوائد PaaS المدارة بالكامل وال دائمة الخضرة. باستخدام SQL Managed Instance، يمكنك تحديث التطبيقات الموجودة على نطاق واسع.

  • يوفر SQL Server على أجهزة Azure الظاهرية طريقة لرفع أحمال عمل SQL Server وتحويلها إلى السحابة مع توافق التعليمات البرمجية بنسبة 100٪. كجزء من عائلة Azure SQL، يوفر SQL Server على أجهزة Azure الظاهرية الأداء والأمان والتحليلات المجمعة ل SQL Server مع المرونة والاتصال المختلط ل Azure. استخدم SQL Server على أجهزة Azure الظاهرية لترحيل التطبيقات الموجودة أو إنشاء تطبيقات جديدة. يمكنك أيضاً الوصول إلى آخر تحديثات SQL Server وإصداراته، بما في ذلك SQL Server 2019.

  • قاعدة بيانات Azure لـ PostgreSQL هي خدمة قاعدة بيانات ارتباطية مُدارة بالكامل تستند إلى إصدار المجتمع من محرك قاعدة بيانات PostgreSQL مفتوح المصدر. استخدم هذه الخدمة للتركيز على ابتكار التطبيقات بدلا من إدارة قاعدة البيانات. يمكنك أيضاً قياس حجم العمل بسرعة وسهولة.

  • Azure Cosmos DB هي قاعدة بيانات موزعة عالمياً متعددة النماذج. استخدم Azure Cosmos DB للتأكد من أن حلولك يمكنها تغيير حجم معدل النقل والتخزين بشكل مرن ومستقل عبر أي عدد من المناطق الجغرافية. تضمن خدمة قاعدة بيانات NoSQL المدارة بالكامل زمن انتقال مكون من رقم واحد وملي ثانية عند النسبة المئوية التاسعة والتسعين في أي مكان في العالم.

  • Data Lake Storage هو مستودع تخزين يحتوي على كمية كبيرة من البيانات بتنسيقه الأصلي الخام. تم تحسين مخازن بحيرة البيانات للتوسع إلى تيرابايت وبيتا بايت من البيانات. تأتي البيانات عادةً من مصادر متعددة غير متجانسة، وقد تكون منظمة أو شبه منظمة أو غير منظمة. يجمع Data Lake Storage Gen2 بين إمكانات Data Lake Storage Gen1 و Blob Storage. يوفر حل بحيرة البيانات من الجيل التالي دلالات نظام الملفات والأمان على مستوى الملف والحجم. ولكنها توفر أيضًا التخزين المتدرج وقابلية الوصول العالية وقدرات الإصلاح بعد كارثة لـ Blob Storage.

  • Azure Database for MySQL هي خدمة قاعدة بيانات ارتباطية مدارة بالكامل تستند إلى إصدار المجتمع من محرك قاعدة بيانات MySQL مفتوح المصدر.

  • Blob Storage يوفر تخزيناً محسناً للكائنات السحابية يدير كميات هائلة من البيانات غير المنظمة.

تفاصيل السيناريو

توفر البيانات وتكاملها أمران أساسيان في التحديث المركزي والوسطى. تساعد استراتيجيات البيانات أولا في الحفاظ على سلامة البيانات وإتاحتها أثناء الترحيل إلى Azure. لمنع الاضطرابات أثناء التحديث، تحتاج أحيانا إلى نسخ البيانات نسخا متماثلا بسرعة أو الاحتفاظ بالبيانات المحلية متزامنة مع قواعد بيانات Azure.

على وجه التحديد، يغطي هذا الحل ما يلي:

  • الاستخراج: الاتصال بقاعدة بيانات المصدر واستخراجها منها.
  • التحول:
    • التدريج: تخزين البيانات مؤقتاً في شكلها الأصلي وإعدادها للتحويل.
    • الإعداد: تحويل البيانات ومعالجتها باستخدام قواعد التعيين التي تلبي متطلبات قاعدة البيانات المستهدفة.
  • التحميل: إدراج البيانات في قاعدة بيانات الهدف.

حالات الاستخدام المحتملة

تتضمن سيناريوهات النسخ المتماثل للبيانات ومزامنتها التي يمكن أن تستفيد من هذا الحل ما يلي:

  • معماريات فصل مسؤولية استعلام الأوامر (CQRS) التي تستخدم Azure لخدمة كافة قنوات الاستعلام.
  • البيئات التي تختبر التطبيقات المحلية والتطبيقات المعاد استضافتها أو إعادة هندستها بالتوازي.
  • الأنظمة المحلية ذات التطبيقات المقترنة بإحكام والتي تتطلب المعالجة أو التحديث على مراحل.

التوصيات

عند استخدام Data Factory لاستخراج البيانات، اتخذ خطوات لضبط أداء نشاط النسخ.

الاعتبارات

تنفذ هذه الاعتبارات ركائز Azure Well-Architected Framework، وهو عبارة عن مجموعة من المبادئ التوجيهية التي يمكن استخدامها لتحسين جودة حمل العمل. لمزيد من المعلومات، يرجى مراجعةMicrosoft Azure Well-Architected Framework.

ضع هذه النقاط في الاعتبار عند النظر في هذه البنية.

الموثوقيه

تضمن الموثوقية أن التطبيق الخاص بك يمكن أن يفي بالالتزامات التي تتعهد بها لعملائك. لمزيد من المعلومات، راجع نظرة عامة على ركيزة الموثوقية.

  • تتم إدارة البنية الأساسية، بما في ذلك التوفر، تلقائياً في قواعد بيانات Azure.

  • راجع التجميع وتجاوز الفشل للحصول على معلومات حول خدمة Microsoft لحماية تجاوز الفشل DRDA.

  • يمكنك تجميع بوابة البيانات المحلية ووقت تشغيل التكامل (IR) لتوفير ضمانات توفر أعلى.

الأمان

ويوفر عامل الأمان ضمانات للحماية من الهجمات المتعمدة واستغلال البيانات والأنظمة القيمة الخاصة بك. لمزيد من المعلومات، راجع نظرة عامة على ركيزة الأمان.

  • استخدم مجموعات أمان الشبكة لتقييد الوصول إلى ما تحتاج إليه كل خدمة فقط للعمل.

  • استخدم نقاط النهاية الخاصة لخدمات PaaS الخاصة بك. استخدم جدران حماية الخدمة التي يمكن الوصول إليها ولا يمكن الوصول إليها عبر الإنترنت لتكملة الأمان لخدماتك.

  • استخدم الهويات المدارة لتدفقات بيانات المكون إلى المكون.

  • راجع تخطيط الحلول وهندستها باستخدام خدمة Microsoft ل DRDA للتعرف على أنواع اتصالات العميل التي تدعمها خدمة Microsoft ل DRDA. تؤثر اتصالات العميل على طبيعة المعاملات والتجمع وتجاوز الفشل والمصادقة والتشفير على شبكتك.

تحسين التكلفة

يركز تحسين التكلفة على البحث عن طرق للحد من النفقات غير الضرورية وتحسين الكفاءة التشغيلية. لمزيد من المعلومات، راجع نظرة عامة على ركيزة تحسين التكلفة.

  • تختلف نماذج التسعير بين خدمات المكونات. راجع نماذج التسعير لخدمات المكونات المتاحة للتأكد من أنها تناسب ميزانيتك.

  • استخدم حاسبة أسعار Azure لتقدير تكلفة تنفيذ هذا الحل.

التميز التشغيلي

يغطي التميز التشغيلي عمليات التشغيل التي تحافظ على تشغيل التطبيق في الإنتاج. لمزيد من المعلومات، راجع نظرة عامة على ركيزة التميز التشغيلي.

كفاءة الأداء

كفاءة الأداء هي قدرة حمل عملك على تغيير الحجم لتلبية المطالب التي يضعها المستخدمون عليها بطريقة فعالة. لمزيد من المعلومات، راجع نظرة عامة على ركيزة كفاءة الأداء.

  • ضع في اعتبارك Azure ExpressRoute كخيار واسع النطاق إذا كان التنفيذ يستخدم نطاقاً ترددياً كبيراً للنسخ المتماثل الأولي أو النسخ المتماثل المستمر للبيانات المتغيرة.

  • اختر تكوين وقت تشغيل التكامل المناسب للسيناريو الخاص بك.

الخطوات التالية