Apache® وSpark وشعار لهب هي إما علامات تجارية مسجلة أو علامات تجارية لمؤسسة Apache Software في الولايات المتحدة و/أو بلدان أخرى. لا توجد موافقة ضمنية من Apache Software Foundation باستخدام هذه العلامات.
توضح هذه المقالة خطة تحديث شاملة لمصادر البيانات المركزية والمتوسطة.
بناء الأنظمة
قم بتنزيل ملف Visio لهذه البنية.
تدفق البيانات
يوضح تدفق البيانات التالي عملية لتحديث طبقة البيانات المركزية. وهو يتوافق مع الرسم التخطيطي السابق.
تخزن الأنظمة المركزية والوسطى البيانات في مصادر البيانات، مثل أنظمة الملفات (VSAM، الملف المسطح، LTFS)، قواعد البيانات العلائقية (Db2 ل z/OS، Db2 ل IBM i، Db2 ل Linux UNIX وWindows)، أو قواعد البيانات غير العلائقية (IMS، ADABAS، IDMS).
تستخرج عملية تحويل العنصر تعريفات الكائن من الكائنات المصدر. ثم يتم تحويل التعريفات إلى كائنات مقابلة في مخزن البيانات الهدف.
- يقوم SQL Server Migration Assistant (SSMA) ل Db2 بترحيل المخططات والبيانات من قواعد بيانات IBM Db2 إلى قواعد بيانات Azure.
- يقوم موفر البيانات المدار لملفات المضيف بتحويل الكائنات عن طريق:
- تحليل تخطيطات سجلات COBOL وRPG أو دفاتر النسخ.
- تعيين دفاتر النسخ على عناصر C# التي تستخدمها تطبيقات .NET.
- تساعد الأداة المخصصة على نقل كائنات قاعدة البيانات من Db2 إلى قاعدة بيانات Azure ل PostgreSQL.
- تقوم أدوات الجهات الخارجية بإجراء تحويل تلقائي للكائنات على قواعد البيانات غير الأساسية وأنظمة الملفات ومخازن البيانات الأخرى.
يتم استيعاب البيانات وتحويلها. تخزن الأنظمة المركزية والوسطى بيانات نظام الملفات بتنسيق EBCDIC المشفرة بتنسيقات الملفات مثل:
- ملفات VSAM المفهرسة
- ملفات GDG غير المهينة
- ملفات مسطحة
تحدد دفاتر نسخ COBOL وPL / I ولغة التجميع بنية البيانات لهذه الملفات.
أ. ينقل FTP مجموعات بيانات نظام الملفات المركزية والمتوسطة المدى بتخطيطات مفردة وحقول غير معبأة بتنسيق ثنائي ودفتر نسخ مطابق إلى Azure.
ب. يتم تحويل البيانات. موصل Azure Data Factory المخصص هو حل تم تطويره باستخدام مكون عميل ملف المضيف لخادم تكامل المضيف لتحويل مجموعات البيانات المركزية.
يدمج Host Integration Server أنظمة مضيف IBM الحالية والبرامج والرسائل والبيانات مع تطبيقات Azure. Host Integration Server هو مكون عميل Host File يمكنك استخدامه لتطوير حل مخصص لتحويل مجموعة البيانات.
يستند موصل Azure Data Factory المخصص إلى إطار عمل Spark مفتوح المصدر، ويتم تشغيله على Azure Synapse Analytics. مثل الحلول الأخرى، يمكنه تحليل كتاب النسخ وتحويل البيانات. إدارة الخدمة لتحويل البيانات باستخدام موصل Azure Logic Apps Parse Host File Contents.
جـ. يتم ترحيل بيانات قاعدة البيانات الارتباطية.
تخزن أنظمة IBM المركزية والوسطى البيانات في قواعد البيانات العلائقية مثل هذه:
تقوم هذه الخدمات بترحيل بيانات قاعدة البيانات:
- يستخدم Data Factory موصل Db2 لاستخراج البيانات ودمجها من قواعد البيانات.
- تعالج SQL Server Integration Services مهام ETL للبيانات المختلفة.
د. يتم ترحيل بيانات قاعدة البيانات غير المرتبطة.
تقوم أنظمة IBM المركزية والوسطى بتخزين البيانات في قواعد بيانات غير أساسية مثل هذه:
- IDMS، نظام إدارة قاعدة بيانات نموذج الشبكة (DBMS)
- IMS، نموذج هرمي DBMS
- Adabas
- Datacom
تقوم منتجات الجهات الخارجية بدمج البيانات من قواعد البيانات هذه.
تحمل خدمات Azure مثل Data Factory وAzCopy البيانات في قواعد بيانات Azure وتخزين بيانات Azure. يمكنك أيضا استخدام حلول الجهات الخارجية وحلول التحميل المخصصة لتحميل البيانات.
يوفر Azure العديد من حلول تخزين البيانات المدارة:
تستخدم خدمات Azure طبقة البيانات الحديثة للحوسبة والتحليلات والتخزين والشبكات.
تستخدم تطبيقات العميل أيضا طبقة البيانات المحدثة.
المكونات
تخزين البيانات.
- قاعدة بيانات SQL هي جزء من عائلة Azure SQL. تم تصميمه للسحابة ويوفر جميع مزايا النظام الأساسي المدار بالكامل وال دائم الخضرة كخدمة. توفر قاعدة بيانات SQL أيضا ميزات تلقائية تعمل الذكاء الاصطناعي تعمل على تحسين الأداء والمتانة. الحوسبة بلا خادم وخيارات التخزين Hyperscale تلقائياً على توسيع نطاق الموارد عند الطلب.
- قاعدة بيانات Azure لـ PostgreSQL هي خدمة قاعدة بيانات ارتباطية مُدارة بالكامل تستند إلى إصدار المجتمع من محرك قاعدة بيانات PostgreSQL مفتوح المصدر.
- Azure Cosmos DB هي قاعدة بيانات NoSQL متعددة النماذج موزعة عالميا.
- Azure Database for MySQL هي خدمة قاعدة بيانات ارتباطية مدارة بالكامل تستند إلى إصدار المجتمع لمحرك قاعدة بيانات MySQL مفتوح المصدر.
- SQL Managed Instance هي خدمة قاعدة بيانات سحابية ذكية وقابلة للتطوير تقدم جميع فوائد النظام الأساسي المدار بالكامل والقابل للخضرة كخدمة. SQL Managed Instance لديه توافق بنسبة 100٪ تقريبا مع أحدث محرك قاعدة بيانات إصدار SQL Server Enterprise. كما يوفر تنفيذ شبكة ظاهرية أصلية تعالج المخاوف الأمنية الشائعة.
- Azure Data Lake Storage هو مستودع تخزين يحتوي على كميات كبيرة من البيانات بتنسيقه الأصلي الخام. تم تحسين مخازن بحيرة البيانات للتوسع إلى تيرابايت وبيتا بايت من البيانات. تأتي البيانات عادة من مصادر غير متجانسة متعددة. يمكن أن تكون منظمة أو شبه منظمة أو غير منظمة البنية.
Compute
- يدمج Data Factory البيانات عبر بيئات شبكة مختلفة باستخدام وقت تشغيل تكامل (IR)، وهو بنية أساسية للحساب. ينسخ Data Factory البيانات بين مخازن البيانات السحابية ومخازن البيانات في الشبكات المحلية باستخدام IRs المستضافة ذاتيا.
- توفر أجهزة Azure الظاهرية موارد حوسبة قابلة للتطوير عند الطلب. يوفر جهاز Azure الظاهري (VM) مرونة الظاهرية ولكنه يلغي متطلبات الصيانة للأجهزة المادية. توفر أجهزة Azure VM مجموعة مختارة من أنظمة التشغيل، بما في ذلك Windows وLinux.
تكامل البيانات
- Azure Data Factory هي خدمة تكامل بيانات مختلطة. في هذا الحل، يستخدم موصل Azure Data Factory المخصص مكون عميل ملف المضيف لخادم تكامل المضيف لتحويل مجموعات البيانات المركزية. مع الحد الأدنى من الإعداد، يمكنك استخدام موصل مخصص لتحويل مجموعة البيانات المركزية تماما كما كنت تستخدم أي موصل Azure Data Factory آخر.
- AzCopy هي أداة مساعدة لسطر الأوامر تنقل البيانات الكبيرة أو الملفات داخل وخارج حسابات التخزين.
- SQL Server Integration Services هي نظام أساسي لإنشاء حلول تكامل البيانات وتحويلها على مستوى المؤسسة. يمكنك استخدامه لحل مشاكل الأعمال المعقدة من خلال:
- نسخ الملفات أو تنزيلها.
- تحميل مستودعات البيانات.
- بيانات التطهير والتعدين.
- إدارة كائنات وبيانات SQL Server.
- تمكنك تقنيات وأدوات خادم التكامل المضيف من دمج أنظمة وبرامج ورسائل وبيانات مضيف IBM الحالية مع تطبيقات Azure. يوفر مكون عميل ملف المضيف مرونة للبيانات التي يتم تحويلها من EBCDIC إلى ASCII. على سبيل المثال، يمكنك إنشاء JSON/XML من البيانات التي تم تحويلها.
- يجمع Azure Synapse تكامل البيانات وتخزين بيانات المؤسسة وتحليلات البيانات الضخمة. يعتمد حل تحويل Azure Synapse المستخدم في هذه البنية على Apache Spark وهو مرشح جيد لتحويل حمل عمل مجموعة البيانات المركزية الكبيرة. وهو يدعم مجموعة واسعة من بنيات البيانات والأهداف المركزية ويتطلب الحد الأدنى من جهد الترميز.
الأدوات الأخرى
- يقوم SQL Server Migration Assistant ل Db2 بأتمتة الترحيل من Db2 إلى خدمات قاعدة بيانات Microsoft. عند تشغيله على جهاز ظاهري، تحول هذه الأداة كائنات قاعدة بيانات Db2 إلى كائنات قاعدة بيانات SQL Server وتنشئ هذه الكائنات في SQL Server.
- موفر البيانات لملفات المضيف هو أحد مكونات خادم تكامل المضيف الذي يستخدم اتصالات غير متصلة أو SNA أو TCP/IP.
- من خلال الاتصالات غير المتصلة بالإنترنت، يقرأ موفر Microsoft OLE DB لـ DB2 البيانات السجلات ويكتبها في ملف ثنائي محلي.
- باستخدام اتصالات SNA وTCP/IP، يقرأ موفر البيانات السجلات المخزنة في مجموعات بيانات z/OS البعيدة (IBM Z Series Mainframe) أو ملفات i5/OS البعيدة (IBM AS/400 وأنظمة iSeries) الفعلية. تستخدم أنظمة i5 / OS فقط TCP / IP.
- توفر خدمات Azure بيئات وأدوات وعمليات لتطوير تطبيقات جديدة وتوسيع نطاقها في السحابة العامة.
تفاصيل السيناريو
توفر حلول تخزين البيانات الحديثة مثل النظام الأساسي لبيانات Azure قابلية توسع وأداء أفضل من الأنظمة المركزية والمتوسطة. من خلال تحديث أنظمتك، يمكنك الاستفادة من هذه الفوائد. ومع ذلك، فإن تحديث التكنولوجيا والبنية الأساسية والممارسات أمر معقد. تتضمن العملية تحقيقاً شاملاً للأنشطة التجارية والهندسية. تعد إدارة البيانات أحد الاعتبارات عند تحديث أنظمتك. تحتاج أيضا إلى إلقاء نظرة على مرئيات البيانات والتكامل.
تستخدم عمليات التحديث الناجحة إستراتيجية البيانات أولاً. عند استخدام هذا الأسلوب، يمكنك التركيز على البيانات بدلا من النظام الجديد. لم تعد إدارة البيانات مجرد عنصر في قائمة التحقق من التحديث. بدلا من ذلك، البيانات هي الركيزة المركزية. تحل حلول البيانات المنسقة والموجهة نحو الجودة محل حلول البيانات المجزأة ذات الحكم الضعيف.
يستخدم هذا الحل مكونات النظام الأساسي لبيانات Azure في نهج البيانات أولا. على وجه التحديد، يتضمن الحل ما يلي:
- تحويل الكائن. تحويل تعريفات الكائنات من مخزن البيانات المصدر إلى الكائنات المقابلة في مخزن البيانات الهدف.
- استيعاب البيانات. الاتصال بمخزن البيانات المصدر واستخراج البيانات.
- تحويل البيانات. تحويل البيانات المستخرجة إلى هياكل مخزن البيانات الهدف المناسبة.
- تخزين البيانات. تحميل البيانات من مخزن البيانات المصدر إلى مخزن البيانات الهدف، في البداية والمستمرة على حد سواء.
حالات الاستخدام المحتملة
يمكن للمؤسسات التي تستخدم أجهزة الكمبيوتر المركزية وأنظمة المدى المتوسط الاستفادة من هذا الحل، خاصة عندما تريد تحقيق هذه الأهداف:
- تحديث أحمال العمل ذات المهام الحرجة.
- اكتساب ذكاء الأعمال لتحسين العمليات واكتساب ميزة تنافسية.
- إزالة التكاليف العالية والصلابة المرتبطة بمخازن البيانات المركزية ومخازن البيانات متوسطة المدى.
الاعتبارات
تطبق هذه الاعتبارات ركائز إطار عمل Azure Well-Architected Framework، وهي مجموعة من المبادئ التوجيهية التي يمكنك استخدامها لتحسين جودة حمل العمل. لمزيد من المعلومات، يرجى مراجعةMicrosoft Azure Well-Architected Framework. عند استخدام موفر البيانات لعميل ملفات المضيف لتحويل البيانات، قم بتشغيل تجميع الاتصال لتقليل وقت بدء تشغيل الاتصال. عند استخدام Data Factory لاستخراج البيانات، قم بضبط أداء نشاط النسخ.
الأمان
ويوفر عامل الأمان ضمانات للحماية من الهجمات المتعمدة واستغلال البيانات والأنظمة القيمة الخاصة بك. لمزيد من المعلومات، راجع نظرة عامة على ركيزة الأمان.
- كن على دراية بالاختلافات بين هويات العميل المحلية وهويات العميل في Azure. تحتاج إلى تعويض أي اختلافات.
- استخدم الهويات المدارة لتدفقات بيانات المكون إلى المكون.
- عند استخدام موفر البيانات لملفات المضيف لتحويل البيانات، اتبع التوصيات الواردة في موفري البيانات لأمان ملفات المضيف وحمايتها.
تحسين التكلفة
يتعلق تحسين التكلفة بخفض النفقات غير الضرورية وتحسين الكفاءة التشغيلية. لمزيد من المعلومات، راجع نظرة عامة على ركيزة تحسين التكلفة.
- SQL Server Migration Assistant هو أداة مجانية ومدعمة تبسط ترحيل قاعدة البيانات من Db2 إلى SQL Server وقاعدة بيانات SQL ومثيل SQL المدار. يقوم SQL Server Migration Assistant بأتمتة جميع جوانب الترحيل، بما في ذلك تحليل تقييم الترحيل وتحويل بيان SQL والمخطط وترحيل البيانات.
- تم إنشاء الحل المستند إلى Azure Synapse Spark من مكتبات مفتوحة المصدر. فهو يلغي العبء المالي المترتب على أدوات تحويل الترخيص.
- استخدم حاسبة أسعار Azure لتقدير تكلفة تنفيذ هذا الحل.
كفاءة الأداء
كفاءة الأداء هي قدرة حمل العمل الخاص بك على التوسع لتلبية الطلبات التي يضعها المستخدمون عليه بطريقة فعالة. لمزيد من المعلومات، راجع نظرة عامة على ركيزة كفاءة الأداء.
- الركائز الرئيسية لكفاءة الأداء هي إدارة الأداء وتخطيط السعة وقابلية التوسع واختيار نمط أداء مناسب.
- للحصول على قابلية وصول عالية وقابلية التوسع، يمكنك توسيع نطاق وقت تشغيل التكامل المستضاف ذاتيًا عن طريق ربط المثيل المنطقي مع أجهزة محلية متعددة في الوضع نشط-نشط.
- توفر قاعدة بيانات Azure SQL القدرة على توسيع نطاق قواعد البيانات الخاصة بك ديناميكيا. في طبقة بلا خادم، يمكن توسيع نطاق موارد الحوسبة تلقائيا. لا يمكن تغيير حجم التجمع المرن، الذي يسمح لقواعد البيانات بمشاركة الموارد في تجمع، إلا يدويا.
المساهمون
تحتفظ Microsoft بهذه المقالة. وهي مكتوبة في الأصل من قبل المساهمين التاليين.
الكاتب الرئيسي:
- أشيش خاندلوال | مدير مهندس هندسي رئيسي
مساهمون آخرون:
- نيثيش أرولدوس | مهندس هندسي
لمشاهدة ملفات تعريف LinkedIn غير العامة، سجل الدخول إلى LinkedIn.
الخطوات التالية
راجع أدلة ترحيل قاعدة بيانات Azure. اتصل ب Azure Data Engineering - Mainframe و Midrange Modernization للحصول على مزيد من المعلومات.
راجع المقالات التالية:
- أحمال عمل IBM على Azure
- إعادة استضافة أجهزة الكمبيوتر المركزية على أجهزة Azure الظاهرية
- أحمال العمل المركزية المدعومة على Azure
- نقل حوسبة الحاسبات المركزية إلى Azure