في العديد من المؤسسات، SAP هو التطبيق الأكثر أهمية للمهام ونظام السجل الأساسي لمجموعة واسعة من البيانات. يجب أن تكون الشركات قادرة على الاستفادة من البيانات الثاقبة للتحليقات من كل من SAP وتطبيقاتها المصدر/انتقال البيانات من الخادم بطريقة فعالة من حيث التكلفة وقابلة للتطوير ومرنة. وفي الوقت نفسه، تحتاج الشركات أيضا إلى التأكد من أن هذه البيانات متوافقة مع اللوائح التي لا تعد ولا تحصى.
بناء الأنظمة
توضح البنية التالية استخدام Delphix CC في مصنع بيانات Azure/البنية الأساسية لبرنامج ربط العمليات التجارية Azure Synapse لتحديد البيانات الحساسة وإخفاها.
قم بتنزيل ملف Visio لهذه البنية.
ما المقصود بـ Azure Data Factory؟
Azure Data Factory هي خدمة تكامل بيانات مدارة بالكامل بلا خادم. يوفر تجربة مرئية غنية لدمج مصادر البيانات مع أكثر من 100 موصل مدمج وخال من الصيانة دون أي تكلفة إضافية. يمكنك بسهولة إنشاء عمليات الاستخراج والتحويل والتحميل (ETL) والاستخراج والتحميل والتحويل (ELT) بدون تعليمة برمجية في بيئة بديهية أو كتابة التعليمات البرمجية الخاصة بك. بعد ذلك، قم بتقديم بيانات متكاملة إلى Azure Synapse Analytics لفتح قوة بياناتك من خلال رؤى الأعمال.
ما المقصود ب Delphix Continuous Compliance (Delphix CC)؟
يقوم Delphix Continuous Compliance (Delphix CC) بتحديد المعلومات الحساسة وأتمتة إخفاء/تشويش البيانات. يوفر طريقة سريعة ومؤتمتة ومحركة لواجهة برمجة التطبيقات لتوفير بيانات آمنة حيثما تكون هناك حاجة إليها في المؤسسات.
كيف يحل Delphix CC وAzure Data Factory أتمتة البيانات المتوافقة؟
يمثل نقل البيانات الآمنة تحديا لجميع المؤسسات. يجعل Delphix تحقيق التوافق المتسق للبيانات أمرا سهلا بينما يتيح Azure Data Factory توصيل البيانات ونقلها بسلاسة. يجمع كل من Delphix CC وAzure Data Factory بين عروض التوافق والتشغيل التلقائي الرائدة في الصناعة لتسهيل تسليم البيانات المتوافقة عند الطلب للجميع.
باستخدام موصلات مصدر البيانات التي يقدمها Azure Data Factory، قمنا بإنشاء مسار ETL يسمح للمستخدم النهائي بأتمتة الخطوات التالية:
- اقرأ البيانات من نظام السجل (SAP HANA) واكتبها في ملفات CSV على Azure Storage.
- تنفيذ مهمة إخفاء Delphix مقابل الملفات لاستبدال عناصر البيانات الحساسة بقيم مشابهة ولكنها وهمية.
- تحميل البيانات المتوافقة إلى Azure Synapse Analytics.
تدفق البيانات
البيانات تتدفق عبر السيناريو كما يلي:
- يستخرج Azure Data Factory البيانات من مخزن البيانات المصدر (SAP HANA) إلى حاوية في Azure Files باستخدام نشاط Copy Data. يشار إلى هذه الحاوية باسم حاوية بيانات المصدر والبيانات بتنسيق CSV. لاستخدام موصل SAP HANA، توصي Microsoft باستخدام وقت تشغيل التكامل المستضاف ذاتيا. راجع هذا الدليل للحصول على مزيد من المعلومات.
- يبدأ مصنع البيانات مكرر (نشاط ForEach) يتكرر من خلال قائمة مهام الإخفاء التي تم تكوينها داخل Delphix. سيتم تكوين مهام الإخفاء هذه مسبقا وستخفي البيانات الحساسة الموجودة في حاوية البيانات المصدر.
- لكل مهمة في القائمة، يقوم نشاط بدء الإخفاء بمصادقة مهمة الإخفاء وبدءها عن طريق استدعاء نقاط نهاية واجهة برمجة تطبيقات REST على محرك Delphix CC.
- يقرأ Delphix CC Engine البيانات من حاوية بيانات المصدر ويعمل من خلال عملية الإخفاء.
- في عملية الإخفاء هذه، يخفي Delphix البيانات في الذاكرة ويكتب البيانات المقنعة الناتجة مرة أخرى إلى حاوية ملفات Azure الهدف (يشار إليها باسم حاوية البيانات الهدف).
- يبدأ مصنع البيانات الآن مكرر ثان (نشاط ForEach) يراقب عمليات التنفيذ.
- لكل تنفيذ (مهمة إخفاء) تم بدء تشغيلها، يتحقق نشاط التحقق من الحالة من نتيجة الإخفاء.
- بمجرد اكتمال جميع مهام الإخفاء بنجاح، يقوم مصنع البيانات بتحميل البيانات المقنعة من حاوية البيانات الهدف إلى Azure Synapse Analytics.
المكونات
- Azure Data Factory هي خدمة استخراج وتحويل وتحميل (ETL) لتوسيع نطاق تكامل البيانات بدون خادم وتحويل البيانات. كمّا توفر واجهة مستخدم خالية من التعليمات البرمجية للتألف البديهي ومراقبة وإدارة «جزء واحد من الزجاج».
- يخزن Azure Storage البيانات المستخرجة من مخازن بيانات المصدر والبيانات المقنعة التي سيتم تحميلها في مخازن البيانات الوجهة.
- مجموعات الموارد هي حاوية منطقية لموارد Azure. تنظم مجموعات الموارد كل ما يتعلق بهذا المشروع في وحدة تحكم Azure.
- يجب إعداد وقت تشغيل التكامل المستضاف ذاتيا ويجب تثبيت برنامج تشغيل SAP HANA ODBC لاستخراج البيانات من SAP HANA.
- اختياري: توفر شبكة Azure الظاهرية قدرات شبكة خاصة لموارد Azure التي ليست جزءا من مساحة عمل Azure Synapse. يسمح لك بإدارة الوصول والأمان والتوجيه بين الموارد.
حالات الاستخدام المحتملة
- نقل البيانات المتوافقة تلقائيا من تطبيقات SAP (البنية الموضحة هنا خاصة بتطبيقات SAP ذات الخلفية HANA) إلى Microsoft Synapse للحصول على البيانات التي يحتاجونها للاختبار بطريقة حساسة للتكلفة وسريعة وقابلة للتطوير. تنفيذ ملايين عمليات التشويش في دقائق.
- ضع تلقائيا إطار عمل Delphix Algorithm الشامل للعمل على معالجة أي متطلبات تنظيمية لبياناتك (على سبيل المثال، للامتثال للوائح العامة لحماية البيانات (GDPR) و CCPA و LGPD و HIPAA).
- إخفاء/تدافع البيانات باستمرار عبر مصادر البيانات، مع الحفاظ على التكامل المرجعي لاختبار التطبيق المتكامل. على سبيل المثال، يجب إخفاء الاسم جورج دائما إلى إليوت أو يجب إخفاء رقم ضمان اجتماعي معين (SSN) دائما لنفس SSN الوهمية، سواء كان جورج وSSN الخاص به يظهران في SAP أو Oracle أو Salesforce أو أي تطبيق آخر.
- إخفاء/تدافع البيانات بطريقة لا تزيد من دورات التدريب، ولا تؤثر على دقة النموذج أو التنبؤ.
- قم بتكوين حل يعمل لكل من الموقع المحلي والسحابة، ببساطة عن طريق تغيير موصلات المصدر. على سبيل المثال، قد يسحب المرء البيانات من تطبيق SAP محلي، وينسخ تلك البيانات إلى السحابة، ويضمن التوافق قبل التحميل إلى Synapse.
المزايا الرئيسية
- إخفاء/تشويش واقعي وواقعي يحافظ على التكامل المرجعي
- التعريف الاستباقي للبيانات الحساسة لجداول ووحدات SAP الأكثر شيوعا
- تنفيذ السحابة الأصلية
- النشر المستند إلى القالب
- قابلة للتطوير
- بديل منخفض التكلفة ل HANA HW مكلف في الذاكرة
الشروع في العمل
- انشر Delphix CC Engine على Azure.
- في Azure Data Factory، انشر إخفاء البيانات باستخدام Delphix واكتشاف البيانات الحساسة باستخدام قوالب Delphix. ملاحظة: تعمل هذه القوالب لكل من مسارات Azure Synapse Analytics وخطوط أنابيب Azure Data Factory.
- قم بإعداد وقت تشغيل التكامل المستضاف ذاتيا كما هو مفصل في هذه الطريقة لتوجيه استخراج البيانات من SAP HANA.
- في مكونات Copy Data، قم بتكوين المصدر المطلوب ك SAP HANA في خطوة استخراج وSynapse كهدف مطلوب في خطوة التحميل. في مكونات Web Activity، أدخل عنوان IP لتطبيق Delphix /اسم المضيف وبيانات الاعتماد للمصادقة باستخدام واجهات برمجة تطبيقات Delphix CC.
- قم بتشغيل قالب اكتشاف البيانات الحساسة باستخدام Delphix Azure Data Factory للإعداد الأولي، وفي أي وقت ترغب في تحديد البيانات الحساسة مسبقا (على سبيل المثال، إذا كان هناك تغيير في المخطط). يوفر هذا القالب Delphix CC مع التكوين الأولي الذي يتطلبه للفحص بحثا عن الأعمدة التي قد تحتوي على بيانات حساسة. يمكنك أيضا استخدام هذا جنبا إلى جنب مع Delphix Compliance Accelerator ل SAP، والحقول الحساسة المحددة مسبقا وخوارزميات الإخفاء لحماية البيانات في جداول SAP الأساسية، على سبيل المثال، الوحدات النمطية Finance و HR و Logistics. اتصل ب Delphix إذا كنت مهتما بهذا الخيار.
- قم بإنشاء مجموعة قواعد تشير إلى جمع البيانات التي ترغب في ملف تعريفها. قم بتشغيل مهمة جمع معلومات في واجهة مستخدم Delphix لتحديد الحقول الحساسة وتصنيفها لمجموعة القواعد هذه وتعيين خوارزميات الإخفاء المناسبة.
- قم بتشغيل القالب. بمجرد الانتهاء، سيكون لديك بيانات مخفية (كما تم تحديدها مسبقا لأهم الجداول/الوحدات النمطية بواسطة Delphix Compliance Accelerator ل SAP) في Azure Synapse Analytics.
الاعتبارات
تنفذ هذه الاعتبارات ركائز Azure Well-Architected Framework، وهو عبارة عن مجموعة من المبادئ التوجيهية التي يمكن استخدامها لتحسين جودة حمل العمل. لمزيد من المعلومات، يرجى مراجعةMicrosoft Azure Well-Architected Framework.
الأمان
ويوفر عامل الأمان ضمانات للحماية من الهجمات المتعمدة واستغلال البيانات والأنظمة القيمة الخاصة بك. للمزيد من المعلومات، يرجى الرجوع إلى نظرة عامة على ركيزة الأمان.
يخفي Delphix CC قيم البيانات التي لا رجعة فيها مع بيانات واقعية تظل تعمل بكامل طاقتها، ما يتيح تطوير تعليمة برمجية عالية الجودة. من بين مجموعة غنية من الخوارزميات المتاحة لتحويل البيانات إلى مواصفات المستخدم، يحتوي Delphix CC على خوارزمية حاصلة على براءة اختراع تنتج عن قصد تضاربات في البيانات، وفي الوقت نفسه يسمح بتمليح البيانات بقيم محددة مطلوبة لإجراءات التحقق المحتملة من الصحة التي تعمل على مجموعة البيانات المقنعة. من منظور ثقة معدومة، لا يحتاج المشغلون إلى الوصول إلى البيانات الفعلية لإخفاءها. بالإضافة إلى ذلك، يمكن أتمتة تسليم البيانات المقنعة بالكامل من النقطة A إلى النقطة B عبر واجهات برمجة التطبيقات.
تحسين التكلفة
يركز تحسين التكلفة على البحث عن طرق للحد من النفقات غير الضرورية وتحسين الكفاءة التشغيلية. لمزيد من المعلومات، راجع نظرة عامة على ركيزة تحسين التكلفة.
من خلال ضبط القيم على حاسبة تسعير Azure، يمكنك معرفة كيفية تأثير متطلباتك الخاصة على التكلفة.
Azure Synapse: يمكنك قياس مستويات الحوسبة والتخزين بشكل مستقل. يتم تحصيل الرسوم من موارد الحساب في الساعة، ويمكنك تغيير حجم هذه الموارد أو إيقافها مؤقتا عند الطلب. تتم فوترة موارد التخزين لكل تيرابايت، لذلك ستزيد التكاليف الخاصة بك أثناء استيعاب المزيد من البيانات.
Data Factory: تستند التكاليف إلى عدد عمليات القراءة/الكتابة وعمليات المراقبة وأنشطة التنسيق التي يتم تنفيذها في حمل العمل. ستزيد تكاليف مصنع البيانات الخاص بك مع كل دفق بيانات إضافي وكمية البيانات التي تتم معالجتها بواسطة كل واحد منها.
Delphix CC: على عكس منتجات التوافق مع البيانات الأخرى في السوق، لا يتطلب الإخفاء نسخة فعلية كاملة من البيئة التي يتم إخفاءها. يمكن أن يكون التكرار في البيئة مكلفا بسبب الوقت لإعداد البنية الأساسية وصيانتها، وتكلفة البنية الأساسية نفسها، والوقت الذي يقضيه تحميل البيانات المادية بشكل متكرر في بيئة الإخفاء.
كفاءة الأداء
كفاءة الأداء هي قدرة حمل عملك على تغيير الحجم لتلبية المطالب التي يضعها المستخدمون عليها بطريقة فعالة. لمزيد من المعلومات، يرجى مراجعةأنماط كفاءة الأداء.
Delphix CC قابل للتطوير أفقيا وعموديا. تحدث التحويلات في الذاكرة ويمكن موازاتها. يعمل المنتج كخدمة وكجهاز متعدد العقد مما يسمح ببنى الحلول من جميع الأحجام اعتمادا على التطبيق. Delphix هي الرائدة في السوق في تقديم مجموعات البيانات المقنعة الكبيرة.
يمكن زيادة عمليات دفق الإخفاء لإشراك مراكز وحدة المعالجة المركزية المتعددة في وظيفة. (يمكن العثور على توصيات التكوين وكيفية تغيير تخصيص الذاكرة هنا: https://maskingdocs.delphix.com/Securing_Sensitive_Data/Creating_Masking_Job/)
للحصول على الأداء الأمثل لمجموعات البيانات التي يزيد حجمها عن 1 تيرابايت، يقوم Delphix Hyperscale Masking بتقسيم مجموعات البيانات الكبيرة والمعقدة إلى وحدات نمطية عديدة ثم ينسق مهام الإخفاء عبر محركات التوافق المستمر المتعددة.
المساهمون
تمت كتابة هذه المقالة من قبل المساهمين التاليين.
الكتاب الرئيسيون:
- Tess Maggio – Product Manager 2
- آرون ساجو – مهندس أول في فريق العمل
- ميك شيه – SAP Global Practice Leader
مساهمون آخرون:
- مايكل تروك – مدير أول لتجربة العملاء الرقمية
- Abhishek Narain - مدير برنامج أول
- جون بورشل - مطور محتوى أول