تطبيقات البيانات (محاذاة المصدر)
إذا اخترت عدم تنفيذ محرك غير محدد للبيانات لاستيعاب البيانات مرة واحدة من مصادر تشغيلية، أو إذا لم يتم تسهيل الاتصالات المعقدة في محرك البيانات غير المحدد، فيجب عليك إنشاء تطبيق بيانات تمت محاذاته مع المصدر. يجب أن يتبع نفس التدفق مثل محرك البيانات غير المشخصة عند استيعاب البيانات من مصادر البيانات الخارجية.
نظرة عامة
مجموعة موارد التطبيق الخاصة بك مسؤولة عن استيعاب البيانات وإثراءها فقط من مصادر خارجية، مثل بيانات تتبع الاستخدام أو التمويل أو إدارة علاقات العملاء. يمكن أن تعمل هذه الطبقة في الوقت الحقيقي والدفعة والدفعة الصغيرة.
يشرح هذا القسم البنية الأساسية الموزعة لكل مجموعة موارد تطبيقات بيانات (متوافقة مع المصدر) داخل منطقة البيانات المنتقل إليها.
تلميح
بالنسبة إلى شبكة البيانات، يمكنك اختيار توزيع واحد منها لكل مصدر أو واحد لكل مجال. يجب الاستمرار في اتباع مبادئ توحيد البيانات وجودة البيانات و دورة حياة البيانات. يمكن لفرق عمليات النظام الأساسي للبيانات تطوير أجزاء من التعليمات البرمجية القياسية ودعوتها إلى تحقيق ذلك.
لكل مجموعة موارد تطبيق بيانات (محاذاة المصدر) في منطقة البيانات المنتقل إليها، يجب عليك إنشاء:
- Key Vault Azure
- Azure Data Factory، لتشغيل البنية الأساسية لبرنامج ربط العمليات التجارية الهندسية المطورة التي تحول البيانات من الخام إلى الإثراء
- كيان خدمة يستخدمه تطبيق البيانات (محاذاة المصدر) لنشر مهام استيعاب إلى Azure Databricks (فقط في حالة استخدام Azure Databricks)
يمكنك أيضا إنشاء مثيلات من الخدمات الأخرى، مثل Azure Event Hubs وAzure IoT Hub وAzure Stream Analytics والتعلم الآلي من Microsoft Azure.
ملاحظة
تحتاج إلى استخدام محرك شرارة مثل Azure Synapse Spark أو Azure Databricks لفرض معيار delta lake.
إذا قررت استخدام Azure Databricks، نوصي بنشر Azure Data Factory بدلا من مساحة عمل Azure Synapse Analytics لتقليل مساحة السطح إلى الميزات المطلوبة فقط.
ومع ذلك، إذا كنت بحاجة إلى منطقة تطوير شاملة مع البنية الأساسية لبرنامج ربط العمليات التجارية وspark، فاستخدم Azure Synapse Analytics. تطبيق نهج للسماح فقط باستخدام spark وخطوط الأنابيب حتى تتجنب إنشاء صوامع في تجمع Azure Synapse SQL.
Azure Key Vault
استخدم وظيفة Azure Key Vault لتخزين الأسرار داخل Azure كلما أمكن ذلك.
سيكون لكل تطبيق بيانات (محاذاة المصدر) مجموعة موارد أو مجال بيانات (إذا كان شبكة) Key Vault Azure. وهذا يضمن أن مفتاح التشفير والبيانات السرية و اشتقاق الشهادة يفي بمتطلبات بيئتك. وهذا يسمح بفصل أفضل بين الواجبات الإدارية ويقلل أيضا من مخاطر خلط المفاتيح والتكاملات والأسرار الخاصة بالتصنيفات المختلفة.
يجب تضمين جميع المفاتيح المتعلقة بتطبيق البيانات (محاذاة المصدر) في Key Vault Azure.
هام
يجب أن تتبع مخازن مفاتيح تطبيق البيانات (محاذاة المصدر) نموذج أقل الامتيازات ويجب تجنب كل من حدود مقياس المعاملات ومشاركة البيانات السرية عبر البيئات.
Azure Data Factory
انشر Azure Data Factory للسماح للبنية الأساسية لبرنامج ربط العمليات التجارية المكتوبة من قبل فريق تطبيق البيانات بأخذ البيانات من الخام إلى الإثراء باستخدام البنية الأساسية لبرنامج ربط العمليات التجارية المطورة. استخدم تعيين تدفقات البيانات للتحويلات، وانفصل لاستخدام مساحة عمل Azure Databricks (استيعاب) أو Azure Synapse Spark للتحويلات المعقدة.
يجب توصيل Azure Data Factory بمثيل DevOps لتطبيق البيانات الخاص بك (محاذاة المصدر) repo. يسمح هذا الاتصال بنشر CI/CD.
مراكز الأحداث
إذا كان تطبيق البيانات الخاص بك (محاذاة المصدر) لديه متطلبات لدفق البيانات في، يمكنك نشر مراكز الأحداث المتلقية للمعلومات في مجموعة موارد تطبيق البيانات (محاذاة المصدر).