اعتبارات التصميم لمنصات البيانات ذاتية الخدمة
شبكة البيانات هي نهج جديد مثير لتصميم بنية البيانات وتطويرها. على عكس بنية البيانات التقليدية، تفصل شبكة البيانات المسؤولية بين مجالات البيانات الوظيفية التي تركز على إنشاء منتجات البيانات وفريق النظام الأساسي الذي يركز على القدرات التقنية. يجب أن ينعكس هذا الفصل بين المسؤوليات في النظام الأساسي الخاص بك. يجب تحقيق توازن بين توفير قدرات غير محددة للمجال وتمكين فرق المجال الخاصة بك من نمذجة بياناتها ومعالجتها وتوزيعها عبر مؤسستك.
ليس من السهل اختيار المستوى الصحيح من دقة المجال وقواعد الفصل باستخدام الأنظمة الأساسية. تحتوي هذه المقالة على عدة سيناريوهات توفر لك إرشادات مفصلة.
تحليلات على نطاق السحابة
عندما تريد إنشاء شبكة بيانات باستخدام Azure، نوصيك باعتماد تحليلات على نطاق السحابة. إطار العمل هذا هو بنية مرجعية قابلة للنشر ويأتي مع قوالب مفتوحة المصدر وأفضل الممارسات. تحتوي بنية التحليلات على نطاق السحابة على كتلتين أساسيتين أساسيتين لجميع خيارات التوزيع:
- منطقة إدارة البيانات المنتقل إليها: أساس بنية البيانات الخاصة بك. يحتوي على جميع الإمكانات الهامة لإدارة البيانات، مثل كتالوج البيانات، دورة حياة البيانات، كتالوج واجهة برمجة التطبيقات، إدارة البيانات الرئيسية، وما إلى ذلك.
- مناطق البيانات المنتقل إليها: الاشتراكات التي تستضيف التحليلات والحلول الذكاء الاصطناعي. وتشمل القدرات الرئيسية لاستضافة منصة التحليلات.
يوفر الرسم التخطيطي التالي نظرة عامة على منصة تحليلات على نطاق السحابة مع منطقة هبوط لإدارة البيانات ومنطقة هبوط بيانات واحدة. لا يتم تمثيل جميع خدمات Azure في الرسم التخطيطي. تم تبسيط لتسليط الضوء على تنظيم موارد المفاهيم الأساسية داخل هذه البنية.
إطار عمل التحليلات المستندة إلى السحابة غير صريح بشأن نوع بنية البيانات الدقيق الذي يجب توفيره. يمكنك استخدامه للعديد من حلول التحليلات الشائعة على نطاق السحابة، بما في ذلك مستودعات البيانات (المؤسسة) ومستودعات البيانات ومنازل مستودع البيانات والشبكات البيانات. تستخدم جميع الحلول المثال في هذه المقالة بنية شبكة البيانات.
فهم أن جميع البنيات تلتزم بمبادئ شبكة البيانات: ملكية المجال والبيانات كمنتج والنظام الأساسي للبيانات ذات الخدمة الذاتية والحوكمة الحسابية الموحدة. يمكن أن تؤدي جميع المسارات المختلفة إلى شبكة بيانات. لا توجد إجابة واحدة صحيحة أو خاطئة. يجب إجراء المفاضلات الصحيحة لاحتياجات مؤسستك.
منطقة هبوط البيانات الفردية
يتضمن أبسط نمط توزيع لإنشاء بنية شبكة بيانات منطقة هبوط واحدة لإدارة البيانات ومنطقة هبوط بيانات واحدة. ستبدو بنية البيانات في مثل هذا السيناريو كما يلي:
في هذا النموذج، توجد جميع مجالات البيانات الوظيفية الخاصة بك نفس منطقة البيانات المنتقل إليها. يحتوي اشتراك واحد على مجموعة قياسية من الخدمات. تفصل مجموعات الموارد مجالات بيانات ومنتجات بيانات مختلفة. تنطبق خدمات البيانات القياسية، مثل Azure Data Lake Store وAzure Logic Apps وAzure Synapse Analytics، على جميع المجالات.
تتبع جميع مجالات البيانات مبادئ شبكة البيانات: تتبع البيانات ملكية المجال، ويتم التعامل مع البيانات مثل المنتجات. النظام الأساسي هو الخدمة الذاتية بالكامل، على الرغم من وجود اختلافات محدودة في الخدمات. يجب أن تلتزم جميع المجالات بشدة وأن تتوافق مع نفس مبادئ إدارة البيانات.
يمكن أن يكون خيار التوزيع هذا مفيدا للشركات الأصغر أو مشاريع greenfield التي تريد احتضان شبكة البيانات ولكن ليس الأمور المعقدة للغاية. يمكن أن يكون هذا النشر أيضا نقطة بداية لمؤسسة تخطط لبناء شيء أكثر تعقيدا. في هذه الحالة، خطط للتوسع إلى مناطق هبوط متعددة في وقت لاحق.
مناطق هبوط متوافقة مع النظام المصدر ومتوافقة مع المستهلك
في النموذج السابق، لم نأخذ في الاعتبار الاشتراكات الأخرى أو التطبيقات المحلية. يمكنك تغيير النموذج السابق قليلا عن طريق إضافة منطقة هبوط متوافقة مع النظام المصدر لإدارة جميع البيانات الواردة. يعد إعداد البيانات عملية صعبة، لذا فإن وجود منطقتين من مناطق هبوط البيانات أمر مفيد. يظل الإلحاق أحد الأجزاء الأكثر تحديا لاستخدام البيانات بشكل عام. يتطلب الإلحاق أيضا في كثير من الأحيان أدوات إضافية لمعالجة التكامل، لأن تحدياته تختلف عن تحديات التكامل. يساعد على التمييز بين توفير البيانات واستهلاك البيانات.
في البنية الموجودة على يسار هذا الرسم التخطيطي، تسهل الخدمات جميع إلحاق البيانات، مثل CDC أو خدمات سحب واجهات برمجة التطبيقات أو خدمات مستودع البيانات لبناء مجموعات البيانات ديناميكيا. يمكن للخدمات في هذا النظام الأساسي سحب البيانات من البيئات المحلية أو السحابية أو موردي SaaS. عادة ما يكون لهذا النوع من النظام الأساسي المزيد من النفقات العامة، لأن هناك المزيد من الاقتران مع التطبيقات التشغيلية الأساسية. قد ترغب في التعامل مع هذا بشكل مختلف عن أي استخدام للبيانات.
في البنية الموجودة على يمين الرسم التخطيطي، تعمل المؤسسة على تحسين الاستهلاك ولديها خدمات تركز على تحويل البيانات إلى قيمة. يمكن أن تتضمن هذه الخدمات التعلم الآلي وإعداد التقارير وما إلى ذلك.
تتبع مجالات البنية هذه جميع مبادئ شبكة البيانات. تأخذ المجالات ملكية البيانات ويسمح لها بتوزيع البيانات مباشرة على مجالات أخرى.
المناطق المنتقل إليها للبيانات المركزية وال عامها وخاصة
خيار التوزيع التالي هو تكرار آخر للتصميم السابق. يتبع هذا التوزيع مخطط شبكة مدار: يتم توزيع البيانات عبر مركز مركزي، حيث يتم تقسيم البيانات لكل مجال، ومعزولة منطقيا، وغير متكاملة. يستخدم مركز هذا النموذج منطقة هبوط البيانات الخاصة به (غير المحددة بالمجال)، ويمكن أن يكون مملوكا لفريق إدارة البيانات المركزي الذي يشرف على البيانات التي يتم توزيع البيانات عليها في المجالات الأخرى. كما يحمل المركز خدمات تسهل إلحاق البيانات.
بالنسبة للمجالات التي تتطلب خدمات قياسية لاستهلاك البيانات الجديدة واستخدامها وتحليلها وإنشاءها، استخدم منطقة هبوط بيانات عامة. يحتوي هذا الاشتراك الفردي على مجموعة قياسية من الخدمات. قم أيضا بتطبيق ظاهرية البيانات، حيث إن معظم منتجات البيانات الخاصة بك موجودة بالفعل في المركز ولا تحتاج إلى المزيد من تكرار البيانات.
يسمح هذا التوزيع ب "المزايا الخاصة": مناطق هبوط إضافية يمكنك توفيرها عندما لا يكون من الممكن تجميع المجالات منطقيا. قد تكون هناك حاجة إليها عند تطبيق الحدود الإقليمية أو القانونية، أو عندما يكون لمجالاتك متطلبات فريدة ومتناقضة. قد تحتاج إليها أيضا في الحالات التي يتم فيها تطبيق حوكمة فرعية عالمية قوية مع استثناءات للأنشطة الخارجية.
إذا كانت مؤسستك بحاجة إلى التحكم في البيانات التي يتم توزيعها واستهلاكها بواسطة المجالات، فإن نشر المركز هو خيار جيد. كما أنه خيار إذا كنت تعالج المخاوف المتغيرة زمنيا وغير المتقلبة لمستهلكي البيانات الكبيرة. يمكنك توحيد تصميم منتج البيانات بقوة، والذي يسمح للمجالات الخاصة بك بالسفر عبر الوقت وإجراء عمليات إعادة الحياة. هذا النموذج شائع بشكل خاص داخل الصناعة المالية.
مناطق هبوط البيانات الوظيفية والمتوافقة إقليميا
يمكن أن يساعدك توفير مناطق هبوط بيانات متعددة في تجميع المجالات الوظيفية استنادا إلى التماسك والكفاءة للعمل ومشاركة البيانات. تلتزم جميع مناطق هبوط البيانات بنفس التدقيق وعناصر التحكم، ولكن لا يزال بإمكانك الحصول على المرونة وتصميم التغييرات بين مناطق البيانات المنتقل إليها المختلفة.
تحدد الجوانب المتعددة مجالات البيانات الوظيفية التي يجب تجميعها معا منطقيا وجعلها مرشحة لمنطقة هبوط بيانات مشتركة. على سبيل المثال، يمكن أن تؤدي الحدود الإقليمية إلى تنفيذ نفس المخططات. يمكن أن تجبرك الملكية أو الأمان أو الحدود القانونية على فصل المجالات. المرونة وسرعة التغيير والفصل أو بيع قدراتك هي أيضا عوامل مهمة.
يمكن العثور على مزيد من الإرشادات وأفضل الممارسات في مجالات البيانات.
مناطق الهبوط المختلفة لا تقف وحدها. يمكنهم الاتصال بمستودعات البيانات المستضافة في مناطق أخرى. يسمح هذا للمجالات بالتعاون عبر مؤسستك. يمكنك أيضا تطبيق استمرار متعدد اللغات لخلط تقنيات مخزن البيانات المختلفة. يسمح استمرار متعدد اللغات للمجالات الخاصة بك بقراءة البيانات مباشرة من مجالات أخرى دون تكرار البيانات.
عند توزيع مناطق هبوط بيانات متعددة، تعرف أن هناك حملا إداريا مرفقا بكل منطقة من مناطق البيانات المنتقل إليها. يجب تطبيق نظير الشبكة الظاهرية بين جميع مناطق البيانات المنتقل إليها، ويجب عليك إدارة نقاط نهاية خاصة إضافية، وما إلى ذلك.
يعد نشر مناطق هبوط بيانات متعددة خيارا جيدا إذا كانت بنية البيانات كبيرة. يمكنك إضافة المزيد من المناطق المنتقل إليها إلى بنيتك لتلبية الاحتياجات المشتركة لمختلف المجالات. تستخدم مناطق الهبوط الإضافية هذه نظير الشبكة الظاهرية للاتصال بكل من منطقة هبوط إدارة البيانات وجميع المناطق المنتقل إليها الأخرى. يسمح لك التناظر بمشاركة مجموعات البيانات والموارد عبر المناطق المنتقل إليها. يتيح لك تقسيم البيانات عبر مناطق منفصلة نشر أحمال العمل عبر اشتراكات وموارد Azure. يساعد هذا النهج على تنفيذ شبكة البيانات بشكل عضوي.
مؤسسة واسعة النطاق تتطلب مناطق مختلفة لإدارة البيانات
يمكن أن يكون للمؤسسات الكبيرة التي تعمل على نطاق عالمي متطلبات إدارة بيانات متباينة بين أجزاء مختلفة من مؤسستها. يمكنك نشر العديد من مناطق إدارة البيانات والبيانات المنتقل إليها معا لمعالجة هذه المشكلة. يوضح الرسم التخطيطي التالي مثالا على هذا النوع من البنية:
يجب أن تبرر مناطق هبوط إدارة البيانات المتعددة النفقات العامة وتعقيد التكامل. على سبيل المثال، قد يكون لمنطقة هبوط أخرى لإدارة البيانات معنى للحالات التي لا يجب فيها رؤية بيانات مؤسستك (meta) من قبل أي شخص خارج مؤسستك.
الختام
الانتقال إلى شبكة البيانات هو تحول ثقافي يتضمن الفروق الدقيقة والمفاضلات والاعتبارات. يمكنك استخدام التحليلات على نطاق السحابة للحصول على أفضل الممارسات والموارد القابلة للتنفيذ. توفر البنيات المرجعية لهذه المقالة نقاط بداية لبدء تنفيذك.