ما هو منتج البيانات؟
ينشئ كل تطبيق البيانات ويخزنها إما مؤقتا أو نهائيا. تقوم العديد من التطبيقات أيضا بإنشاء البيانات وحفظها لأغراض الإدارة التشغيلية، مثل تسجيل الأخطاء ومراقبة السلامة. تستخدم فرق البيانات المركزية عمليات ETL لاستهلاك ومعالجة البيانات التي تنتجها هذه التطبيقات. غالبا ما يكون لدى فرق عمليات التطبيق تدفقات إضافية لمعالجة البيانات لأشياء مثل صحة التطبيق ومراقبة حالة KPI.
النهج التقليدي لشلالات الفرق والمسؤوليات في تكامل البيانات الخاص بك ليس مثاليا. يمكن أن يؤدي ذلك إلى فجوات معرفية ومشاكل ملكية وتعارضات في الاتصال تؤثر على جودة بياناتك وحسن توقيتها وقيمتها للمستخدمين النهائيين. فرق التطبيق مسؤولة عن أداء التطبيق ونجاحه. في عملهم، يحتاجون إلى إجراء تغييرات على عمليات انتقال البيانات من الخادم المملوكة لفرق أخرى، ولكن هذه التغييرات غالبا لا تسير وفقا للخطة. على سبيل المثال، قد تجد أن ما يسمى بالتغيير الثانوي في المصدر يغير بشكل كبير اتجاه مؤشر الأداء الرئيسي. يمكن أن تؤثر هذه الأنواع من مشكلات البيانات على قدرتك على اتخاذ قرارات حاسمة.
يمنع نهج شبكة البيانات هذه المشكلات من خلال اعتماد مفهوم البيانات كمنتج. يتعامل مالكو التطبيقات وفرق التطبيقات مع البيانات على أنها منتج مضمن بالكامل مسؤولون عنه، بدلا من منتج ثانوي لبعض العمليات التي يديرها الآخرون. يقع كل من التطبيقات والبيانات التحليلية التي تخدم المهام ضمن مجالات مسؤولية المجال.
يتم إنشاء منتجات البيانات خصيصا للاستهلاك التحليلي. لقد حددوا الأشكال وواجهات الاستهلاك ودورات الصيانة والتحديث واتفقوا عليها، وكلها موثقة.
تتم معالجة منتجات البيانات أصول بيانات المجال/مجموعات البيانات المشتركة مع عمليات انتقال البيانات من الخادم من خلال الواجهات في SLO. ما لم يكن مطلوبا خلاف ذلك، يجب معالجة بياناتك الأولية وتشكيلها وتنظيفها وتجميعها وتطبيعها لتلبية معايير الجودة المتفق عليها قبل إتاحتها للاستهلاك.
توضح الأقسام التالية الخصائص الشائعة لمنتجات البيانات الجيدة.
خصائص منتج البيانات
منتجات البيانات المصممة تصميما جيدا هي:
قابل للاكتشاف ومفهومة وجديرة بالثقة: توفر فرق المجال إمكانية الاكتشاف والفهم من خلال مشاركة وتحديث المعلومات حول كل منتج بيانات وبياناته ومعناه وتنسيق شكل بياناته ودورة التحديث الخاصة به. وهي تنقل التغييرات في البيانات أو الشكل إلى مستهلكي انتقال البيانات من الخادم في الوقت المناسب. تضمن الواجهات الثقة من خلال توفير التوافق مع الإصدارات السابقة المحددة زمنيا لأشكال منتجات البيانات.
قابلة للعنوان ويمكن الوصول إليها في الأصل وآمنة: توفر العمليات المحددة لتحديد موقع كل منتج بيانات والوصول إليه قابلية العنوان. توجد تدابير أمنية ضرورية لمختلف متطلبات الوصول. تنتقل عقلية ملكية مجال البيانات من حماية البيانات إلى خدمة البيانات باحتياطات أمنية محددة جيدا. واجهات الوصول المعروضة موثقة جيدا ويمكن أن تختلف في تقنيات مختلفة. تتضمن الواجهات شائعة الاستخدام لمنتجات البيانات التي يمكن الوصول إليها في الأصل واجهات برمجة التطبيقات ومستخدمي قاعدة البيانات والجداول أو طرق العرض والملفات ذات حقوق الوصول الضرورية.
قابلة للتشغيل التفاعلي، وصادقة، وقيمة: توفر البيانات إمكانية التشغيل التفاعلي باتباع معايير مشتركة محددة، مثل نفس القيم التي لها دائما نفس الاسم ونوع البيانات. على سبيل المثال، قد يكون العمود الذي يحتوي على بيانات تعريف العميل بعنوان CustomerID في كل منتج بيانات، وقد تكون بياناته دائما عددا صحيحا، أو تستخدم snake_case أو camelCase في كل مثيل. توفر منتجات البيانات قيمة للعملاء، ويمكن استخدامها أيضا كمصادر منبع لمنتجات البيانات الجديدة في نفس المجالات أو مجالات مختلفة. ومع ذلك، لا يمكنك فقط حمل ونسخ نفس منتج البيانات في أماكن متعددة. يجب أن يوفر كل منتج بيانات يأتي من منتج بيانات سابق قيمة ومعلومات جديدة لمستهلكي انتقال البيانات من الخادم. يجب أن توفر منتجات البيانات دائما بيانات صادقة وغير خاطئة.
تساعد منتجات البيانات المصممة جيدا والمصانة جيدا وواجهاتها المؤسسات على تجنب تكرار البيانات ويمكن أن تساعد في إنشاء مصدر واحد أصلي للحقيقة.
توصيات تصميم منتج البيانات
لتلبية متطلبات خدمة منتجات البيانات، يجب على فرق المجال الحصول على مجموعة جديدة من المهارات واستخدام أدوات ومنصات جديدة.
تجهيز فرق تطبيقات المجال بشكل كامل لبناء تطبيقات البيانات وإنتاج منتجات البيانات أو تقديمها. يمكن لفرقك إنشاء منتجات بيانات باستخدام مكدس تكنولوجيا مألوف. قد يفضلون أيضا أن يكون لديهم مثيل Spark الخاص بهم أو محرك البنية الأساسية لبرنامج ربط العمليات التجارية إذا كان ذلك ممكنا. على سبيل المثال، قد يقرر مجال كبير يخدم العديد من منتجات البيانات معالجة منتجات البيانات وتقديمها من Azure Synapse Analytics الخاصة بها. قد تقرر المؤسسات الأصغر والمجالات الأصغر للمؤسسات الكبيرة تطوير تطبيقات البيانات الخاصة بها وتشغيلها على نظام أساسي مشترك، مثل Azure Data Factory في موقع مركزي أو Azure Synapse Analytics أو Azure Databricks.
تأكد من أن منتجات البيانات الخاصة بك لها الخصائص الشائعة الموضحة في هذه المقالة، وأن مستودع دورة حياة البيانات يعكس دورة حياة تطبيق البيانات الخاص بك، ويتم التحكم في التنفيذ والوصول.
إرشادات منتج البيانات وتطبيق البيانات ل Azure
يمكنك وضع جميع الأساليب الممكنة لبيئة تطبيق البيانات الخاصة بك داخل مناطق هبوط بيانات Azure إذا كانت فرق تطبيقات المجال تستخدم نظاما أساسيا مشتركا ومجموعة من الخدمات.
يمكنك العثور على ثلاثة قوالب مختلفة لنمط تطبيق البيانات لمناطق هبوط بيانات Azure في منتجات بيانات التحليلات على نطاق السحابة في Azure - نماذج تطبيقات البيانات.