استكشاف عملية تحليل البيانات

مكتمل

تحليلات البيانات هي عملية جمع البيانات وتحويلها وتقديمها بهدف إعلام عملية صنع القرار. يبدأ تطوير حل تحليلي قبل إشراك أي تقنية، مع تمرين جمع المتطلبات. من هناك تستمر العملية في استيعاب البيانات ومعالجتها واستكشافها. ويتبع التحليل ونشر الحل بطلب ملاحظات من الشركة. أخيراً، يتم تحسين حل التحليلات وتبدأ العملية مرة أخرى. لا تنتهي عملية التحليلات أبداً.

Steps in the data anlytics process portrayed in a circular process, beginning with requirements gathering, then data ingestion and processing, the data exploration, then data analysis, then deploy analytics solution, then request and process feedback, and finally optimize solution. Arrow indicates that process begins again.

هنا، ستتعرف على الخطوات المضمنة في عملية تحليل البيانات.

جمع المتطلبات

تعمل فرق البيانات مع الشركة لفهم احتياجات العمل والنتائج المرجوة من مشروع التحليلات. يشمل جمع المتطلبات تحديد:

  • ما أسئلة الشركة الرئيسية؟
  • ما البيانات المتاحة؟ هل ستستجيب البيانات المتاحة لاحتياجات العمل أم هناك حاجة إلى جمع المزيد من البيانات؟
  • ما الأبعاد الأساسية - كيف سيرغب حملة الأسهم في تقسيم البيانات وتجزئتها؟
  • ما مؤشرات الأداء الرئيسية أو مقاييس الأداء؟
  • كيف سيستخدم المستخدمون التحليل؟
  • ما معدل استيعاب البيانات؟
  • ما معدل إعداد التقارير؟

أحد الأفكار الخاطئة الشائعة أن بإمكان فريق البيانات استخراج رؤى من كميات البيانات دون مناقشة أي من الأسئلة المذكورة أعلاه. لن يتمكن فريق البيانات من تحديد نوع التحليل المناسب و/أو الحل الصحيح دون اتباع عملية منظمة لجمع المتطلبات.

قد يتخذ جمع المتطلبات أشكالاً عديدة اعتماداً على هيكل الفريق وحجم البيانات والسرعة ونوع التحليل المطلوب.

وصف استيعاب البيانات ومعالجتها

باستخدام المتطلبات التي تم جمعها من الشركة، سيبدأ فريق البيانات في استيعاب البيانات وتحويلها.

تشمل خدمات بيانات Azure المتاحة للاستيعاب والتحويل، على سبيل المثال لا الحصر، Azure Cosmos DB وAzure SQL Database وAzure Synapse Analytics وAzure Databricks وAzure Data Lake وAzure Event Hubs وAzure Stream Analytics.

غالباً ما يكون مهندس البيانات مسؤولاً عن الاستيعاب الأولي للبيانات وتحويلها. ثم تُعرض البيانات على أعضاء آخرين في فريق البيانات لاستكشافها وتحليلها. قد تقتصر خدمات بيانات Azure التي يشيع استخدامها من قبل محللي بيانات المؤسسات وعلماء البيانات على قواعد بيانات أو مستودعات بيانات محددة.

تشير مصطلحات استخراج وتحويل وتحميل (ETL) أو استخراج وتحميل وتحويل (ELT) إلى عملية استيعاب البيانات ومعالجتها.

ملاحظة

تعرف على المزيد حول عملية ETL.

استكشاف البيانات

استكشاف البيانات هو الجهد المبذول لفهم ما تعمل به، وكيف يمكن لهذه البيانات أن تستجيب لاحتياجات الشركة. يمكن إجراء استكشاف البيانات باستخدام العديد من الأدوات المختلفة. على المستوى الأساسي، قد يستخدم فريق البيانات Excel للنظر في محتويات .csv لعرض عدد السجلات و/أو المتغيرات المحددة التي يتعين عليهم استكشافها. يجوز لكل عضو في فريق البيانات إجراء تنميط البيانات باستخدام أداة مختلفة. قد يقوم المحلل بتعريف البيانات باستخدام Power Query في Power BI، بينما قد يستخدم عالم البيانات Apache Spark في Azure Synapse.

يساعد استكشاف البيانات في الإبلاغ عن الخطوات المطلوبة لتحويل البيانات وتنظيفها، والتي يمكن توصيلها احتياطياً إلى مهندس البيانات لتضمينها في حل التحليلات.

قد يبدأ المحلل أيضاً في استخدام لوحة المعلومات أو إعداد تقرير عن النماذج الأولية في مرحلة استكشاف البيانات. إن فهم الكيفية التي ترغب بها الشركة في رؤية واستخدام نتائج التحليل سيوفر المعلومات اللازمة للنموذج الأولي، هذا إلى جانب الاتجاهات و/أو الرؤى التي تم الكشف عنها أثناء استكشاف البيانات.

تحليل البيانات

بعد استكشاف البيانات، يمكن أن يبدأ تحليل البيانات. يمكن أن يكون التحليل وصفياً أو توقعياً أو توجيهياً أو حتى معرفياً ويمكن إجراؤه باستخدام العديد من الأدوات المختلفة. يجب أن تستجيب النتائج لاحتياجات العمل المحددة، ومن المرجح أن تؤدي إلى المزيد من الأسئلة والتحليلات عند المراجعة الأولية.

هناك فرق بين التحليل لمرة واحدة وحل التحليلات. لكل منهما مكانه، وسيتم تحديد الحاجة إلى أحدهما أو إلى الآخر أثناء عملية جمع المتطلبات.

نشر حل التحليلات

سيتم تقديم النتائج إلى حملة الأسهم باستخدام أداة لإعداد التقارير أو تصور البيانات مثل Microsoft Power BI، حيث يمكن للأشخاص التفاعل مع نتائج التحليل واستخدامها لاتخاذ القرارات.

ستساعد الاعتبارات الرئيسية في نشر حل التحليلات في تحديد الأدوات المناسبة والترخيص والأذونات اللازمة لتوفير البيانات لكل من يحتاجها. وفي النهاية سيؤدي الوصول إلى الرؤى في الوقت المناسب إلى اتخاذ قرارات مستنيرة بالبيانات.

طلب الملاحظات ومعالجتها

قد يبدو نشر أحد حلول التحليلات وكأنه خط النهاية، ولكن من المهم فهم إجابات بعض الأسئلة الأساسية.

  • هل يتم استخدام منتج البيانات؟
  • هل يستجيب التحليل حقاً لاحتياجات العمل؟
  • هل هناك أي مشاكل فنية غير متوقعة في الحل؟
  • هل يمكن الوصول إلى منتج البيانات؟
  • ما الأسئلة الجديدة التي يثيرها هذا التحليل؟

الأفراد الذين يستخدمون حل التحليلات هم عملاؤك، وإذا كان المنتج الذي قمت بإنشائه لا يستجيب لاحتياجاتهم بشكل كاف، فهناك عمل يجب القيام به.

هناك وسائط متعددة لطلب الملاحظات. قد يتطلب الإطلاق الأول للحل اجتماعات مراجعة منتظمة، في حين أن مراقبة مقاييس الاستخدام لمشروع مستمر ستساعدك على فهم الاستخدام بمرور الوقت وحتى مجالات الحل المفيدة وغير المفيدة.

تحسين الحل

يعد تنفيذ ملاحظات المستخدمين خطوة أولى منطقية لتحسين حل التحليلات الخاص بك. قد تكون هناك أيضاً فرص لإزالة زمن الانتقال في العملية، على سبيل المثال، ضمان تحديث البيانات في الوقت المخصص. قد يعني التحسين أيضاً عكس احتياجات المستخدم بدقة أكبر من خلال تعديل التصميم المرئي أو ضمان عرض مرئيات التقرير بسرعة.

ابدأ من جديد

عملية التحليلات دورية بطبيعتها. غالباً ما يؤدي عرض البيانات والرؤى إلى طلبات لمزيد من التحليل، ما يؤدي إلى مزيد من الملاحظات، وما إلى ذلك. في فريق البيانات الكبير، قد تحدث عملية التحليلات في فترات قصيرة، حيث يعمل أعضاء الفريق المختلفون في وقت واحد لتحقيق أهداف صغيرة قبل الانتقال إلى الخطوة التالية في العملية. في الفرق الأصغر، قد يقوم شخص واحد بأدوار متعددة، مما يجعل العملية تبدو مختلفة.

بغض النظر عن شكل العملية بالنسبة لك، فإن التواصل مكون أساسي طوال الوقت. يجب أن يتواصل فريق البيانات مع بعضهم البعض وأن يكونوا في حوار مع الشركة، لضمان استجابة تطوير الحلول لاحتياجات العمل والاحتياجات التي قد تظهر في البيانات.