تخزين البيانات والتحليلات الخاصة بها
يوضح هذا المثال سيناريو البنية الأساسية لبرنامج ربط العمليات التجارية بيانات لدمج كميات كبيرة من البيانات من مصادر متعددة في النظام الأساسي للتحليلات الموحدة في Azure. يستند هذا السيناريو المحدد إلى حل المبيعات والتسويق، ولكن أنماط التصميم ذات الصلة بالعديد من الصناعات التي تتطلب تحليلات متقدمة لمجموعات البيانات الكبيرة مثل التجارة الإلكترونية وعملية البيع بالتجزئة والرعاية الصحية.
بناء الأنظمة
قم بتنزيل ملف Visio لهذه البنية.
تدفق البيانات
تتدفق البيانات من خلال الحل على النحو التالي:
- لكل مصدر بيانات، يتم تصدير أي تحديثات بشكل دوري إلى منطقة التقسيم المرحلي في Azure Data Lake Storage.
- يقوم Azure Data Factory بتحميل البيانات بشكل متزايد من Azure Data Lake Storage إلى جداول التقسيم المرحلي في Azure Synapse Analytics. تنظف البيانات وتحول أثناء هذه العملية. يمكن لـ PolyBase موازاة العملية الخاصة بمجموعات البيانات الكبيرة.
- بعد تحميل دفعة جديدة من البيانات في المستودع، يتم تحديث نموذج جدولي ل Azure Analysis Services تم إنشاؤه مسبقا. يبسط هذا النموذج الدلالي عملية تحليل بيانات الأعمال والعلاقات.
- يستخدم محللو الأعمال Microsoft Power BI لتحليل البيانات المخزنة من خلال النموذج الدلالي Analysis Services.
المكونات
تمتلك الشركة مصادر بيانات على العديد من الأنظمة الأساسية المختلفة:
- SQL Server محلي
- Oracle محلي
- قاعدة بيانات Azure SQL
- مخزن جداول Azure
- Azure Cosmos DB
تحمل البيانات من مصادر البيانات المختلفة هذه باستخدام العديد من مكونات Azure:
- يتم استخدام Azure Data Lake Storage لتنظيم بيانات المصدر قبل تحميلها في Azure Synapse.
- ينسق Data Factory تحويل البيانات المرحلية إلى البنية المشتركة في Azure Synapse. يستخدم Data Factory PolyBase عند تحميل البيانات في Azure Synapse لزيادة معدل النقل إلى الحد الأقصى.
- Azure Synapse هو نظام موزع لتخزين مجموعات البيانات الضخمة وتحليلها. استخدامه للمعالجة المتوازية الضخمة (MPP) يجعلها مناسبة لتشغيل التحليلات العالية الأداء. يمكن ل Azure Synapse استخدام PolyBase لتحميل البيانات بسرعة من Azure Data Lake Storage.
- توفر Analysis Services نموذجا دلاليا للبيانات الخاصة بك. كما يمكن أن يزيد من أداء النظام عند تحليل البيانات الخاصة بك.
- Power BI عبارة عن مجموعة من أدوات تحليل الأعمال لتحليل البيانات ومشاركة الرؤى. من الممكن لـ Power BI الاستعلام عن نموذج دلالي مخزن في Analysis Services، أو يمكنه الاستعلام عن Azure Synapse مباشرة.
- يصادق معرف Microsoft Entra المستخدمين الذين يتصلون بخادم Analysis Services من خلال Power BI. يمكن ل Data Factory أيضا استخدام معرف Microsoft Entra للمصادقة على Azure Synapse عبر كيان الخدمة أو الهوية المدارة لموارد Azure.
البدائل
يشمل مثال البنية الأساسية لبرنامج ربط العمليات التجارية عدة أنواع مختلفة من مصادر البيانات. يمكن لهذا المؤشر التعامل مع مجموعة واسعة من مصادر البيانات العلائقية وغير العلائقية.
ينسق Data Factory مهام سير العمل للبنية الأساسية لبرنامج ربط العمليات التجارية البيانات. إذا كنت ترغب في تحميل البيانات مرة واحدة فقط أو عند الطلب، يمكنك استخدام أدوات مثل النسخ المجمع ل SQL Server (bcp) وAzCopy لنسخ البيانات إلى Azure Data Lake Storage. بإمكانك بعد ذلك تحميل البيانات مباشرة إلى Azure Synapse باستخدام PolyBase.
في حالة كان لديك مجموعات بيانات كبيرة جدا، ففكر في استخدامData Lake Storage، والتي توفر تخزينا لا حدود له لبيانات التحليلات.
لا يعد Azure Synapse مناسبا لأحمال عمل OLTP أو مجموعات البيانات الأصغر من 250GB. بالنسبة لهذه الحالات، يلزم استخدام قاعدة بيانات Azure SQL أو SQL Server.
للحصول على مقارنات البدائل الأخرى، قم بمراجعة:
تفاصيل السيناريو
يوضح هذا المثال شركة مبيعات وتسويق تقوم بإنشاء برامج حوافز. تكافئ هذه البرامج كل من العملاء والموردين ورجال المبيعات والموظفين. البيانات أساسية لهذه البرامج، وتريد الشركة تحسين نتيجة التحليلات المكتسبة من خلال تحليلات البيانات باستخدام Azure.
تحتاج الشركة إلى نهج حديث لتحليل البيانات، بحيث يتم اتخاذ القرارات باستخدام البيانات السليمة في الوقت المناسب. تشمل أهداف الشركة ما يلي:
- الجمع بين أنواع مختلفة من مصادر البيانات في نظام أساسي على تغير سعة السحابة.
- تحويل البيانات الخاصة بالمصدر إلى تصنيف وبنية مشتركين، لجعل البيانات متسقة وسهلة المقارنة.
- تحميل البيانات باستخدام نهج متوازي للغاية يمكن أن يدعم آلاف برامج الحوافز، دون ارتفاع تكاليف توزيع البنية التحتية المحلية وصيانتها.
- تقليل الوقت المطلوب لجمع البيانات وتحويلها بشكل كبير، حتى تتمكن من التركيز على تحليل البيانات.
حالات الاستخدام المحتملة
من الممكن استخدام هذا النهج أيضاً من أجل:
- إنشاء مستودع بيانات ليكون مصدرا واحدا للحقيقة للبيانات الخاصة بك.
- عملية دمج مصادر البيانات الارتباطية مع مجموعات البيانات الأخرى غير المنظمة.
- استخدم النمذجة الدلالية وأدوات التصور القوية لتحليل البيانات بطريقة أبسط.
الاعتبارات
تنفذ هذه الاعتبارات ركائز Azure Well-Architected Framework، وهو عبارة عن مجموعة من المبادئ التوجيهية التي يمكن استخدامها لتحسين جودة حمل العمل. لمزيد من المعلومات، يرجى مراجعةMicrosoft Azure Well-Architected Framework.
تم اختيار التقنيات في هذه البنية لأنها تلبي متطلبات الشركة في القابلية للتوسع والتوافر، مع مساعدتهم على التحكم في التكاليف.
- توفر بنية المعالجة المتوازية على النطاق الواسع لـ Azure Synapse قابلية التوسع والأداء العالي.
- تضمن Azure Synapse اتفاقيات مستوى الخدمة (SLAs) والممارسات الموصى بها لتحقيق قابلية وصول عالية.
- عندما يكون نشاط التحليل منخفضا، يمكن للشركةتوسيع نطاق Azure Synapse عند الطلب، ما يقلل من الحساب أو حتى إيقافها مؤقتا لخفض التكاليف.
- يمكن توسيع نطاقAzure Analysis Services لتقليل أوقات الاستجابة أثناء أحمال عمل الاستعلام العالية. يمكنك أيضا فصل المعالجة عن تجمع الاستعلام، بحيث لا يتم إبطاء الاستعلامات الخاصة بالعميل عن طريق معالجة العمليات.
- كما تضمن Azure Analysis Services SLA ووالممارسات الموصى بها لتحقيق قابلية الوصول العالية.
- يوفر نموذج أمان Azure Synapse أمان الاتصال والمصادقة والتخويل عبر معرف Microsoft Entra أو مصادقة SQL Server والتشفير. تستخدم Azure Analysis Services معرف Microsoft Entra لإدارة الهوية ومصادقة المستخدم.
تحسين التكلفة
يركز تحسين التكلفة على البحث عن طرق للحد من النفقات غير الضرورية وتحسين الكفاءة التشغيلية. لمزيد من المعلومات، راجع نظرة عامة على ركيزة تحسين التكلفة.
راجع pricing sample for a data warehousing scenario via the Azure pricing calculator. اضبط القيم لمعرفة كيفية تأثير المتطلبات الخاصة بك على تكاليفك.
- يتيح لكAzure Synapse بتوسيع نطاق مستويات الحساب والتخزين بشكل مستقل. يتم تحصيل الرسوم من موارد الحساب في الساعة، ويمكنك تغيير حجم هذه الموارد أو إيقافها مؤقتا عند الطلب. تتم فوترة موارد التخزين لكل تيرابايت، لذلك ستزيد التكاليف الخاصة بك أثناء استيعاب المزيد من البيانات.
- تستند تكاليف Data Factory إلى عدد عمليات القراءة/الكتابة وعمليات المراقبة وأنشطة التنسيق التي تنفذ في حمل العمل. ستزيد تكاليف مصنع البيانات الخاص بك مع كل دفق بيانات إضافي وكمية البيانات التي تتم معالجتها بواسطة كل واحد منها.
- تتوفر Analysis Services في المستويات المطور والأساسي والقياسي. يتم تسعير المثيلات استنادا إلى وحدات معالجة الاستعلام (QPUs) والذاكرة المتاحة. للحفاظ على التكاليف الخاصة بك أقل، قم بتقليص عدد الاستعلامات التي تقوم بتشغيلها، ومقدار البيانات التي تعالجها، وعدد مرات تشغيلها.
- يحتويPower BI على خيارات منتج مختلفة لمتطلبات مختلفة. Power BI Embedded يوفر خياراً مستنداً إلى Azure لتضمين وظائف Power BI داخل تطبيقاتك. ويتم تضمين مثيل Power BI Embedded في النموذج الخاص بالأسعار أعلاه.
المساهمون
تحتفظ Microsoft بهذه المقالة. تمت كتابته في الأصل من قبل المساهم التالي.
الكاتب الرئيسي:
- أليكس باك | مطور محتوى أول
لمشاهدة ملفات تعريف LinkedIn غير العامة، سجل الدخول إلى LinkedIn.
الخطوات التالية
راجع Azure reference architecture for automated enterprise BI، والتي تتضمن إرشادات لتوزيع مثيل من هذه البنية في Azure.
تعرف على المزيد حول الخدمات المستخدمة في هذا السيناريو: