توسع البنية التالية التحليلات من طرف إلى طرف مع سيناريو Azure Synapse Analytics . يسمح بتدريب نموذج التعلم الآلي المخصص (ML) في Azure التعلم الآلي وتنفيذه باستخدام تطبيق مخصص تم إنشاؤه باستخدام Microsoft Power Platform.
بناء الأنظمة
نزّل ملف Visio لهذه البنية.
سير العمل
يتكون سير العمل من الخطوات التالية:
- الاستيعاب
- متجر
- تدريب نموذج وتوزيعه
- الاستهلاك
الاستيعاب
استخدم Azure Synapse Pipelines لسحب بيانات الدفعات من مصادر مختلفة، سواء في الموقع أو في السحابة. تحتوي بنية lambda هذه على تدفقين لاستيعاب البيانات: الدفق والدفعة. تم وصفها هنا:
- الدفق: في النصف العلوي من الرسم التخطيطي للبنية السابقة، توجد تدفقات بيانات الدفق (على سبيل المثال، تدفقات البيانات الضخمة وأجهزة IoT).
- استخدم مركز الأحداث من Azure أو Azure IoT Hubs لاستيعاب تدفقات البيانات التي تم إنشاؤها بواسطة تطبيقات العميل أو أجهزة IoT. تقوم مراكز الأحداث أو مركز IoT بتخزين البيانات المتدفقة وتخزينها، مع الحفاظ على تسلسل الأحداث المستلمة. يمكن للمستهلكين الاتصال بنقاط نهاية المركز لاسترداد الرسائل للمعالجة.
- الدفعة: في النصف السفلي من الرسم التخطيطي للبنية، يتم استيعاب البيانات ومعالجتها على دفعات مثل:
البيانات غير المنظمة (على سبيل المثال، الفيديو والصور والصوت والنص المجاني)
البيانات شبه المنظمة (على سبيل المثال، JSON وXML وCSV والسجلات)
البيانات المنظمة (على سبيل المثال، قواعد البيانات الارتباطية وخدمات بيانات Azure)
ينشئ Azure Synapse Link تكاملا سلسا محكما بين Azure Cosmos DB وAzure Synapse Analytics. يمكن تشغيل Azure Synapse Pipelines استنادا إلى جدول زمني محدد مسبقا أو استجابة لحدث. يمكن أيضاً استدعاؤها عن طريق استدعاء واجهات برمجة تطبيقات REST.
متجر
يمكن أن تنتقل البيانات التي تم استيعابها مباشرة بتنسيق أولي ثم يتم تحويلها على Azure Data Lake. يمكن تقديم البيانات بمجرد تنسيقها وتحويلها إلى بنيات ارتباطية للاستهلاك في Azure Synapse Analytics.
تدريب نموذج وتوزيعه
يوفر التعلم الآلي خدمة التعلم الآلي على مستوى المؤسسة لبناء النماذج ونشرها بشكل أسرع. فهو يوفر للمستخدمين على جميع مستويات المهارات مصمم تعليمة برمجية منخفضة، وML تلقائي، وبيئة دفتر ملاحظات Jupyter مستضافة. يمكن نشر النماذج إما كنقاط نهاية في الوقت الحقيقي على خدمة Azure Kubernetes أو كنقطة نهاية مدارة التعلم الآلي. للاستدلال الجماعي على نماذج التعلم الآلي، يمكنك استخدام مسارات التعلم الآلي.
الاستهلاك
يمكن لنموذج الدفعة أو في الوقت الحقيقي المنشور في التعلم الآلي إنشاء نقطة نهاية REST يمكن استهلاكها في تطبيق مخصص تم إنشاؤه باستخدام النظام الأساسي Power Apps ذي التعليمات البرمجية المنخفضة. يمكنك أيضاً استدعاء نقطة نهاية التعلم الآلي في الوقت الحقيقي من تقرير Power BI لتقديم تنبؤات في تقارير الأعمال.
إشعار
يحتوي كل من التعلم الآلي ومكدس Microsoft Power Platform على مجموعة من الموصلات المضمنة للمساعدة في استيعاب البيانات مباشرة. قد تكون هذه الموصلات مفيدة للحد الأدنى من المنتج القابل للتطبيق (MVP) لمرة واحدة. ومع ذلك، فإن قسمي "استيعاب" و"المتجر" في البنية يقدمان المشورة بشأن دور مسارات البيانات الموحدة لمصادر البيانات وتخزينها من مصادر مختلفة على نطاق واسع. عادة ما يتم تنفيذ هذه الأنماط وصيانتها من قبل فرق النظام الأساسي لبيانات المؤسسة.
المكونات
يمكنك استخدام المكونات التالية.
خدمات Microsoft Power Platform
- Power Platform: مجموعة من الأدوات لتحليل البيانات، وبناء الحلول، وأتمتة العمليات، وإنشاء عوامل ظاهرية. ويشمل Power Apps وPower Automate وPower BI وPower Virtual Agents.
- Power Apps: مجموعة من التطبيقات والخدمات والموصلات والنظام الأساسي للبيانات. يوفر بيئة تطوير تطبيقات سريعة لإنشاء تطبيقات مخصصة لاحتياجات عملك.
- Power Automate: خدمة تساعدك على إنشاء مهام سير عمل تلقائية بين تطبيقاتك وخدماتك المفضلة. استخدمه لمزامنة الملفات والحصول على الإعلامات وجمع البيانات وما إلى ذلك.
- Power BI: مجموعة من خدمات البرامج والتطبيقات والموصلات التي تعمل معا لتحويل مصادر البيانات غير المرتبطة إلى رؤى متماسكة وغامرة بصريا وتفاعلية.
خدمات Azure
- التعلم الآلي: خدمة التعلم الآلي على مستوى المؤسسة لبناء النماذج ونشرها بسرعة. إنه يوفر للمستخدمين في جميع مستويات المهارة مصمماً منخفض التعليمات برمجية، وتعلماً آلياً، وبيئة كمبيوتر دفتري Jupyter مستضافة لدعم IDE المفضل لديك.
- نقاط النهاية المدارة للتعلم الآلي: نقاط النهاية عبر الإنترنت التي تمكنك من نشر النموذج الخاص بك دون الحاجة إلى إنشاء البنية الأساسية وإدارتها.
- Azure Kubernetes Service: يحتوي التعلم الآلي على دعم مختلف عبر أهداف حساب مختلفة. خدمة Azure Kubernetes هي واحدة من هذه الأهداف، وهو مناسب تماماً لنقاط نهاية النموذج في الوقت الحقيقي على مستوى المؤسسة.
- Azure Data Lake: نظام ملفات متوافق مع Hadoop. يحتوي على مساحة اسم هرمية متكاملة والحجم الهائل والاقتصاد في Azure Blob Storage.
- Azure Synapse Analytics هي خدمة تحليلات غير محدودة تجمع بين تكامل البيانات وتخزين بيانات المؤسسة وتحليلات البيانات الضخمة.
- مراكز الأحداث ومركز IoT: تقوم كلتا الخدمتين ب استيعاب تدفقات البيانات التي تم إنشاؤها بواسطة تطبيقات العميل أو أجهزة IoT. ستقوم بعد ذلك باستيعاب وتخزين البيانات المتدفقة التي تحافظ على تسلسل الأحداث المستلمة. يمكن للمستهلكين الاتصال بنقاط نهاية المركز لاسترداد الرسائل للمعالجة.
خدمات النظام الأساسي
لتحسين جودة حلول Azure، اتبع التوصيات والإرشادات الواردة في Azure Well-Architected Framework. يتكون الإطار من خمس ركائز للتميز الهيكلي:
- تحسين التكلفة
- التميز التشغيلي
- كفاءة الأداء
- الموثوقيه
- الأمان
لإنشاء تصميم يحترم هذه التوصيات، ضع في اعتبارك الخدمات التالية:
- معرف Microsoft Entra: خدمات الهوية وتسجيل الدخول الأحادي والمصادقة متعددة العوامل عبر أحمال عمل Azure.
- إدارة التكاليف من Microsoft: الحوكمة المالية على أحمال عمل Azure.
- Azure Key Vault: إدارة الشهادات وبيانات الاعتماد الآمنة.
- Azure Monitor: جمع بيانات تتبع الاستخدام وتحليلها وعرضها من موارد Azure. استخدم Monitor لتحديد المشكلات بشكل استباقي لتحقيق أقصى قدر من الأداء والموثوقية.
- Microsoft Defender for Cloud: تعزيز ومراقبة الوضع الأمني لأحمال عمل Azure.
- Azure DevOps وGitHub: تنفيذ ممارسات DevOps لفرض التنفيذ التلقائي والتوافق مع مسارات تطوير ونشر حمل العمل لتحليلات Azure Synapse التعلم الآلي.
- نهج Azure: تنفيذ المعايير التنظيمية والإدارة لتناسق الموارد والتوافق التنظيمي والأمان والتكلفة والإدارة.
البدائل
يستفيد MVP للتعلم الآلي من السرعة إلى النتيجة. في بعض الحالات، يمكن تلبية احتياجات نموذج مخصص بواسطة خدمات Azure المعرفية المدربة مسبقا أو Azure Applied الذكاء الاصطناعي Services. في حالات أخرى، قد يوفر Power Apps الذكاء الاصطناعي Builder ملاءمة لنموذج الغرض.
تفاصيل السيناريو
الاتجاه العام للتكنولوجيا هو الشعبية المتزايدة لأدوار الذكاء الاصطناعي للمواطنين. هذه الأدوار هي ممارسو الأعمال الذين يتطلعون إلى تحسين العمليات التجارية من خلال تطبيق تقنيات التعلم الآلي الذكاء الاصطناعي. ومن المساهمين الهامين في هذا الاتجاه النضج المتزايد وتوافر أدوات التعليمات البرمجية المنخفضة لتطوير نماذج التعلم الآلي.
وبسبب معدل الفشل المرتفع المعروف لمثل هذه المبادرات، تصبح القدرة على النموذج الأولي السريع والتحقق من صحة تطبيق الذكاء الاصطناعي في بيئة العالم الحقيقي عاملا تمكينيا رئيسيا لنهج سريع الفشل. هناك أداتان رئيسيتان لتطوير نماذج تعمل على تحديث العمليات ودفع النتائج التحويلية:
- مجموعة أدوات التعلم الآلي لجميع مستويات المهارات
- يدعم عدم وجود تعليمات برمجية لتطوير التعلم الآلي المشفرة بالكامل
- لديه واجهة مستخدم رسومية مرنة منخفضة التعليمات البرمجية (GUI)
- تمكين المستخدمين من الحصول على البيانات وإعدادها بسرعة
- تمكين المستخدمين من إنشاء النماذج ونشرها بسرعة
- لديه قدرات التعلم الآلي المتقدمة لتطوير خوارزمية التعلم الآلي
- مجموعة أدوات تطوير تطبيقات منخفضة التعليمات البرمجية
- تمكين المستخدمين من إنشاء تطبيقات مخصصة ومهام سير عمل التنفيذ التلقائي
- إنشاء مهام سير عمل بحيث يمكن للمستهلكين والعمليات التجارية التفاعل مع نموذج التعلم الآلي
التعلم الآلي يفي بدور واجهة المستخدم الرسومية ذات التعليمات البرمجية المنخفضة لتطوير التعلم الآلي. وقد أتمتة التعلم الآلي والنشر إلى نقاط النهاية الدفعية أو في الوقت الحقيقي. يوفر Power Platform، الذي يتضمن Power Apps وPower Automate، مجموعات الأدوات لإنشاء تطبيق مخصص وسير عمل يقوم بتنفيذ خوارزمية التعلم الآلي بسرعة. يمكن لمستخدمي الأعمال الآن إنشاء تطبيقات التعلم الآلي من فئة الإنتاج لتحويل العمليات التجارية القديمة.
حالات الاستخدام المحتملة
تقلل مجموعات الأدوات هذه من الوقت والجهد اللازمين لنموذج أولي لفوائد نموذج التعلم الآلي في عملية تجارية. يمكنك بسهولة توسيع نموذج أولي لتطبيق من فئة الإنتاج. وتشمل الاستخدامات لهذه التقنيات ما يلي:
- عمليات التصنيع مع التطبيقات القديمة التي تستخدم تنبؤات حتمية قديمة. يمكن أن تستفيد هذه الحالات من الدقة المحسنة لنموذج التعلم الآلي. يتطلب إثبات الدقة المحسنة وجود نموذج وجهد تطوير للتكامل مع الأنظمة القديمة في الموقع.
- عمليات مركز الاتصال مع التطبيقات القديمة التي لا يتم ضبطها عند انحراف البيانات. قد توفر النماذج التي تعيد التدريب تلقائيا رفعا كبيرا في التنبؤ بالخسارة أو دقة جمع معلومات المخاطر. يتطلب التحقق من الصحة التكامل مع إدارة علاقات العملاء الحالية وأنظمة إدارة التذاكر. قد يكون التكامل مكلفا.
الاعتبارات
عند استخدام هذه الخدمات لإنشاء إثبات المبدأ أو MVP، لن تنتهي. هناك المزيد من العمل لإنشاء حل إنتاج. توفر أطر العمل مثل إطار عمل جيد التصميم إرشادات مرجعية وأفضل الممارسات لتطبيقها على البنية الخاصة بك.
التوافر
معظم المكونات المستخدمة في هذا السيناريو المثال هي الخدمات المدارة التي يتم تغيير حجمها تلقائيا. يختلف توفر الخدمات المستخدمة في هذا المثال حسب المنطقة.
تتطلب التطبيقات المستندة إلى التعلم الآلي عادة مجموعة واحدة من الموارد للتدريب وأخرى للخدمة. لا تحتاج الموارد المطلوبة للتدريب بوجهٍ عامٍ إلى قابلية وصول عالية، حيث لا تصل طلبات التشغيل المباشر مباشرةً إلى هذه الموارد. يجب أن تكون الموارد المطلوبة لخدمة الطلبات ذات قابلية وصول عالية.
DevOps
تستخدم ممارسات DevOps لتنسيق النهج الشامل المستخدم في هذا المثال. يقدم دليل التعلم الآلي DevOps أفضل الممارسات والتعلم حول اعتماد عمليات التعلم الآلي (MLOps) في المؤسسة مع التعلم الآلي.
يمكن تطبيق أتمتة DevOps على حل Microsoft Power Platform المقدم في هذا المثال. لمزيد من المعلومات حول Microsoft Power Platform DevOps، راجع أدوات إنشاء Power Platform ل Azure DevOps: Power Platform.
تحسين التكلفة
يركز تحسين التكلفة على البحث عن طرق للحد من النفقات غير الضرورية وتحسين الكفاءة التشغيلية. لمزيد من المعلومات، راجع نظرة عامة على ركيزة تحسين التكلفة.
تسعير Azure: تستخدم البنية الأساسية لجهة أولى كخدمة (IaaS) وخدمات النظام الأساسي كخدمة (PaaS) على Azure نموذج تسعير قائم على الاستهلاك. لا يحتاجون إلى ترخيص أو رسوم اشتراك. بشكل عام، استخدم حاسبة أسعار Azure لتقدير التكاليف. للحصول على اعتبارات أخرى، راجع تحسين التكلفة في Well-Architected Framework.
تسعير Power Platform: Power Apps وPower Automate وPower BI هي برامج كتطبيقات خدمة (SaaS) ولديها نماذج تسعير خاصة بها، بما في ذلك كل خطة تطبيق ولكل مستخدم.
نشر هذا السيناريو
ضع في اعتبارك سيناريو العمل هذا. يستخدم الوكيل الميداني تطبيقا يقدر سعر السوق للسيارة. يمكنك استخدام التعلم الآلي لإنشاء نموذج أولي سريع لنموذج التعلم الآلي لهذا التطبيق. يمكنك استخدام مصمم ذي رمز منخفض وميزات التعلم الآلي لإنشاء النموذج، ثم نشره كنقطة نهاية REST في الوقت الفعلي.
قد يثبت النموذج المفهوم، ولكن ليس لدى المستخدم طريقة سهلة لاستهلاك نموذج تم تنفيذه كواجهة برمجة تطبيقات REST. يمكن أن يساعد Microsoft Power Platform في إغلاق هذا الميل الأخير، كما هو موضح هنا.
فيما يلي واجهة مستخدم للتطبيق، تم إنشاؤها في Power Apps باستخدام واجهة التعليمات البرمجية المنخفضة التي توفرها Power Apps.
يمكنك استخدام Power Automate لإنشاء سير عمل منخفض التعليمات البرمجية لتحليل إدخال المستخدم وتمريره إلى نقطة النهاية التعلم الآلي واسترداد التنبؤ. يمكنك أيضاً استخدام Power BI للتفاعل مع نموذج التعلم الآلي وإنشاء تقارير أعمال ولوحات معلومات مخصصة.
لنشر هذا المثال الشامل، اتبع الإرشادات خطوة بخطوة في Car Price Predictor - Azure ML + Power App Solution.
سيناريوهات موسعة
انظر في السيناريوهات التالية.
النشر إلى Teams
يمكن أيضا نشر نموذج التطبيق المقدم في المثال السابق إلى Microsoft Teams. يوفر Teams قناة توزيع رائعة لتطبيقاتك ويوفر للمستخدمين تجربة تطبيق تعاونية. لمزيد من المعلومات حول كيفية نشر تطبيق إلى Teams باستخدام Power Apps، راجع نشر تطبيقك باستخدام Power Apps في Teams: Power Apps.
استهلاك واجهة برمجة التطبيقات من تطبيقات وأتمتة متعددة
في هذا المثال، نقوم بتكوين تدفق سحابة Power Automate لاستهلاك نقطة نهاية REST كإجراء HTTP. يمكننا بدلاً من ذلك إعداد موصل مخصص لنقطة نهاية REST واستهلاكه مباشرة من Power Apps أو من Power Automate. يعد هذا الأسلوب مفيداً عندما نريد أن تستهلك تطبيقات متعددة نفس نقطة النهاية. كما يوفر الحوكمة باستخدام نهج منع فقدان بيانات الموصل (DLP) في مركز إدارة Microsoft Power Platform. لإنشاء موصل مخصص، راجع استخدام موصل مخصص من تطبيق Power Apps. لمزيد من المعلومات حول DLP لموصل Microsoft Power Platform، راجع نهج منع فقدان البيانات: Power Platform.
المساهمون
تحتفظ Microsoft بهذه المقالة. وقد كتب في الأصل من قبل:
- Vyas Dev Venugopalan | Sr. Specialist - Azure Data &الذكاء الاصطناعي
الخطوات التالية
- كيفية عمل التعلم الآلي: الهندسة المعمارية والمفاهيم
- إنشاء تطبيقات ذكية مزودة الذكاء الاصطناعي عالمية المستوى