تنظيم وإعداد بيئات التعلم الآلي من Microsoft Azure

عند التخطيط لتوزيع التعلم الآلي من Microsoft Azure لبيئة مؤسسة، هناك بعض نقاط القرار الشائعة التي تؤثر على كيفية إنشاء مساحة العمل:

• بنية الفريق: الطريقة التي تنظم بها فرق علوم البيانات وتتعاون في المشاريع، نظرا لحالة الاستخدام وفصل البيانات، أو متطلبات إدارة التكلفة
• البيئات: البيئات التي تستخدمها كجزء من سير عمل التطوير والإصدار لفصل التطوير عن الإنتاج
• المنطقه: موقع بياناتك والجمهور الذي تحتاج إلى خدمة حل التعلم الآلي الخاص بك

بنية الفريق وإعداد مساحة العمل

مساحة العمل هي مورد المستوى الأعلى في التعلم الآلي من Microsoft Azure. يخزن البيانات الاصطناعية التي يتم إنتاجها عند العمل مع التعلم الآلي والحوسبة المدارة والمؤشرات إلى الموارد المرفقة والمرتبطة. من وجهة نظر الإدارة، تدعم مساحة العمل كمورد Azure Resource Manager التحكم في الوصول المستند إلى الدور Azure (Azure RBAC)، والإدارة حسب النهج، ويمكنك استخدامها كوحدة للإبلاغ عن التكلفة.

عادة ما تختار المؤسسات نمطا واحدا أو مزيجا من أنماط الحل التالية لاتباع متطلبات الإدارة.

مساحة العمل لكل فريق: استخدم مساحة عمل واحدة لكل فريق عندما يتطلب جميع أعضاء الفريق نفس مستوى الوصول إلى البيانات وأصول التجريب. على سبيل المثال، قد تقوم مؤسسة تضم ثلاثة فرق للتعلم الآلي بإنشاء ثلاث مساحات عمل، واحدة لكل فريق.

تتمثل فائدة استخدام مساحة عمل واحدة لكل فريق في تخزين جميع أدوات التعلم الآلي لمشاريع الفريق في مكان واحد. يمكنك رؤية زيادة الإنتاجية لأن أعضاء الفريق يمكنهم الوصول بسهولة إلى نتائج التجريب واستكشافها وإعادة استخدامها. يؤدي تنظيم مساحات العمل حسب الفريق إلى تقليل بصمة Azure وتبسيط إدارة التكلفة حسب الفريق. نظرا لأن عدد أصول التجريب يمكن أن ينمو بسرعة، يمكنك الحفاظ على تنظيم البيانات الاصطناعية الخاصة بك باتباع اصطلاحات التسمية ووضع العلامات. للحصول على توصيات حول كيفية تسمية الموارد، راجع تطوير استراتيجية التسمية ووضع العلامات لموارد Azure.

باستخدام هذا الأسلوب، يجب أن يكون لكل عضو في الفريق أذونات مماثلة لمستوى الوصول إلى البيانات. التحكم في الوصول استنادا إلى الدور (RBAC) وقوائم التحكم في الوصول (ACL) لمصادر البيانات وأصول التجريب محدودة داخل مساحة العمل. لا يمكن أن يكون لديك متطلبات فصل بيانات حالة الاستخدام.

مساحة العمل لكل مشروع: استخدم مساحة عمل واحدة لكل مشروع إذا كنت تحتاج إلى فصل البيانات وأصول التجريب حسب المشروع، أو كان لديك متطلبات إعداد التقارير عن التكلفة وإعداد الموازنة على مستوى المشروع. على سبيل المثال، قد يكون لديك مؤسسة تضم أربعة فرق تعلم آلي تقوم بتشغيل ثلاثة مشاريع لكل منها لإجمالي 12 مثيل مساحة عمل.

تتمثل فائدة استخدام مساحة عمل واحدة لكل مشروع في أنك تدير التكاليف على مستوى المشروع. ينشئ الفريق عادة مجموعة موارد مخصصة للتعلم الآلي من Microsoft Azure والموارد المقترنة لأسباب مماثلة. عند العمل مع مساهمين خارجيين، على سبيل المثال، تعمل مساحة العمل التي تركز على المشروع على تبسيط التعاون على مشروع لأن المستخدمين الخارجيين يحتاجون فقط إلى منحهم حق الوصول إلى موارد المشروع، وليس موارد الفريق.

شيء يجب مراعاته مع هذا النهج هو عزل نتائج التجريب والأصول. قد يكون اكتشاف الأصول وإعادة استخدامها أكثر صعوبة لأن الأصول تنتشر عبر مثيلات مساحة عمل متعددة.

مساحة عمل واحدة: استخدم مساحة عمل واحدة للعمل غير المرتبط بالفريق أو العمل غير المتعلق بالمشروع، أو عندما لا يمكن ربط التكاليف مباشرة بوحدة فوترة معينة، على سبيل المثال مع R&D.

تتمثل فائدة هذا الإعداد في تكلفة العمل الفردي غير المرتبط بالمشروع الذي يمكن فصله عن التكاليف المتعلقة بالمشروع. عند إعداد مساحة عمل واحدة لجميع المستخدمين للقيام بعملهم الفردي، فإنك تقلل من بصمة Azure.

باستخدام هذا النهج، قد تصبح مساحة العمل مزدحمة بسرعة عندما يشارك العديد من ممارسي التعلم الآلي نفس المثيل. قد يطلب المستخدمون تصفية الأصول المستندة إلى واجهة المستخدم للعثور على مواردهم بشكل فعال. يمكنك إنشاء مساحات عمل التعلم الآلي المشتركة لكل قسم من أقسام الأعمال للتخفيف من مخاوف الحجم أو لتقسيم الميزانيات.

إعداد البيئات ومساحة العمل

البيئة هي مجموعة من الموارد التي تستهدف التوزيع استنادا إلى مرحلتها في دورة حياة التطبيق. الأمثلة الشائعة لأسماء البيئة هي Dev و Test و QA و Staging و Production.

تؤثر عملية التطوير في مؤسستك على متطلبات استخدام البيئة. تؤثر بيئتك على إعداد التعلم الآلي من Microsoft Azure والموارد المرتبطة به، مثل الحوسبة المرفقة. على سبيل المثال، قد يقيد توفر البيانات إمكانية إدارة توفر مثيل التعلم الآلي لكل بيئة. أنماط الحل التالية شائعة:

توزيع مساحة عمل بيئة واحدة: عند اختيار نشر مساحة عمل بيئة واحدة، يتم نشر التعلم الآلي من Microsoft Azure في بيئة واحدة. هذا الإعداد شائع للسيناريوهات التي تركز على الأبحاث، حيث ليست هناك حاجة لإصدار بيانات اصطناعية للتعلم الآلي استنادا إلى مرحلة دورة حياتها، عبر البيئات. سيناريو آخر يكون فيه هذا الإعداد منطقيا هو عندما يتم نشر خدمات الاستدلال فقط، وليس مسارات التعلم الآلي، عبر البيئات.

تتمثل فائدة الإعداد الذي يتمحور حول الأبحاث في بصمة Azure الأصغر والحد الأدنى من النفقات الإدارية. لا تعني طريقة العمل هذه الحاجة إلى نشر مساحة عمل التعلم الآلي من Microsoft Azure في كل بيئة.

باستخدام هذا النهج، يخضع توزيع بيئة واحدة لتوفر البيانات. لذلك، كن حذرا عند إعداد مخزن البيانات الخاص بك. إذا قمت بإعداد وصول واسع النطاق، على سبيل المثال، وصول الكاتب على مصادر بيانات الإنتاج، فقد تضر عن غير قصد بجودة البيانات. إذا أحضرت العمل إلى الإنتاج في نفس البيئة التي يحدث فيها التطوير، فإن نفس قيود التحكم في الوصول استنادا إلى الدور تنطبق على كل من أعمال التطوير وأعمال الإنتاج. قد يجعل هذا الإعداد كلا البيئتين جامدة جدا أو مرنة جدا.

توزيع مساحة عمل بيئة متعددة: عند اختيار نشر مساحة عمل متعددة للبيئة، يتم توزيع مثيل مساحة عمل لكل بيئة. السيناريو الشائع لهذا الإعداد هو مكان عمل منظم مع فصل واضح بين الواجبات بين البيئات، والمستخدمين الذين لديهم حق الوصول إلى الموارد إلى تلك البيئات.

فوائد هذا الإعداد هي:

• الإطلاق المرحلي لسير عمل التعلم الآلي والبيانات الاصطناعية. على سبيل المثال، النماذج عبر البيئات، مع إمكانية تحسين السرعة وتقليل وقت التوزيع.
• تحسين الأمان والتحكم في الموارد لأنه يمكنك تعيين المزيد من قيود الوصول في بيئات انتقال البيانات من الخادم.
• سيناريوهات التدريب على بيانات الإنتاج في البيئات غير التطويرية لأنه يمكنك منح مجموعة محددة من المستخدمين حق الوصول.

باستخدام هذا النهج، أنت في خطر لمزيد من الإدارة والنفقات العامة للعملية. يتطلب هذا الإعداد عملية تطوير وطرح دقيقة للبيانات الاصطناعية للتعلم الآلي عبر مثيلات مساحة العمل. وقد يلزم أيضا بذل جهد في مجال إدارة البيانات والهندسة لإتاحة بيانات الإنتاج للتدريب في بيئة التطوير. تتطلب منك إدارة الوصول منح الفريق حق الوصول لحل الحوادث في الإنتاج والتحقيق فيها. وأخيرا، يحتاج فريقك إلى Azure DevOps وخبرة هندسة التعلم الآلي لتنفيذ مهام سير عمل الأتمتة.

بيئة واحدة مع وصول محدود إلى البيانات، واحدة مع الوصول إلى بيانات الإنتاج: عند اختيار هذا الإعداد، يتم نشر التعلم الآلي من Microsoft Azure في بيئتين: واحدة مع وصول محدود إلى البيانات وواحدة مع الوصول إلى بيانات الإنتاج. هذا الإعداد شائع إذا كنت بحاجة إلى فصل بيئات التطوير والإنتاج. على سبيل المثال، قد تعمل ضمن قيود تنظيمية لتوفير بيانات الإنتاج في أي بيئة، أو قد ترغب في فصل أعمال التطوير عن عمل الإنتاج دون تكرار البيانات أكثر مما هو مطلوب بسبب التكلفة العالية للصيانة.

تتمثل فائدة هذا الإعداد في الفصل الواضح بين الواجبات والوصول بين بيئات التطوير والإنتاج. ميزة أخرى هي انخفاض النفقات العامة لإدارة الموارد عند مقارنتها بسيناريو التوزيع متعدد البيئة.

باستخدام هذا النهج، تحتاج إلى عملية تطوير وطرح محددة للبيانات الاصطناعية للتعلم الآلي عبر مساحات العمل. كما قد يتطلب الأمر جهدا في إدارة البيانات والهندسة لإتاحة بيانات الإنتاج للتدريب في بيئة التطوير. ولكن قد يتطلب هذا النهج جهدا أقل نسبيا من نشر مساحة عمل متعددة البيئة.

المناطق وإعداد الموارد

قد يتطلب منك موقع الموارد أو البيانات أو المستخدمين إنشاء مثيلات مساحة عمل التعلم الآلي من Microsoft Azure والموارد المرتبطة بها في مناطق Azure متعددة. على سبيل المثال، قد يمتد مشروع واحد عبر موارده عبر مناطق Azure في غرب أوروبا وشرق الولايات المتحدة لأسباب تتعلق بالأداء والتكلفة والتوافق. السيناريوهات التالية شائعة:

التدريب الإقليمي: تعمل مهام التدريب على التعلم الآلي في نفس منطقة Azure حيث توجد البيانات. في هذا الإعداد، يتم نشر مساحة عمل التعلم الآلي في كل منطقة Azure حيث توجد البيانات. هذا السيناريو شائع عندما تحتاج إلى تلبية التوافق، أو عندما يكون لديك قيود على حركة البيانات عبر المناطق.

تتمثل فائدة هذا الإعداد في أنه يمكنك إجراء التجريب في مركز البيانات حيث توجد البيانات بأقل زمن انتقال للشبكة. باستخدام هذا النهج، عندما يتم تشغيل مسار التعلم الآلي عبر مثيلات مساحة عمل متعددة، فإنه يضيف المزيد من تعقيد الإدارة. يصبح من الصعب مقارنة نتائج التجريب عبر المثيلات وإضافة النفقات العامة إلى إدارة الحصة النسبية والحوسبة.

إذا كنت ترغب في إرفاق التخزين عبر المناطق، ولكنك تستخدم الحوسبة من منطقة واحدة، فإن التعلم الآلي من Microsoft Azure يدعم سيناريو إرفاق حسابات التخزين في منطقة بدلا من مساحة العمل. يتم تخزين بيانات التعريف، على سبيل المثال المقاييس، في منطقة مساحة العمل.

الخدمة الإقليمية: تنتشر خدمات التعلم الآلي بالقرب من مكان معيشة الجمهور المستهدف. على سبيل المثال، إذا كان المستخدمون المستهدفون في أستراليا وكانت منطقة التخزين والتجريب الرئيسية هي غرب أوروبا، فوزع مساحة عمل التعلم الآلي للتجريب في غرب أوروبا. ثم تقوم بتوزيع نظام مجموعة AKS لتوزيع نقطة نهاية الاستدلال في أستراليا.

فوائد هذا الإعداد هي فرصة الاستدلال في مركز البيانات حيث يتم استيعاب البيانات الجديدة، وتقليل زمن الانتقال وحركة البيانات، والامتثال للوائح المحلية.

باستخدام هذا النهج، يوفر الإعداد متعدد المناطق العديد من المزايا، ولكنه يضيف أيضا المزيد من النفقات العامة على إدارة الحصة النسبية والحوسبة. عندما يكون لديك متطلبات للاستدلال الدفعي، قد تتطلب الخدمة الإقليمية توزيع مساحة عمل متعددة. قد تحتاج البيانات التي يتم جمعها من خلال نقاط نهاية الاستدلال إلى نقلها عبر المناطق لإعادة تدريب السيناريوهات.

الضبط الدقيق الإقليمي: يتدرب النموذج الأساسي على مجموعة بيانات أولية، على سبيل المثال، البيانات العامة أو البيانات من جميع المناطق، ويتم ضبطه لاحقا مع مجموعة بيانات إقليمية. قد تكون مجموعة البيانات الإقليمية موجودة فقط في منطقة معينة بسبب قيود التوافق أو حركة البيانات. على سبيل المثال، قد تحتاج إلى تدريب النموذج الأساسي للقيام به في مساحة عمل في المنطقة A، بينما يحدث ضبط دقيق في مساحة عمل في المنطقة B.

تتمثل فائدة هذا الإعداد في أنه يمكنك التجربة بشكل متوافق في مركز البيانات حيث توجد البيانات. لا يزال بإمكانك أيضا الاستفادة من تدريب النموذج الأساسي على مجموعة بيانات أكبر في مرحلة البنية الأساسية لبرنامج ربط العمليات التجارية السابقة.

يدعم هذا النهج مسارات التجريب المعقدة ولكنه قد يخلق المزيد من التحديات. على سبيل المثال، عند مقارنة نتائج التجربة عبر المناطق، قد يضيف المزيد من النفقات العامة إلى إدارة الحصة النسبية والحوسبة.

⁧⁩التنفيذ المرجعي⁧⁩

لتوضيح توزيع التعلم الآلي من Microsoft Azure في إعداد أكبر، يوضح هذا القسم كيفية إعداد المؤسسة "Contoso" للتعلم الآلي من Microsoft Azure، نظرا لقيودها التنظيمية وإعداد التقارير ومتطلبات الموازنة:

• تنشئ Contoso مجموعات موارد على أساس حل لأسباب تتعلق بإدارة التكاليف وإعداد التقارير.
• يقوم مسؤولو تكنولوجيا المعلومات فقط بإنشاء مجموعات الموارد والموارد للحلول الممولة لتلبية متطلبات الموازنة.
• نظرا للطبيعة الاستكشافية وغير المؤكدة لعلوم البيانات، يحتاج المستخدمون إلى مكان لتجربة حالة الاستخدام واستكشاف البيانات والعمل من أجلها. في كثير من الأحيان، لا يمكن ربط العمل الاستكشافي مباشرة بحالة استخدام معينة، ويمكن إقرانه فقط بميزانية R&D. تريد شركة Contoso تمويل بعض موارد التعلم الآلي مركزيا التي يمكن لأي شخص استخدامها لأغراض الاستكشاف.
• بمجرد أن تثبت حالة استخدام التعلم الآلي أنها ناجحة في البيئة الاستكشافية، يمكن للفرق طلب مجموعات الموارد. على سبيل المثال، يمكن للشركة إعداد Dev و QA و Production لعمل مشروع التجريب التكراري، والوصول إلى مصادر بيانات الإنتاج.
• لا تسمح متطلبات فصل البيانات والامتثال بوجود بيانات الإنتاج المباشر في بيئات التطوير.
• توجد متطلبات RBAC مختلفة لمجموعات المستخدمين المختلفة حسب نهج تكنولوجيا المعلومات لكل بيئة، على سبيل المثال، الوصول أكثر تقييدا في الإنتاج.
• تحدث جميع البيانات والتجريب والاستدلال في منطقة Azure واحدة.

للالتزام بالمتطلبات المذكورة أعلاه، يقوم Contoso بإعداد موارده بالطريقة التالية:

• مساحات عمل التعلم الآلي من Microsoft Azure ومجموعات الموارد التي تم تحديد نطاقها لكل مشروع لاتباع متطلبات فصل حالة الموازنة والاستخدام.
• إعداد متعدد البيئة للتعلم الآلي من Microsoft Azure والموارد المرتبطة به لمعالجة متطلبات إدارة التكلفة وRBAC والوصول إلى البيانات.
• مجموعة موارد واحدة ومساحة عمل التعلم الآلي مخصصة للاستكشاف.
• مجموعات Azure Active Directory المختلفة لكل دور وبيئة مستخدم. على سبيل المثال، تختلف العمليات التي يمكن لعالم البيانات القيام بها في بيئة إنتاج عما هي عليه في بيئة التطوير، وقد تختلف مستويات الوصول لكل حل.
• جميع الموارد التي تم إنشاؤها في منطقة Azure واحدة.

الخطوات التالية

تعرف على أفضل الممارسات على التعلم الآلي DevOps باستخدام التعلم الآلي من Microsoft Azure.

دليل DevOps للتعلم الآلي

تعرف على الاعتبارات عند إدارة الميزانيات والحصة النسبية والتكلفة باستخدام التعلم الآلي من Microsoft Azure.

إدارة الموازنات والتكاليف والحصة النسبية للتعلم الآلي من Microsoft Azure على نطاق المؤسسة