مقدمة
تعلمت عن أنواع الهجمات التي تستهدف أنظمة الذكاء الاصطناعي وضوابط الأمان التي يمكنك وضعها لحمايتها. ومع ذلك، معرفة وجود نقاط ضعف ومعرفة كيفية اكتشافها قبل المهاجمين هما مهارتان مختلفتان. وهنا يأتي دور اختبار أمان الذكاء الاصطناعي.
اختبار أمان الذكاء الاصطناعي — وتحديدا فريق الذكاء الاصطناعي الأحمر — هو عملية فحص أنظمة الذكاء الاصطناعي باستخدام تقنيات معادية لاكتشاف الثغرات قبل استغلالها. إنها ممارسة إلزامية في أي دورة تطوير ذكاء اصطناعي مسؤول، وتعمل بشكل مختلف عن اختبار الاختراق التقليدي بطرق تؤثر على كيفية تخطيطك وتنفيذه.
في هذه الوحدة، تتعلم ما هو الفريق الأحمر للذكاء الاصطناعي ولماذا يختلف عن اختبارات الأمان التقليدية، والفئات الثلاث للفريق الأحمر باستخدام الذكاء الاصطناعي في التطبيق التطبيقي، وكيفية التخطيط لتمرين الفريق الأحمر لنموذج اللغة الكبيرة أو تطبيق مدعوم بالذكاء الاصطناعي في مؤسستك.
الأهداف التعليمية
في نهاية هذه الوحدة، تتمكن من:
- صف ما هو الفريق الأحمر للذكاء الاصطناعي وكيف يختلف عن الفريق الأحمر التقليدي للأمان
- حدد الفئات الثلاث للفريق الأحمر للذكاء الاصطناعي والمهارات التي يتطلبها كل منها
- خطط لتمرين فريق ذكاء اصطناعي أحمر، يشمل تكوين الفريق ومنهجية الاختبار
- صف كيف تكمل أدوات الفريق الأحمر الآلية الاختبار اليدوي
المتطلبات المسبقه
للحصول على أفضل تجربة تعليمية من هذه الوحدة، يجب أن تكون لديك المعرفة والخبرة في:
- مفاهيم الأمان الأساسية (مثل المصادقة، التحكم في الدخول، التشفير)
- المفاهيم الأساسية للذكاء الاصطناعي (مثل النماذج، التدريب، الاستنتاج)
- أنواع هجمات الذكاء الاصطناعي التي يغطيها المقرر أساسيات أمن الذكاء الاصطناعي
- عناصر التحكم الأمنية في الذكاء الاصطناعي المشمولة في وحدات التحكم بالأمان