استخدام مراقبة المخاطر خزينة في Azure OpenAI Studio (معاينة)

عند استخدام توزيع نموذج Azure OpenAI مع عامل تصفية المحتوى، قد تحتاج إلى التحقق من نتائج نشاط التصفية. يمكنك استخدام هذه المعلومات لضبط تكوين عامل التصفية بشكل أكبر لتلبية احتياجات عملك المحددة ومبادئ الذكاء الاصطناعي المسؤولة.

يوفر Azure OpenAI Studio لوحة معلومات مراقبة المخاطر خزينة ty لكل عملية توزيع تستخدم تكوين عامل تصفية المحتوى.

مراقبة مخاطر الوصول ومراقبة خزينة

للوصول إلى مراقبة المخاطر خزينة، تحتاج إلى مورد Azure OpenAI في إحدى مناطق Azure المدعومة: شرق الولايات المتحدة وشمال سويسرا وفرنسا الوسطى والسويد الوسطى وكندا الشرقية. تحتاج أيضا إلى توزيع نموذج يستخدم تكوين عامل تصفية المحتوى.

انتقل إلى Azure OpenAI Studio وسجل الدخول باستخدام بيانات الاعتماد المقترنة بمورد Azure OpenAI. حدد علامة التبويب Deployments على اليسار ثم حدد model deployment من القائمة. في صفحة التوزيع، حدد علامة التبويب المخاطر خزينة في الأعلى.

الكشف عن المحتوى

يعرض جزء الكشف عن المحتوى معلومات حول نشاط تصفية المحتوى. يتم تطبيق تكوين عامل تصفية المحتوى كما هو موضح في وثائق تصفية المحتوى.

وصف التقرير

يتم عرض بيانات تصفية المحتوى بالطرق التالية:

• إجمالي عدد الطلبات المحظورة ومعدل الحظر: تعرض طريقة العرض هذه طريقة عرض عمومية لمقدار المحتوى الذي تمت تصفيته مع مرور الوقت ومعدله. يساعدك هذا على فهم اتجاهات الطلبات الضارة من المستخدمين ورؤية أي نشاط غير متوقع.
• الطلبات المحظورة حسب الفئة: تعرض طريقة العرض هذه مقدار المحتوى المحظور لكل فئة. هذه إحصائية جميع الطلبات الضارة عبر النطاق الزمني المحدد. وهو يدعم حاليا فئات الضرر التي تحض على الكراهية والجنسية وإيذاء النفس والعنف.
• معدل الحظر بمرور الوقت حسب الفئة: تعرض طريقة العرض هذه معدل الحظر لكل فئة بمرور الوقت. وهو يدعم حاليا فئات الضرر التي تحض على الكراهية والجنسية وإيذاء النفس والعنف.
• توزيع الخطورة حسب الفئة: تعرض طريقة العرض هذه مستويات الخطورة التي تم اكتشافها لكل فئة ضرر، عبر النطاق الزمني المحدد بأكمله. لا يقتصر هذا على المحتوى المحظور ولكنه يتضمن كل المحتوى الذي تم وضع علامة عليه بواسطة عوامل تصفية المحتوى.
• توزيع معدل الخطورة بمرور الوقت حسب الفئة: تعرض طريقة العرض هذه معدلات مستويات الخطورة المكتشفة بمرور الوقت، لكل فئة ضرر. حدد علامات التبويب للتبديل بين الفئات المدعومة.

الإجراءات المستحسنة

اضبط تكوين عامل تصفية المحتوى الخاص بك لتتناسب بشكل أكبر مع احتياجات العمل ومبادئ الذكاء الاصطناعي المسؤولة.

اكتشاف المستخدم الذي يحتمل أن يكون مسيئا

يستفيد جزء اكتشاف المستخدم الذي يحتمل أن يكون مسيئا من الإبلاغ عن إساءة الاستخدام على مستوى المستخدم لإظهار معلومات حول المستخدمين الذين أدى سلوكهم إلى حظر المحتوى. الهدف هو مساعدتك في الحصول على عرض لمصادر المحتوى الضار حتى تتمكن من اتخاذ إجراءات مستجيبة لضمان استخدام النموذج بطريقة مسؤولة.

لاستخدام اكتشاف المستخدم الذي يحتمل أن يكون مسيئا، تحتاج إلى:

• تم تطبيق تكوين عامل تصفية المحتوى على التوزيع.
• يجب إرسال معلومات معرف المستخدم في طلبات إكمال الدردشة (راجع معلمة المستخدم لواجهة برمجة تطبيقات الإكمال، على سبيل المثال).

  تنبيه

  استخدم سلاسل GUID لتعريف المستخدمين الفرديين. لا تقم بتضمين معلومات شخصية حساسة في حقل "المستخدم".

• تم إعداد قاعدة بيانات Azure Data Explorer لتخزين نتائج تحليل المستخدم (الإرشادات أدناه).

إعداد قاعدة بيانات Azure Data Explorer

من أجل حماية خصوصية البيانات لمعلومات المستخدم وإدارة إذن البيانات، ندعم خيار لعملائنا لجلب التخزين الخاص بهم للحصول على رؤى اكتشاف المستخدم التفصيلية التي يحتمل أن تكون مسيئة (بما في ذلك معرف المستخدم الفريد العمومي (GUID) والإحصائيات حول الطلبات الضارة حسب الفئة) المخزنة بطريقة متوافقة وبتحكم كامل. اتبع هذه الخطوات لتمكينه:

1. في Azure OpenAI Studio، انتقل إلى نشر النموذج الذي ترغب في إعداد تحليل إساءة استخدام المستخدم باستخدامه، وحدد إضافة مخزن بيانات.
2. املأ المعلومات المطلوبة وحدد حفظ. نوصي بإنشاء قاعدة بيانات جديدة لتخزين نتائج التحليل.
3. بعد توصيل مخزن البيانات، اتبع الخطوات التالية لمنح الإذن لكتابة نتائج التحليل إلى قاعدة البيانات المتصلة:
   1. انتقل إلى صفحة مورد Azure OpenAI في مدخل Microsoft Azure، واختر علامة التبويب Identity .
   2. قم بتحويل الحالة إلى تشغيل للهوية المعينة من قبل النظام، وانسخ المعرف الذي تم إنشاؤه.
   3. انتقل إلى مورد Azure Data Explorer في مدخل Microsoft Azure، واختر قواعد البيانات، ثم اختر قاعدة البيانات المحددة التي أنشأتها لتخزين نتائج تحليل المستخدم.
   4. حدد الأذونات، وأضف دور مسؤول إلى قاعدة البيانات.
   5. الصق هوية Azure OpenAI التي تم إنشاؤها في الخطوة السابقة، وحدد الهوية التي تم البحث فيها. الآن هوية مورد Azure OpenAI مخولة للقراءة/الكتابة إلى حساب التخزين.
4. منح حق الوصول إلى قاعدة بيانات Azure Data Explorer المتصلة للمستخدمين الذين يحتاجون إلى عرض نتائج التحليل:
   1. انتقل إلى مورد Azure Data Explorer الذي قمت بتوصيله، واختر التحكم في الوصول وأضف دور قارئ لنظام مجموعة Azure Data Explorer للمستخدمين الذين يحتاجون إلى الوصول إلى النتائج.
   2. اختر قواعد البيانات واختر قاعدة البيانات المحددة المتصلة لتخزين نتائج تحليل إساءة الاستخدام على مستوى المستخدم. اختر الأذونات وأضف دور القارئ لقاعدة البيانات للمستخدمين الذين يحتاجون إلى الوصول إلى النتائج.

وصف التقرير

يعتمد اكتشاف المستخدم الذي يحتمل أن يكون مسيئا على معلومات المستخدم التي يرسلها العملاء مع استدعاءات Azure OpenAI API الخاصة بهم، جنبا إلى جنب مع محتوى الطلب. يتم عرض الرؤى التالية:

• إجمالي عدد المستخدمين الذين يحتمل أن يسيئوا استخدامهم: تعرض طريقة العرض هذه عدد المستخدمين الذين تم الكشف عن احتمال تعرضهم للإيذاء بمرور الوقت. هؤلاء هم المستخدمون الذين تم الكشف عن نمط من الإساءة لهم والذين قد يتسببون في مخاطر عالية.
• قائمة المستخدمين المسيئين المحتملين: طريقة العرض هذه عبارة عن قائمة مفصلة للمستخدمين المكتشفين الذين يحتمل أن يتعرضوا للإيذاء. وهو يعطي المعلومات التالية لكل مستخدم:
  • UserGUID: يتم إرسال هذا من قبل العميل من خلال حقل "المستخدم" في واجهات برمجة تطبيقات Azure OpenAI.
  • درجة إساءة الاستخدام: هذا رقم تم إنشاؤه بواسطة النموذج الذي يحلل طلبات وسلوك كل مستخدم. يتم تسوية النتيجة إلى 0-1. تشير الدرجة الأعلى إلى ارتفاع خطر إساءة الاستخدام.
  • اتجاه درجة إساءة الاستخدام: التغيير في درجة إساءة الاستخدام أثناء النطاق الزمني المحدد.
  • تاريخ التقييم: تاريخ تحليل النتائج.
  • إجمالي نسبة/عدد طلبات إساءة الاستخدام
  • نسبة/عدد إساءة الاستخدام حسب الفئة

الإجراءات المستحسنة

اجمع هذه البيانات مع الإشارات المحسنة للتحقق مما إذا كان المستخدمون المكتشفون مسيئين حقا أم لا. إذا كانت كذلك، فاتخذ إجراء مستجيبا مثل تقييد المستخدم أو إيقافه مؤقتا لضمان الاستخدام المسؤول للتطبيق الخاص بك.

الخطوات التالية

بعد ذلك، قم بإنشاء تكوين عامل تصفية محتوى أو تحريره في Azure OpenAI Studio.

• تكوين عوامل تصفية المحتوى باستخدام خدمة Azure OpenAI