مشاركة عبر

الحصول على استجابات مخزنة مؤقتا لطلبات واجهة برمجة تطبيقات Azure OpenAI

  • مقالة

ينطبق على: الإصدار 2 الأساسي | الإصدار 2 القياسي

azure-openai-semantic-cache-lookup استخدم النهج لإجراء بحث ذاكرة التخزين المؤقت للاستجابات إلى واجهة برمجة تطبيقات إكمال دردشة Azure OpenAI وطلبات واجهة برمجة تطبيقات الإكمال من ذاكرة تخزين مؤقت خارجية مكونة، استنادا إلى تقارب المتجه من المطالبة بالطلبات السابقة وحد نقاط التشابه المحدد. يقلل التخزين المؤقت للاستجابة من متطلبات النطاق الترددي والمعالجة المفروضة على واجهة برمجة تطبيقات Azure OpenAI الخلفية ويقلل من زمن الانتقال الذي يراه مستهلكو واجهة برمجة التطبيقات.

إشعار

إشعار

تعيين عناصر النهج والعناصر التابعة بالترتيب الوارد في بيان النهج. تعلم كيفية إعداد نُهج APIM أو تعديلها.

نهج السياسة

<azure-openai-semantic-cache-lookup
    score-threshold="similarity score threshold"
    embeddings-backend-id ="backend entity ID for embeddings API"
    embeddings-backend-auth ="system-assigned"             
    ignore-system-messages="true | false"      
    max-message-count="count" >
    <vary-by>"expression to partition caching"</vary-by>
</azure-openai-semantic-cache-lookup>

سمات

السمة ‏‏الوصف مطلوبة افتراضي
حد الدرجة حد درجة التشابه المستخدم لتحديد ما إذا كان يجب إرجاع استجابة مخزنة مؤقتا إلى مطالبة. القيمة هي رقم عشري بين 0.0 و1.0. اعرف المزيد. ‏‏نعم‬ غير متوفر
تضمين معرف الخلفية معرف الواجهة الخلفية لاستدعاء واجهة برمجة التطبيقات لتضمين OpenAI. ‏‏نعم‬ غير متوفر
embeddings-backend-auth المصادقة المستخدمة لواجهة Azure OpenAI الخلفية لتضمين واجهة برمجة التطبيقات. نعم. يجب تعيينه إلى system-assigned. ‏‫غير متوفر‬
تجاهل رسائل النظام منطقي. إذا تم تعيينه إلى true، فسيزيل رسائل النظام من مطالبة إكمال دردشة GPT قبل تقييم تشابه ذاكرة التخزين المؤقت. لا true
الحد الأقصى لعدد الرسائل إذا تم تحديده، عدد رسائل مربع الحوار المتبقية التي يتم بعد ذلك تخطي التخزين المؤقت. لا ‏‫غير متاح

عناصر

Name ‏‏الوصف مطلوب
تختلف حسب تعبير مخصص يتم تحديده في وقت التشغيل الذي تقسم قيمته التخزين المؤقت. إذا تمت إضافة عناصر متعددة vary-by ، يتم تسلسل القيم لإنشاء تركيبة فريدة. لا

الاستخدام

ملاحظات الاستخدام

  • يمكن استخدام هذا النهج مرة واحدة فقط في قسم النهج.

الأمثلة

مثال مع نهج azure-openai-semantic-cache-store المقابل

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

المحتوى ذو الصلة

لمزيد من المعلومات حول العمل مع النُهج، راجع: