استجابات ذاكرة التخزين المؤقت لطلبات واجهة برمجة تطبيقات Azure OpenAI
ينطبق على: جميع مستويات إدارة واجهة برمجة التطبيقات
يقوم azure-openai-semantic-cache-store النهج بتخزين الاستجابات مؤقتا إلى واجهة برمجة تطبيقات إكمال دردشة Azure OpenAI وطلبات واجهة برمجة تطبيقات الإكمال إلى ذاكرة تخزين مؤقت خارجية مكونة. يقلل التخزين المؤقت للاستجابة من متطلبات النطاق الترددي والمعالجة المفروضة على واجهة برمجة تطبيقات Azure OpenAI الخلفية ويقلل من زمن الانتقال الذي يراه مستهلكو واجهة برمجة التطبيقات.
إشعار
- يجب أن يكون لهذا النهج استجابات مقابلة للحصول على استجابات مخزنة مؤقتا لنهج طلبات واجهة برمجة تطبيقات Azure OpenAI.
- للحصول على المتطلبات الأساسية والخطوات لتمكين التخزين المؤقت الدلالي، راجع تمكين التخزين المؤقت الدلالي لواجهات برمجة تطبيقات Azure OpenAI في Azure API Management.
- حاليا، هذا النهج قيد المعاينة.
إشعار
تعيين عناصر النهج والعناصر التابعة بالترتيب الوارد في بيان النهج. تعلم كيفية إعداد نُهج APIM أو تعديلها.
نماذج خدمة Azure OpenAI المدعومة
يتم استخدام النهج مع واجهات برمجة التطبيقات المضافة إلى APIM من خدمة Azure OpenAI من الأنواع التالية:
| نوع API | النماذج المدعومة |
|---|---|
| إكمال الدردشة | gpt-3.5 gpt-4 |
| الإكمال | gpt-3.5-turbo-instruct |
| عمليات التضمين | تضمين نص-3-كبير text-embedding-3-small text-embedding-ada-002 |
لمزيد من المعلومات، راجع نماذج خدمة Azure OpenAI.
نهج السياسة
<azure-openai-semantic-cache-store duration="seconds"/>
سمات
| السمة | الوصف | مطلوبة | افتراضي |
|---|---|---|---|
| المدة | مدة بقاء الإدخالات المخزنة مؤقتًا، محددة بالثواني. يتم السماح بتعبيرات النهج. | نعم | غير متوفر |
الاستخدام
- أقسام النهج:الواردة
- نطاقات النهج: العمومية، والمنتج، وواجهة برمجة التطبيقات، والتشغيل
- البوابات: v2
ملاحظات الاستخدام
- يمكن استخدام هذا النهج مرة واحدة فقط في قسم النهج.
- إذا فشل البحث عن ذاكرة التخزين المؤقت، فإن استدعاء API الذي يستخدم العملية المتعلقة بذاكرة التخزين المؤقت لا يثير خطأ، وتكتمل عملية ذاكرة التخزين المؤقت بنجاح.
الأمثلة
مثال مع نهج البحث عن azure-openai-semantic-cache-lookup المطابق
<policies>
<inbound>
<base />
<azure-openai-semantic-cache-lookup
score-threshold="0.05"
embeddings-backend-id ="azure-openai-backend"
embeddings-backend-auth ="system-assigned" >
<vary-by>@(context.Subscription.Id)</vary-by>
</azure-openai-semantic-cache-lookup>
</inbound>
<outbound>
<azure-openai-semantic-cache-store duration="60" />
<base />
</outbound>
</policies>
النهج ذات الصلة
المحتوى ذو الصلة
لمزيد من المعلومات حول العمل مع النُهج، راجع: