مشاركة عبر

استجابات ذاكرة التخزين المؤقت لطلبات واجهة برمجة تطبيقات Azure OpenAI

ينطبق على: جميع مستويات إدارة واجهة برمجة التطبيقات

يخزن النهج azure-openai-semantic-cache-store الاستجابات مؤقتا لطلبات واجهة برمجة تطبيقات إكمال دردشة Azure OpenAI إلى ذاكرة تخزين مؤقت خارجية مكونة. يقلل التخزين المؤقت للاستجابة من متطلبات النطاق الترددي والمعالجة المفروضة على واجهة برمجة تطبيقات Azure OpenAI الخلفية ويقلل من زمن الانتقال الذي يراه مستهلكو واجهة برمجة التطبيقات.

إشعار

إشعار

تعيين عناصر النهج والعناصر التابعة بالترتيب الوارد في بيان النهج. تعلم كيفية إعداد نُهج APIM أو تعديلها.

Azure OpenAI المدعوم في نماذج Azure الذكاء الاصطناعي Foundry

يتم استخدام النهج مع واجهات برمجة التطبيقات المضافة إلى APIM من Azure OpenAI في نماذج الذكاء الاصطناعي Foundry من الأنواع التالية:

نوع API النماذج المدعومة
إكمال الدردشة gpt-3.5

gpt-4

gpt-4o

gpt-4o-mini

o1

o3
التضمينات text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002
الاستجابات (معاينة) gpt-4o (الإصدارات: 2024-11-20، 2024-08-06، 2024-05-13)

gpt-4o-mini (الإصدار: 2024-07-18)

gpt-4.1 (الإصدار: 2025-04-14)

gpt-4.1-nano (الإصدار: 2025-04-14)

gpt-4.1-mini (الإصدار: 2025-04-14)

gpt-image-1 (الإصدار: 2025-04-15)

o3 (الإصدار: 2025-04-16)

o4-mini (الإصدار: '2025-04-16)

إشعار

تتوفر واجهات برمجة تطبيقات الإكمال التقليدية فقط مع إصدارات النموذج القديمة والدعم محدود.

للحصول على معلومات حالية حول النماذج وقدراتها، راجع Azure OpenAI في نماذج Foundry.

نهج السياسة

<azure-openai-semantic-cache-store duration="seconds"/>

سمات

السمة ‏‏الوصف مطلوبة افتراضي
المدة مدة بقاء الإدخالات المخزنة مؤقتًا، محددة بالثواني. يتم السماح بتعبيرات النهج. ‏‏نعم‬ غير متوفر

الاستخدام

ملاحظات الاستخدام

  • يمكن استخدام هذا النهج مرة واحدة فقط في قسم النهج.
  • إذا فشل البحث عن ذاكرة التخزين المؤقت، فإن استدعاء API الذي يستخدم العملية المتعلقة بذاكرة التخزين المؤقت لا يثير خطأ، وتكتمل عملية ذاكرة التخزين المؤقت بنجاح.
  • نوصي بتكوين نهج حد المعدل (أو نهج حد المعدل حسب المفتاح ) مباشرة بعد أي بحث في ذاكرة التخزين المؤقت. يساعد هذا في منع تحميل خدمة الواجهة الخلفية بشكل زائد إذا لم تكن ذاكرة التخزين المؤقت متوفرة.

الأمثلة

مثال مع نهج البحث عن azure-openai-semantic-cache-lookup المطابق

يوضح المثال التالي كيفية استخدام azure-openai-semantic-cache-lookup النهج جنبا إلى جنب مع azure-openai-semantic-cache-store النهج لاسترداد الاستجابات المخزنة مؤقتا المتشابهة دلاليا مع حد درجة التشابه 0.05. يتم تقسيم القيم المخزنة مؤقتا بواسطة معرف الاشتراك للمتصل.

إشعار

أضف سياسة تحديد المعدل (أو سياسة تحديد المعدل حسب المفتاح ) بعد البحث في ذاكرة التخزين المؤقت للمساعدة في تقليل عدد المكالمات ومنع التحميل الزائد على خدمة الواجهة الخلفية في حال عدم توفر الذاكرة المؤقتة.

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
        <rate-limit calls="10" renewal-period="60" />
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

المحتوى ذو الصلة

لمزيد من المعلومات حول العمل مع النُهج، راجع:

  • Last updated on