مشاركة عبر

استجابات ذاكرة التخزين المؤقت لطلبات واجهة برمجة تطبيقات نموذج اللغة الكبيرة

ينطبق على: جميع مستويات إدارة واجهة برمجة التطبيقات

يخزن النهج llm-semantic-cache-store الاستجابات مؤقتا لطلبات واجهة برمجة تطبيقات إكمال الدردشة إلى ذاكرة تخزين مؤقت خارجية مكونة. يقلل التخزين المؤقت للاستجابة من متطلبات النطاق الترددي والمعالجة المفروضة على واجهة برمجة تطبيقات Azure OpenAI الخلفية ويقلل من زمن الانتقال الذي يراه مستهلكو واجهة برمجة التطبيقات.

إشعار

إشعار

تعيين عناصر النهج والعناصر التابعة بالترتيب الوارد في بيان النهج. تعلم كيفية إعداد نُهج APIM أو تعديلها.

النماذج المدعومة

استخدم النهج مع واجهات برمجة تطبيقات LLM المضافة إلى Azure API Management المتوفرة من خلال Azure الذكاء الاصطناعي Model Inference API أو مع النماذج المتوافقة مع OpenAI التي يتم تقديمها من خلال موفري الاستدلال التابعين لجهة خارجية.

نهج السياسة

<llm-semantic-cache-store duration="seconds"/>

سمات

السمة ‏‏الوصف مطلوبة افتراضي
المدة مدة بقاء الإدخالات المخزنة مؤقتًا، محددة بالثواني. يتم السماح بتعبيرات النهج. ‏‏نعم‬ غير متوفر

الاستخدام

ملاحظات الاستخدام

  • يمكن استخدام هذا النهج مرة واحدة فقط في قسم النهج.
  • إذا فشل البحث عن ذاكرة التخزين المؤقت، فإن استدعاء API الذي يستخدم العملية المتعلقة بذاكرة التخزين المؤقت لا يثير خطأ، وتكتمل عملية ذاكرة التخزين المؤقت بنجاح.
  • نوصي بتكوين نهج حد المعدل (أو نهج حد المعدل حسب المفتاح ) مباشرة بعد أي بحث في ذاكرة التخزين المؤقت. يساعد هذا في منع تحميل خدمة الواجهة الخلفية بشكل زائد إذا لم تكن ذاكرة التخزين المؤقت متوفرة.

الأمثلة

مثال مع نهج بحث llm-semantic-cache-lookup المطابق

يوضح المثال التالي كيفية استخدام llm-semantic-cache-lookup النهج جنبا إلى جنب مع llm-semantic-cache-store النهج لاسترداد الاستجابات المخزنة مؤقتا المتشابهة دلاليا مع حد درجة التشابه 0.05. يتم تقسيم القيم المخزنة مؤقتا بواسطة معرف الاشتراك للمتصل.

إشعار

أضف سياسة تحديد المعدل (أو سياسة تحديد المعدل حسب المفتاح ) بعد البحث في ذاكرة التخزين المؤقت للمساعدة في تقليل عدد المكالمات ومنع التحميل الزائد على خدمة الواجهة الخلفية في حال عدم توفر الذاكرة المؤقتة.

<policies>
    <inbound>
        <base />
        <llm-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="llm-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </llm-semantic-cache-lookup>
        <rate-limit calls="10" renewal-period="60" />
    </inbound>
    <outbound>
        <llm-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

المحتوى ذو الصلة

لمزيد من المعلومات حول العمل مع النُهج، راجع:

  • Last updated on