Aracılığıyla paylaş

Büyük dil modeli API isteklerine yönelik yanıtları önbelleğe alma

  • Makale

UYGULANANLAR: Tüm API Management katmanları

İlke, sohbet tamamlama API'sine llm-semantic-cache-store ve tamamlama API'sine yönelik isteklerin yanıtlarını yapılandırılmış bir dış önbelleğe önbelleğe alır. Yanıt önbelleğe alma, arka uç Azure OpenAI API'sine uygulanan bant genişliğini ve işleme gereksinimlerini azaltır ve API tüketicileri tarafından algılanan gecikme süresini azaltır.

Not

  • Bu ilkenin büyük dil modeli API isteklerine karşılık gelen Önbelleğe alınmış yanıtları al ilkesi olmalıdır.
  • Semantik önbelleğe almayı etkinleştirme önkoşulları ve adımları için bkz . Azure API Management'ta Azure OpenAI API'leri için anlamsal önbelleğe almayı etkinleştirme.
  • Şu anda bu ilke önizleme aşamasındadır.

Not

İlkenin öğelerini ve alt öğelerini ilke bildiriminde sağlanan sırayla ayarlayın. API Management ilkelerini ayarlama veya düzenleme hakkında daha fazla bilgi edinin.

Desteklenen modeller

İlkeyi, Azure AI Model Çıkarımı API'siyle kullanılabilen Azure API Management'a eklenen LLM API'leri ile kullanın.

İlke bildirimi

<llm-semantic-cache-store duration="seconds"/>

Özellikler

Öznitelik Açıklama Zorunlu Varsayılan
süre Saniye cinsinden belirtilen önbelleğe alınan girdilerin yaşam süresi. İlke ifadelerine izin verilir. Yes Yok

Kullanım

Kullanım notları

  • Bu ilke, ilke bölümünde yalnızca bir kez kullanılabilir.
  • Önbellek araması başarısız olursa, önbellekle ilgili işlemi kullanan API çağrısı hata vermez ve önbellek işlemi başarıyla tamamlanır.

Örnekler

karşılık gelen llm-semantic-cache-lookup ilkesine sahip örnek

<policies>
    <inbound>
        <base />
        <llm-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="llm-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </llm-semantic-cache-lookup>
    </inbound>
    <outbound>
        <llm-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

İlgili içerik

İlkelerle çalışma hakkında daha fazla bilgi için bkz: