Azure OpenAI API isteklerine yönelik yanıtları önbelleğe alma
ŞUNLAR IÇIN GEÇERLIDIR: Temel v2 | Standart v2
İlke, azure-openai-semantic-cache-store
Azure OpenAI Sohbet Tamamlama API'sine ve Tamamlama API'sinin isteklerine verilen yanıtları yapılandırılmış bir dış önbelleğe önbelleğe alır. Yanıt önbelleğe alma, arka uç Azure OpenAI API'sine uygulanan bant genişliğini ve işleme gereksinimlerini azaltır ve API tüketicileri tarafından algılanan gecikme süresini azaltır.
Not
- Bu ilkenin, Azure OpenAI API isteklerine karşılık gelen Önbelleğe alınmış yanıtları al ilkesi olmalıdır.
- Semantik önbelleğe almayı etkinleştirme önkoşulları ve adımları için bkz . Azure API Management'ta Azure OpenAI API'leri için anlamsal önbelleğe almayı etkinleştirme.
- Şu anda bu ilke önizleme aşamasındadır.
Not
İlkenin öğelerini ve alt öğelerini ilke bildiriminde sağlanan sırayla ayarlayın. API Management ilkelerini ayarlama veya düzenleme hakkında daha fazla bilgi edinin.
İlke bildirimi
<azure-openai-semantic-cache-store duration="seconds"/>
Özellikler
Öznitelik | Açıklama | Zorunlu | Varsayılan |
---|---|---|---|
süre | Saniye cinsinden belirtilen önbelleğe alınan girdilerin yaşam süresi. İlke ifadelerine izin verilir. | Yes | Yok |
Kullanım
- İlke bölümleri: giden
- İlke kapsamları: genel, çalışma alanı, ürün, API, işlem
- Ağ geçitleri: v2
Kullanım notları
- Bu ilke, ilke bölümünde yalnızca bir kez kullanılabilir.
- Önbellek araması başarısız olursa, önbellekle ilgili işlemi kullanan API çağrısı hata vermez ve önbellek işlemi başarıyla tamamlanır.
Örnekler
İlgili azure-openai-semantic-cache-lookup ilkesine sahip örnek
<policies>
<inbound>
<base />
<azure-openai-semantic-cache-lookup
score-threshold="0.05"
embeddings-backend-id ="azure-openai-backend"
embeddings-backend-auth ="system-assigned" >
<vary-by>@(context.Subscription.Id)</vary-by>
</azure-openai-semantic-cache-lookup>
</inbound>
<outbound>
<azure-openai-semantic-cache-store duration="60" />
<base />
</outbound>
</policies>
İlgili ilkeler
İlgili içerik
İlkelerle çalışma hakkında daha fazla bilgi için bkz:
Geri Bildirim
https://aka.ms/ContentUserFeedback.
Çok yakında: 2024 boyunca, içerik için geri bildirim mekanizması olarak GitHub Sorunları’nı kullanımdan kaldıracak ve yeni bir geri bildirim sistemiyle değiştireceğiz. Daha fazla bilgi için bkz.Gönderin ve geri bildirimi görüntüleyin