Bagikan melalui

Respons cache terhadap permintaan API model bahasa besar

  • Artikel

BERLAKU UNTUK: Semua tingkatAN API Management

Kebijakan ini llm-semantic-cache-store menyimpan respons terhadap API penyelesaian obrolan dan permintaan API penyelesaian ke cache eksternal yang dikonfigurasi. Penembolokan respons mengurangi bandwidth dan persyaratan pemrosesan yang diberlakukan pada API Azure OpenAI backend dan menurunkan latensi yang dirasakan oleh konsumen API.

Catatan

Catatan

Tetapkan elemen kebijakan dan elemen turunan dalam urutan yang disediakan dalam pernyataan kebijakan. Pelajari lebih lanjut cara mengatur atau mengedit kebijakan API Management.

Model yang didukung

Gunakan kebijakan dengan API LLM yang ditambahkan ke Azure API Management yang tersedia melalui Azure AI Model Inference API.

Pernyataan kebijakan

<llm-semantic-cache-store duration="seconds"/>

Atribut

Atribut Deskripsi Wajib diisi Default
durasi Waktu nyala dari entri cache, dinyatakan dalam detik. Ekspresi kebijakan diizinkan. Ya T/A

Penggunaan

Catatan penggunaan

  • Kebijakan ini hanya dapat digunakan sekali di bagian kebijakan.
  • Jika pencarian cache gagal, panggilan API yang menggunakan operasi terkait cache tidak menimbulkan kesalahan, dan operasi cache berhasil diselesaikan.

Contoh

Contoh dengan kebijakan llm-semantic-cache-lookup yang sesuai

<policies>
    <inbound>
        <base />
        <llm-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="llm-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </llm-semantic-cache-lookup>
    </inbound>
    <outbound>
        <llm-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Konten terkait

Untuk informasi selengkapnya tentang bekerja dengan kebijakan, lihat: