Bagikan melalui

Respons cache terhadap permintaan Azure OpenAI API

BERLAKU UNTUK: Semua tingkatAN API Management

Kebijakan ini azure-openai-semantic-cache-store menyimpan respons terhadap permintaan Azure OpenAI Chat Completion API ke cache eksternal yang dikonfigurasi. Penembolokan respons mengurangi bandwidth dan persyaratan pemrosesan yang diberlakukan pada API Azure OpenAI backend dan menurunkan latensi yang dirasakan oleh konsumen API.

Catatan

Catatan

Tetapkan elemen kebijakan dan elemen turunan dalam urutan yang disediakan dalam pernyataan kebijakan. Pelajari lebih lanjut cara mengatur atau mengedit kebijakan API Management.

Azure OpenAI yang didukung di model Azure AI Foundry

Kebijakan ini digunakan dengan API yang ditambahkan ke API Management dari Azure OpenAI dalam model AI Foundry dari jenis berikut:

Tipe API Model yang didukung
Penyelesaian obrolan gpt-3.5

gpt-4

gpt-4o

gpt-4o-mini

o1

o3
Penyematan text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002
Respons (pratinjau) gpt-4o (Versi: 2024-11-20, 2024-08-06, 2024-05-13)

gpt-4o-mini (Versi: 2024-07-18)

gpt-4.1 (Versi: 2025-04-14)

gpt-4.1-nano (Versi: 2025-04-14)

gpt-4.1-mini (Versi: 2025-04-14)

gpt-image-1 (Versi: 2025-04-15)

o3 (Versi: 2025-04-16)

o4-mini (Versi: '2025-04-16)

Catatan

API penyelesaian tradisional hanya tersedia dengan versi model lama dan dukungan terbatas.

Untuk informasi saat ini tentang model dan kemampuannya, lihat Azure OpenAI di Model Foundry.

Pernyataan kebijakan

<azure-openai-semantic-cache-store duration="seconds"/>

Atribut

Atribut Deskripsi Wajib diisi Bawaan
durasi Waktu nyala dari entri cache, dinyatakan dalam detik. Ekspresi kebijakan diizinkan. Ya T/A

Penggunaan

Catatan penggunaan

  • Kebijakan ini hanya dapat digunakan sekali di bagian kebijakan.
  • Jika pencarian cache gagal, panggilan API yang menggunakan operasi terkait cache tidak menimbulkan kesalahan, dan operasi cache berhasil diselesaikan.
  • Sebaiknya konfigurasikan kebijakan batas tarif (atau kebijakan batas-demi-kunci tarif ) segera setelah pencarian cache apa pun. Ini membantu menjaga agar layanan backend Anda tidak kelebihan beban jika cache tidak tersedia.

Contoh

Contoh dengan kebijakan azure-openai-semantic-cache-lookup yang sesuai

Contoh berikut menunjukkan cara menggunakan azure-openai-semantic-cache-lookup kebijakan bersama dengan azure-openai-semantic-cache-store kebijakan untuk mengambil respons cache yang serupa secara semantik dengan ambang skor kesamaan 0,05. Nilai yang di-cache dipartisi oleh ID langganan pemanggil.

Catatan

Tambahkan kebijakan batas tarif (atau kebijakan batas tarif berdasarkan kunci ) setelah pencarian cache untuk membantu membatasi jumlah panggilan dan mencegah kelebihan beban pada layanan backend jika cache tidak tersedia.

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
        <rate-limit calls="10" renewal-period="60" />
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Konten terkait

Untuk informasi selengkapnya tentang bekerja dengan kebijakan, lihat:

  • Last updated on