Megosztás a következőn keresztül:

Azure OpenAI API-kérések gyorsítótárazott válaszainak lekérése

A KÖVETKEZŐRE VONATKOZIK: Minden API Management-szint

azure-openai-semantic-cache-lookup A szabályzat használatával gyorsítótárban keresheti meg az Azure OpenAI Csevegés befejezése API-kérésekre adott válaszokat egy konfigurált külső gyorsítótárból, a kérés vektoros közelsége és a megadott hasonlósági pontszám küszöbértéke alapján. A válasz gyorsítótárazása csökkenti a háttérbeli Azure OpenAI API-ra vonatkozó sávszélességet és feldolgozási követelményeket, és csökkenti az API-felhasználók által érzékelt késést.

Feljegyzés

Feljegyzés

Állítsa be a szabályzat elemeit és gyermekelemeit a szabályzatutasításban megadott sorrendben. További információ az API Management-szabályzatok beállításáról és szerkesztéséről.

Támogatott Azure OpenAI az Azure AI Foundry-modellekben

A szabályzatot az API Managementhez hozzáadott API-k használják az Azure OpenAI-ból az AI Foundry-modellekben az alábbi típusok esetében:

API-típus Támogatott modellek
Csevegés befejezése gpt-3.5

gpt-4

gpt-4o

gpt-4o-mini

o1

o3
Beágyazások text-embedding-3-large

text-embedding-3-small

text-embedding-ada-002
Válaszok (előzetes verzió) gpt-4o(Verziók: 2024-11-20, 2024-08-06) 2024-05-13

gpt-4o-mini (Verzió: 2024-07-18)

gpt-4.1 (Verzió: 2025-04-14)

gpt-4.1-nano (Verzió: 2025-04-14)

gpt-4.1-mini (Verzió: 2025-04-14)

gpt-image-1 (Verzió: 2025-04-15)

o3 (Verzió: 2025-04-16)

o4-mini (Verzió: '2025-04-16)

Feljegyzés

A hagyományos befejező API-k csak régi modellverziókkal érhetők el, és a támogatás korlátozott.

A modellekről és képességeikről az Azure OpenAI in Foundry Models című témakörben tájékozódhat.

Szabályzatutasítás

<azure-openai-semantic-cache-lookup
    score-threshold="score threshold to return cached response"
    embeddings-backend-id ="backend entity ID for embeddings API"
    embeddings-backend-auth ="system-assigned"             
    ignore-system-messages="true | false"      
    max-message-count="count" >
    <vary-by>"expression to partition caching"</vary-by>
</azure-openai-semantic-cache-lookup>

Attribútumok

Attribútum Leírás Kötelező Alapértelmezett
pontszám-küszöbérték A pontszám küszöbértéke határozza meg, hogy egy bejövő kérésnek milyen szorosan kell egyeznie a gyorsítótárazott kéréssel a tárolt válasz visszaadásához. Az érték 0,0 és 1,0 között mozog. Az alacsonyabb értékek magasabb szemantikai hasonlóságot igényelnek egy egyezéshez. További információ. Igen n/a
embeddings-backend-id Háttérrendszer A beágyazási API-hívás azonosítója. Igen n/a
embeddings-backend-auth A beágyazási API-háttérrendszerhez használt hitelesítés. Igen. A beállításnak a system-assignedkövetkezőnek kell lennie: . n/a
rendszerüzenetek figyelmen kívül hagyása Logikai. Ha be van true állítva (ajánlott), eltávolítja a rendszerüzeneteket egy csevegés befejezésére vonatkozó kérésből, mielőtt kiértékelné a gyorsítótár hasonlóságát. Nem hamis
maximális üzenetszám Ha meg van adva, azoknak a párbeszédpanel-üzeneteknek a száma, amelyek után a gyorsítótárazás kimarad. Nem n/a

Elemek

Név Leírás Kötelező
változó szerint Olyan egyéni kifejezés, amely futásidőben van meghatározva, amelynek az értékpartíciói gyorsítótáraznak. Ha több vary-by elemet ad hozzá, az értékek összefűzve egyedi kombinációt hoznak létre. Nem

Használat

Használati megjegyzések

  • Ez a szabályzat csak egyszer használható egy szabályzatszakaszban.
  • Az alkalmazás értékének finomhangolása score-threshold annak érdekében, hogy a rendszer a megfelelő érzékenységet használja annak meghatározására, hogy mikor kell gyorsítótárazott válaszokat visszaadni a lekérdezésekhez. Kezdje alacsony értékkel, például 0,05-ös értékkel, és állítsa be a gyorsítótár-találatok és a kihagyások arányának optimalizálásához.
  • A 0,2-esnél magasabb pontszám küszöbértéke a gyorsítótár eltéréséhez vezethet. Érdemes lehet kisebb értéket használni a bizalmas használati esetekhez.
  • A gyorsítótárbejegyzésekhez való felhasználóközi hozzáférés szabályozása adott felhasználó- vagy felhasználócsoport-azonosítók megadásával vary-by .
  • A beágyazási modellnek elegendő kapacitással és megfelelő környezetmérettel kell rendelkeznie a parancssori kötet és a kérések kezeléséhez.
  • Fontolja meg az llm-content-safety szabályzat azonnali védelemmel való hozzáadását a gyors támadások elleni védelem érdekében.
  • Javasoljuk, hogy a gyorsítótár-keresés után azonnal konfiguráljon egy sebességkorlátozó szabályzatot (vagy kulcsonkénti sebességkorlátozási szabályzatot). Ez segít abban, hogy a háttérszolgáltatás túlterhelt legyen, ha a gyorsítótár nem érhető el.

Példák

Példa az azure-openai-szemantic-cache-store szabályzatra

Az alábbi példa bemutatja, hogyan használható a szabályzat és a azure-openai-semantic-cache-lookup szabályzat a azure-openai-semantic-cache-store szemantikailag hasonló gyorsítótárazott válaszok lekérésére 0,05-ös hasonlósági pontszám küszöbértékkel. A gyorsítótárazott értékeket a hívó előfizetés-azonosítója particionálta.

Feljegyzés

Adjon hozzá egy sebességkorlát-szabályzatot (vagy kulcsonkénti sebességkorlátozási szabályzatot) a gyorsítótár-keresés után, hogy korlátozza a hívások számát, és megakadályozza a háttérszolgáltatás túlterhelését abban az esetben, ha a gyorsítótár nem érhető el.

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
        <rate-limit calls="10" renewal-period="60" />
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Kapcsolódó tartalom

A szabályzatok használatával kapcsolatos további információkért lásd:

  • Last updated on