Megosztás a következőn keresztül:

Az Azure OpenAI API-kérésekre adott válaszok gyorsítótárazása

  • Cikk

A KÖVETKEZŐRE VONATKOZIK: Alapszintű v2 | Standard v2

A azure-openai-semantic-cache-store szabályzat gyorsítótárazza az Azure OpenAI Chat Completion API-ra és a Befejezési API-kérésekre adott válaszokat egy konfigurált külső gyorsítótárba. A válasz gyorsítótárazása csökkenti a háttérbeli Azure OpenAI API-ra vonatkozó sávszélességet és feldolgozási követelményeket, és csökkenti az API-felhasználók által érzékelt késést.

Feljegyzés

  • Ennek a szabályzatnak rendelkeznie kell egy megfelelő Get cached responses to Azure OpenAI API requests policy-val.
  • A szemantikai gyorsítótárazás engedélyezésének előfeltételeit és lépéseit az Azure OpenAI API-k szemantikai gyorsítótárazásának engedélyezése az Azure API Managementben című témakörben találja.
  • Ez a szabályzat jelenleg előzetes verzióban érhető el.

Feljegyzés

Állítsa be a szabályzat elemeit és gyermekelemeit a szabályzatutasításban megadott sorrendben. További információ az API Management-szabályzatok beállításáról és szerkesztéséről.

Szabályzatutasítás

<azure-openai-semantic-cache-store duration="seconds"/>

Attribútumok

Attribútum Leírás Kötelező Alapértelmezett
időtartam A gyorsítótárazott bejegyzések élettartamának beállítása másodpercben megadva. A szabályzatkifejezések engedélyezettek. Igen n/a

Használat

Használati megjegyzések

  • Ez a szabályzat csak egyszer használható egy szabályzatszakaszban.
  • Ha a gyorsítótár-keresés sikertelen, a gyorsítótárral kapcsolatos műveletet használó API-hívás nem okoz hibát, és a gyorsítótár-művelet sikeresen befejeződik.

Példák

Példa az azure-openai-szemantic-cache-lookup szabályzatra

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Kapcsolódó tartalom

A szabályzatok használatával kapcsolatos további információkért lásd: