Megosztás a következőn keresztül:

Azure OpenAI API-kérések gyorsítótárazott válaszainak lekérése

  • Cikk

A KÖVETKEZŐRE VONATKOZIK: Minden API Management-szint

azure-openai-semantic-cache-lookup A szabályzat használatával gyorsítótárban keresheti meg az Azure OpenAI Chat Completion API-ra és a Befejezési API-kérésekre adott válaszokat egy konfigurált külső gyorsítótárból, a kérés vektoros közelsége és a megadott hasonlósági pontszám küszöbértéke alapján. A válasz gyorsítótárazása csökkenti a háttérbeli Azure OpenAI API-ra vonatkozó sávszélességet és feldolgozási követelményeket, és csökkenti az API-felhasználók által érzékelt késést.

Feljegyzés

  • Ennek a szabályzatnak rendelkeznie kell egy, az Azure OpenAI API kérési szabályzatára adott gyorsítótár-válaszokkal.
  • A szemantikai gyorsítótárazás engedélyezésének előfeltételeit és lépéseit az Azure OpenAI API-k szemantikai gyorsítótárazásának engedélyezése az Azure API Managementben című témakörben találja.
  • Ez a szabályzat jelenleg előzetes verzióban érhető el.

Feljegyzés

Állítsa be a szabályzat elemeit és gyermekelemeit a szabályzatutasításban megadott sorrendben. További információ az API Management-szabályzatok beállításáról és szerkesztéséről.

Szabályzatutasítás

<azure-openai-semantic-cache-lookup
    score-threshold="similarity score threshold"
    embeddings-backend-id ="backend entity ID for embeddings API"
    embeddings-backend-auth ="system-assigned"             
    ignore-system-messages="true | false"      
    max-message-count="count" >
    <vary-by>"expression to partition caching"</vary-by>
</azure-openai-semantic-cache-lookup>

Attribútumok

Attribútum Leírás Kötelező Alapértelmezett
pontszám-küszöbérték A hasonlósági pontszám küszöbértéke annak meghatározására szolgál, hogy gyorsítótárazott választ ad-e vissza egy parancssornak. Az érték 0,0 és 1,0 közötti decimális érték. További információ. Igen n/a
embeddings-backend-id Az OpenAI-beágyazási API-hívás háttérazonosítója. Igen n/a
embeddings-backend-auth Az Azure OpenAI-beágyazások API-háttérrendszeréhez használt hitelesítés. Igen. A beállításnak a system-assignedkövetkezőnek kell lennie: . n/a
rendszerüzenetek figyelmen kívül hagyása Logikai. Ha be van trueállítva, eltávolítja a rendszerüzeneteket egy GPT-csevegés befejezési kéréséből, mielőtt kiértékelné a gyorsítótár hasonlóságát. Nem false
maximális üzenetszám Ha meg van adva, azoknak a párbeszédpanel-üzeneteknek a száma, amelyek után a gyorsítótárazás kimarad. Nem N.A.

Elemek

Név Leírás Kötelező
változó szerint Olyan egyéni kifejezés, amely futásidőben van meghatározva, amelynek az értékpartíciói gyorsítótáraznak. Ha több vary-by elemet ad hozzá, az értékek összefűzve egyedi kombinációt hoznak létre. Nem

Használat

Használati megjegyzések

  • Ez a szabályzat csak egyszer használható egy szabályzatszakaszban.

Példák

Példa az azure-openai-szemantic-cache-store szabályzatra

<policies>
    <inbound>
        <base />
        <azure-openai-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="azure-openai-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </azure-openai-semantic-cache-lookup>
    </inbound>
    <outbound>
        <azure-openai-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Kapcsolódó tartalom

A szabályzatok használatával kapcsolatos további információkért lásd: