Megosztás a következőn keresztül:

Nagy nyelvi modell API-kéréseinek válaszainak gyorsítótárazása

A KÖVETKEZŐRE VONATKOZIK: Minden API Management-szint

A llm-semantic-cache-store szabályzat gyorsítótárazza a csevegés befejezésére irányuló API-kérésekre adott válaszokat egy konfigurált külső gyorsítótárba. A válasz gyorsítótárazása csökkenti a háttérbeli Azure OpenAI API-ra vonatkozó sávszélességet és feldolgozási követelményeket, és csökkenti az API-felhasználók által érzékelt késést.

Feljegyzés

Feljegyzés

Állítsa be a szabályzat elemeit és gyermekelemeit a szabályzatutasításban megadott sorrendben. További információ az API Management-szabályzatok beállításáról és szerkesztéséről.

Támogatott modellek

Használja a szabályzatot az Azure API Managementhez hozzáadott LLM API-kkal, amelyek az Azure AI Model Inference API-val vagy a külső következtetésszolgáltatókon keresztül kiszolgált OpenAI-kompatibilis modellekkel érhetők el.

Szabályzatutasítás

<llm-semantic-cache-store duration="seconds"/>

Attribútumok

Attribútum Leírás Kötelező Alapértelmezett
időtartam A gyorsítótárazott bejegyzések élettartamának beállítása másodpercben megadva. A szabályzatkifejezések engedélyezettek. Igen n/a

Használat

Használati megjegyzések

  • Ez a szabályzat csak egyszer használható egy szabályzatszakaszban.
  • Ha a gyorsítótár-keresés sikertelen, a gyorsítótárral kapcsolatos műveletet használó API-hívás nem okoz hibát, és a gyorsítótár-művelet sikeresen befejeződik.
  • Javasoljuk, hogy a gyorsítótár-keresés után azonnal konfiguráljon egy sebességkorlátozó szabályzatot (vagy kulcsonkénti sebességkorlátozási szabályzatot). Ez segít abban, hogy a háttérszolgáltatás túlterhelt legyen, ha a gyorsítótár nem érhető el.

Példák

Példa a megfelelő llm-szemantic-cache-lookup szabályzattal

Az alábbi példa bemutatja, hogyan használható a szabályzat és a llm-semantic-cache-lookup szabályzat a llm-semantic-cache-store szemantikailag hasonló gyorsítótárazott válaszok lekérésére 0,05-ös hasonlósági pontszám küszöbértékkel. A gyorsítótárazott értékeket a hívó előfizetés-azonosítója particionálta.

Feljegyzés

Adjon hozzá egy sebességkorlát-szabályzatot (vagy kulcsonkénti sebességkorlátozási szabályzatot) a gyorsítótár-keresés után, hogy korlátozza a hívások számát, és megakadályozza a háttérszolgáltatás túlterhelését abban az esetben, ha a gyorsítótár nem érhető el.

<policies>
    <inbound>
        <base />
        <llm-semantic-cache-lookup
            score-threshold="0.05"
            embeddings-backend-id ="llm-backend"
            embeddings-backend-auth ="system-assigned" >
            <vary-by>@(context.Subscription.Id)</vary-by>
        </llm-semantic-cache-lookup>
        <rate-limit calls="10" renewal-period="60" />
    </inbound>
    <outbound>
        <llm-semantic-cache-store duration="60" />
        <base />
    </outbound>
</policies>

Kapcsolódó tartalom

A szabályzatok használatával kapcsolatos további információkért lásd:

  • Last updated on