Condividi tramite

Limitare l'utilizzo dei token API del modello linguistico di grandi dimensioni

SI APPLICA A: Sviluppatore | Basic | Basic v2 | Standard | Standard v2 | Premium | Premium v2

I llm-token-limit criteri impediscono picchi di utilizzo delle API LLM (Large Language Model) per ogni chiave limitando il consumo di token del modello linguistico a una frequenza specificata (numero al minuto), una quota in un periodo specificato o entrambi. Quando viene superato un limite di frequenza di token specificato, il chiamante riceve un 429 Too Many Requests codice di stato della risposta. Quando viene superata una quota specificata, il chiamante riceve un 403 Forbidden codice di stato della risposta.

Basandosi sulle metriche di utilizzo dei token restituite dall'endpoint LLM, i criteri possono monitorare e applicare con precisione i limiti in tempo reale. Il criterio abilita anche il precalcolo dei token di richiesta da parte di Gestione API, riducendo al minimo le richieste non necessarie al back-end LLM se il limite è già stato superato.

Nota

Impostare gli elementi e gli elementi figlio del criterio nell'ordine specificato nell'istruzione del criterio. Altre informazioni su come impostare o modificare i criteri di API Management.

Modelli supportati

Usare i criteri con le API LLM aggiunte a Gestione API di Azure disponibili tramite l'API di inferenza del modello di intelligenza artificiale di Azure o con modelli compatibili con OpenAI gestiti tramite provider di inferenza di terze parti.

Istruzione del criterio

<llm-token-limit counter-key="key value"
        tokens-per-minute="number"
        token-quota="number"
        token-quota-period="Hourly | Daily | Weekly | Monthly | Yearly"
        estimate-prompt-tokens="true | false"    
        retry-after-header-name="custom header name, replaces default 'Retry-After'" 
        retry-after-variable-name="policy expression variable name"
        remaining-quota-tokens-header-name="header name"  
        remaining-quota-tokens-variable-name="policy expression variable name"
        remaining-tokens-header-name="header name"  
        remaining-tokens-variable-name="policy expression variable name"
        tokens-consumed-header-name="header name"
        tokens-consumed-variable-name="policy expression variable name" />

Attributi

Attributo Descrizione Richiesto Valore predefinito
counter-key Chiave da usare per i criteri di limite dei token. Per ogni valore di chiave, viene usato un singolo contatore per tutti gli ambiti in cui è configurato il criterio. Le espressioni di criteri sono consentite. Sì N/D
token al minuto Numero massimo di token utilizzati dalla richiesta e dal completamento al minuto. È necessario specificare un limite di velocità (tokens-per-minute), una quota (token-quota superiore a token-quota-period) o entrambi. N/D
quota token Numero massimo di token consentiti durante l'intervallo di tempo specificato in token-quota-period. Le espressioni di criteri non sono consentite. È necessario specificare un limite di velocità (tokens-per-minute), una quota (token-quota superiore a token-quota-period) o entrambi. N/D
token-quota-period Lunghezza della finestra fissa dopo la quale viene reimpostato.token-quota Il valore deve essere uno dei seguenti: Hourly,DailyWeekly , , Monthly. Yearly L'ora di inizio di un periodo di quota viene calcolata come timestamp UTC troncato all'unità (ora, giorno e così via) usata per il periodo. È necessario specificare un limite di velocità (tokens-per-minute), una quota (token-quota superiore a token-quota-period) o entrambi. N/D
estimate-prompt-tokens Valore booleano che determina se stimare il numero di token necessari per una richiesta:
- true: stimare il numero di token in base allo schema di richiesta nell'API. Può comportare la riduzione delle prestazioni.
- false: non stimare i token di richiesta.

Se impostato su false, i token rimanenti per counter-key vengono calcolati usando l'utilizzo effettivo del token dalla risposta del modello. Ciò potrebbe comportare l'invio di prompt al modello che superano il limite di token. In questo caso, verrà rilevato nella risposta e tutte le richieste successive verranno bloccate dal criterio fino a quando il limite di token non viene nuovamente liberato.		 Sì N/D
retry-after-header-name Nome di un'intestazione di risposta personalizzata il cui valore è l'intervallo di ripetizione consigliato in secondi dopo il superamento o tokens-per-minute il superamento dell'oggetto specificatotoken-quota. Le espressioni di criteri non sono consentite. NO Retry-After
retry-after-variable-name Nome di una variabile che archivia l'intervallo di ripetizione dei tentativi consigliato in secondi dopo il superamento dell'oggetto specificato tokens-per-minute o token-quota superato. Le espressioni di criteri non sono consentite. NO N/D
remaining-quota-tokens-header-name Nome di un'intestazione di risposta il cui valore dopo ogni esecuzione dei criteri è il numero di token rimanenti corrispondenti a consentiti token-quota per .token-quota-period Le espressioni di criteri non sono consentite. NO N/D
remaining-quota-tokens-variable-name Nome di una variabile che dopo ogni esecuzione dei criteri archivia il numero di token rimanenti corrispondenti a consentiti token-quota per .token-quota-period Le espressioni di criteri non sono consentite. NO N/D
remaining-tokens-header-name Il nome di un'intestazione di risposta il cui valore dopo ogni esecuzione dei criteri è il numero di token rimanenti corrispondenti a tokens-per-minute consentiti per l'intervallo di tempo. Le espressioni di criteri non sono consentite. NO N/D
remaining-tokens-variable-name Nome di una variabile che dopo ogni esecuzione dei criteri archivia il numero di token rimanenti corrispondenti a consentiti tokens-per-minute per l'intervallo di tempo. Le espressioni di criteri non sono consentite. NO N/D
tokens-consumed-header-name Nome di un'intestazione di risposta il cui valore è il numero di token utilizzati sia dalla richiesta che dal completamento. L'intestazione viene aggiunta alla risposta solo dopo la ricezione della risposta dal back-end. Le espressioni di criteri non sono consentite. NO N/D
tokens-consumed-variable-name Nome di una variabile inizializzata per il numero stimato di token nella richiesta nella sezione backend della pipeline se estimate-prompt-tokens è true e zero in caso contrario. La variabile viene aggiornata con il conteggio segnalato al momento della ricezione della risposta nella sezione outbound. NO N/D

Utilizzo

Note sull'utilizzo

  • Questi criteri possono essere usato più volte per ogni definizione di criteri.
  • Se disponibili quando estimate-prompt-tokens è impostato su false, i valori nella sezione relativa all'utilizzo della risposta dall'API LLM vengono usati per determinare le metriche dei token.
  • Certi endpoint LLM supportano il flusso di risposte. Quando stream è impostato su true nella richiesta API per abilitare lo streaming, i token di prompt vengono sempre stimati, indipendentemente dal valore dell'attributo estimate-prompt-tokens.
  • Per i modelli che accettano l'input dell'immagine, i token di immagine vengono in genere conteggiati dal modello linguistico back-end e inclusi nei calcoli di limiti e quote. Tuttavia, quando lo streaming viene usato o estimate-prompt-tokens è impostato su true, il criterio attualmente esegue il over-count di ogni immagine come numero massimo di 1200 token.
  • Gestione API usa un singolo contatore per ogni valore counter-key specificato nei criteri. Il contatore viene aggiornato in tutti gli ambiti in cui il criterio è configurato con tale valore della chiave. Se si vogliono configurare contatori separati in ambiti diversi, ad esempio, un'API o un prodotto specifico, specificare valori di chiave diversi nei diversi ambiti. Ad esempio, aggiungere una stringa che identifica l'ambito alla fine del valore di un'espressione.
  • Questo criterio tiene traccia dell'utilizzo dei token in modo indipendente in ogni gateway in cui viene applicato, inclusi i gateway dell'area di lavoro e i gateway a livello di area in una distribuzione in più aree. Non aggrega i conteggi dei token nell'intera istanza.

Esempi

Limite di frequenza dei token

Nell'esempio seguente il limite di frequenza dei token di 5000 al minuto viene inserito nella chiave dall'indirizzo IP del chiamante. Il criterio non stima il numero di token necessari per una richiesta. Dopo ogni esecuzione dei criteri, i token rimanenti consentiti per tale indirizzo IP chiamante nel periodo di tempo vengono archiviati nella variabile remainingTokens.

<policies>
    <inbound>
        <base />
        <llm-token-limit
            counter-key="@(context.Request.IpAddress)"
            tokens-per-minute="5000" estimate-prompt-tokens="false" remaining-tokens-variable-name="remainingTokens" />
    </inbound>
    <outbound>
        <base />
    </outbound>
</policies>

Quota token

Nell'esempio seguente la quota di token di 10000 viene chiaveta dall'ID sottoscrizione e reimposta ogni mese. Dopo ogni esecuzione dei criteri, il numero di token rimanenti consentiti per tale ID sottoscrizione nel periodo di tempo viene archiviato nella variabile remainingQuotaTokens.

<policies>
    <inbound>
        <base />
        <llm-token-limit
            counter-key="@(context.Subscription.Id)"
            token-quota="100000" token-quota-period="Monthly" remaining-quota-tokens-variable-name="remainingQuotaTokens" />
    </inbound>
    <outbound>
        <base />
    </outbound>
</policies>

Contenuto correlato

Per ulteriori informazioni sull'utilizzo dei criteri, vedere: