Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Importante
Questa funzionalità è in versione beta. Gli amministratori dell'account possono controllare l'accesso a questa funzionalità dalla pagina Anteprime della console dell'account. Vedere Gestire le anteprime di Azure Databricks.
Questa pagina descrive come configurare i limiti di velocità per i servizi AI di Unity AI Gateway. I limiti di velocità consentono di applicare limiti di consumo per un servizio modello o un servizio MCP per gestire capacità e costi.
Requirements
- Anteprima del Gateway di Intelligenza Artificiale Unity abilitata per l'account. Vedere Gestire le anteprime di Azure Databricks.
- Un'area di lavoro Azure Databricks in un'area Unity Ai Gateway supportata.
Configurare i limiti di frequenza per un servizio modello o un servizio MCP
È possibile impostare limiti di frequenza in base alle richieste al minuto (QPM) o ai token al minuto (TPM), a seconda del tipo di servizio:
- Servizi di modello: impostare le richieste al minuto (QPM) e i limiti dei token al minuto (TPM).
- Servizi MCP: impostare i limiti delle richieste al minuto (QPM). I limiti basati su token non si applicano ai servizi MCP.
Per abilitare i limiti di frequenza, selezionare Limiti di frequenza durante la configurazione del servizio modello o del servizio MCP. È possibile definire limiti di frequenza ai livelli seguenti:
| Field | Description |
|---|---|
| Servizio | Specificare il valore massimo di QPM o TPM che l'intero servizio può gestire. Questo limite si applica a tutto il traffico, indipendentemente dall'utente. |
| Utente (impostazione predefinita) | Specificare un limite di frequenza predefinito per utente che si applica a tutti gli utenti del servizio, a meno che non venga definito un limite di frequenza personalizzato più specifico. |
| Limiti di frequenza personalizzati | È possibile specificare limiti di frequenza personalizzati per:
|
Dettagli e comportamento
- I limiti di frequenza si applicano solo agli utenti autorizzati a eseguire query sul servizio.
- Per impostazione predefinita, non sono previsti limiti di frequenza configurati per gli utenti o il servizio.
- Il limite di velocità del servizio è un valore massimo globale. Se questo limite viene superato, tutte le richieste al servizio vengono bloccate, indipendentemente dai limiti di frequenza specifici dell'utente o del gruppo.
- Se un servizio, un utente o un'entità servizio ha sia un limite di frequenza basato su richiesta che un limite di frequenza basato su token specificato, viene applicato il limite di frequenza più restrittivo.
- I limiti di frequenza personalizzati sostituiscono il limite di velocità utente (predefinito).
- Se un utente appartiene sia a un limite specifico dell'utente che a un limite specifico del gruppo, viene applicato il limite specifico dell'utente.
- Se un utente appartiene a più gruppi di utenti con limiti di frequenza TPM o QPM diversi, l'utente è limitato nella frequenza se supera tutti i limiti di frequenza QPM dei gruppi di utenti o tutti i limiti di frequenza TPM dei gruppi di utenti.
Comportamento del limite di velocità
Quando viene superato un limite di velocità, il servizio restituisce una risposta HTTP 429 (troppe richieste). I client devono implementare la logica di ripetizione dei tentativi con backoff esponenziale.
Il limite di velocità è progettato per una bassa latenza, il che significa che sono previsti i comportamenti seguenti:
- Le richieste simultanee non vengono controllate in anticipo. Il sistema registra l'utilizzo dopo l'invio di una risposta, quindi se più richieste arrivano nello stesso momento, possono passare tutte prima che venga conteggiato l'utilizzo. Le richieste successive vengono quindi rifiutate fino al ripristino della capacità. In pratica, è possibile che vengano visualizzati picchi di traffico seguiti da brevi pause in un modello ripetuto.
- I limiti vengono applicati in modo indipendente nelle istanze del servizio, quindi possono verificarsi brevi picchi leggermente superiori al limite configurato, soprattutto subito dopo la creazione o l'aggiornamento di un servizio.
In un intervallo di tempo più lungo, la frequenza media delle richieste converge al limite configurato.
Limitations
- È possibile specificare un massimo di 20 limiti di frequenza per servizio.
- È possibile specificare un massimo di 5 limiti di frequenza specifici per gruppo per servizio.