Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Important
Dieses Feature befindet sich in der Betaversion. Kontoadministratoren können den Zugriff auf dieses Feature über die Seite " Vorschau" der Kontokonsole steuern. Siehe Manage Azure Databricks Previews.
Auf dieser Seite wird beschrieben, wie Sie Ratenbegrenzungen für die KI-Dienste von Unity AI Gateway konfigurieren. Mithilfe von Satzgrenzwerten können Sie Verbrauchsbeschränkungen für einen Modelldienst oder MCP-Dienst erzwingen, um Kapazität und Kosten zu verwalten.
Requirements
- Unity AI Gateway Preview für Ihr Konto aktiviert. Siehe Manage Azure Databricks Previews.
- Ein Azure Databricks-Arbeitsbereich in einer von Unity AI Gateway unterstützten Region.
Konfigurieren von Ratenbeschränkungen für einen Modelldienst oder MCP-Dienst
Sie können Ratenbeschränkungen basierend auf Anforderungen pro Minute (QPM) oder Token pro Minute (TPM) je nach Diensttyp festlegen:
- Modelldienste: Legen Sie Anforderungen pro Minute (QPM) und Token pro Minute (TPM) fest.
- MCP-Dienste: Legen Sie die Grenzwerte für Anfragen pro Minute (QPM) fest. Tokenbasierte Grenzwerte gelten nicht für MCP-Dienste.
Wählen Sie zum Aktivieren von Ratengrenzwerten beim Konfigurieren Des Modelldiensts oder MCP-Diensts Ratelimits aus. Sie können Zinslimits auf den folgenden Ebenen definieren:
| Feld | Beschreibung |
|---|---|
| Dienstleistung | Geben Sie den maximalen QPM- bzw. TPM-Wert an, den der gesamte Dienst verarbeiten kann. Dieser Grenzwert gilt unabhängig vom Benutzer für den gesamten Datenverkehr. |
| Benutzer (Standard) | Geben Sie einen Standardgrenzwert pro Benutzer an, der für alle Benutzer des Diensts gilt, es sei denn, es wird ein spezifischerer benutzerdefinierter Satzgrenzwert definiert. |
| Grenzwerte für benutzerdefinierte Tarife | Benutzerdefinierte Ratenbeschränkungen können für Folgendes angegeben werden:
|
Details und Verhalten
- Preisbeschränkungen gelten nur für Benutzer mit der Berechtigung zum Abfragen des Diensts.
- Standardmäßig sind keine Ratenbeschränkungen für Benutzer oder den Dienst konfiguriert.
- Die Dienstratengrenze ist ein globales Maximum. Wenn dieser Grenzwert überschritten wird, werden alle Anforderungen an den Dienst blockiert, unabhängig von benutzerspezifischen oder gruppenspezifischen Ratengrenzwerten.
- Wenn ein Dienst,Benutzer oder Dienstprinzipal sowohl ein anforderungsbasiertes Zinslimit als auch ein tokenbasiertes Ratelimit angegeben hat, wird der restriktivere Satzgrenzwert erzwungen.
- Benutzerdefinierte Ratenbeschränkungen überschreiben die Benutzer (Standard)-Grenzwerte.
- Wenn ein Benutzer sowohl zu einem benutzerspezifischen Grenzwert als auch zu einem gruppenspezifischen Grenzwert gehört, wird der benutzerspezifische Grenzwert erzwungen.
- Wenn ein Benutzer zu mehreren Benutzergruppen mit unterschiedlichen QPM- oder TPM-Ratelimits gehört, ist die Rate begrenzt, wenn er alle QPM-Ratengrenzwerte oder alle TPM-Ratelimits seiner Benutzergruppen überschreitet.
Verhalten des Ratelimiters
Wenn ein Zinslimit überschritten wird, gibt der Dienst eine HTTP-Antwort 429 (Zu viele Anforderungen) zurück. Clients sollten Wiederholungslogik mit exponentiellem Backoff implementieren.
Der Zinsgrenzer ist für niedrige Latenz ausgelegt, was bedeutet, dass die folgenden Verhaltensweisen erwartet werden:
- Gleichzeitige Anforderungen werden nicht rechtzeitig überprüft. Das System zeichnet die Nutzung auf, nachdem eine Antwort gesendet wurde. Wenn also mehrere Anfragen zur gleichen Zeit eingehen, können sie alle durchlaufen, bevor die Nutzung gezählt wird. Spätere Anforderungen werden dann abgelehnt, bis die Kapazität wiederhergestellt wird. In der Praxis sehen Sie möglicherweise Datenverkehrsspitzen gefolgt von kurzen Pausen in einem wiederholten Muster.
- Grenzwerte werden unabhängig von Dienstinstanzen erzwungen, sodass kurze Brüche über dem konfigurierten Grenzwert auftreten können, insbesondere direkt nach dem Erstellen oder Aktualisieren eines Diensts.
Im Laufe eines längeren Zeitfensters konvergiert die durchschnittliche Anforderungsrate zum konfigurierten Grenzwert.
Limitations
- Sie können maximal 20 Tarifgrenzwerte pro Dienst angeben.
- Sie können maximal 5 gruppenspezifische Tarifgrenzwerte pro Dienst angeben.