Konfigurace omezení rychlosti pro služby AI pomocí služby Unity AI Gateway

Important

Tato funkce je v beta verzi. Správci účtů můžou řídit přístup k této funkci ze stránky účtu Previews. Viz Manage Azure Databricks preview.

Tato stránka popisuje, jak nastavit limity rychlosti pro služby AI v Unity AI Gateway. Omezení rychlosti umožňují vynucovat limity spotřeby u modelové služby nebo služby MCP ke správě kapacity a nákladů.

Requirements

Konfigurace omezení rychlosti pro modelovou službu nebo službu MCP

Limity rychlosti můžete nastavit na základě požadavků za minutu (QPM) nebo tokenů za minutu (TPM) v závislosti na typu služby:

  • Služby modelu: Nastavte limity pro žádosti za minutu (QPM) a tokeny za minutu (TPM).
  • Služby MCP: Nastavte limity žádostí za minutu (QPM). Omezení založená na tokenech se nevztahují na služby MCP.

Pokud chcete povolit omezení rychlosti, vyberte při konfiguraci modelové služby nebo služby MCP možnost Omezení rychlosti. Omezení rychlosti můžete definovat na následujících úrovních:

Field Description
Service Zadejte maximální hodnotu QPM nebo TPM, kterou může zpracovat celá služba. Tento limit platí pro veškerý provoz bez ohledu na uživatele.
Uživatel (výchozí) Zadejte výchozí limit četnosti pro jednotlivé uživatele, který platí pro všechny uživatele služby, pokud není definován konkrétnější vlastní limit rychlosti.
Limity vlastních sazeb Vlastní omezení rychlosti mohou být specifikována pro:
  • Jednotliví uživatelé nebo principálové služby: Ti mají přednost před vlastními limity rychlosti skupin uživatelů.
  • Skupiny uživatelů: Tento limit je limit sdílené rychlosti pro všechny členy skupiny.

Podrobnosti a chování

  • Omezení rychlosti se vztahují pouze na uživatele s oprávněním k dotazování služby.
  • Ve výchozím nastavení nejsou nakonfigurované žádné limity rychlosti pro uživatele nebo službu.
  • Limit rychlosti služby je globální maximum. Pokud dojde k překročení tohoto limitu, všechny požadavky na službu se zablokují bez ohledu na limity četnosti specifické pro uživatele nebo skupiny.
  • Pokud je pro službu, uživatele nebo instanční objekt služby zadáno jak omezení rychlosti podle počtu požadavků, tak omezení rychlosti podle tokenů, uplatní se přísnější omezení rychlosti.
  • Vlastní omezení rychlosti přepisuje limit rychlosti uživatele (výchozí).
    • Jestliže uživatel patří jak k limitu specifickému pro uživatele, tak k limitu specifickému pro skupinu, bude vynucen limit specifický pro uživatele.
    • Pokud uživatel patří do více skupin uživatelů s různými omezeními rychlosti QPM nebo TPM, je počet uživatelů omezený, pokud překročí všechna omezení rychlosti QPM nebo všechny limity rychlosti TPM pro své skupiny uživatelů.

Chování omezovače rychlosti

Při překročení limitu rychlosti vrátí služba odpověď HTTP 429 (Příliš mnoho požadavků). Klienti by měli implementovat logiku opakování s exponenciálním oddalováním.

Omezovač rychlosti je navržený pro nízkou latenci, což znamená, že se očekává následující chování:

  • Souběžné požadavky se předem nekontrolují. Systém zaznamenává využití po odeslání odpovědi, takže pokud ve stejnou chvíli přijde několik požadavků, mohou všechny projít, než se využití započítá. Později se žádosti zamítnou, dokud se kapacita neobnoví. V praxi můžete vidět nárůsty provozu následované krátkými pozastaveními v opakujícím se vzoru.
  • Limity se vynucují nezávisle na instancích služby, takže krátké shluky mírně nad nakonfigurovaným limitem mohou nastat, zejména po vytvoření nebo aktualizaci služby.

V delším časovém intervalu se průměrná míra požadavků konverguje k nakonfigurovaným limitu.

Limitations

  • Pro každou službu můžete zadat maximálně 20 omezení rychlosti.
  • Pro každou službu můžete zadat maximálně 5 omezení četnosti specifických pro skupinu.

Další zdroje informací

  • Last updated on