Omezení služby AI automatického škálování

  • Článek

Tento článek obsahuje pokyny pro přístup zákazníků k vyšším limitům rychlosti u prostředků služeb Azure AI.

Přehled

Každý prostředek služeb Azure AI má předem nakonfigurovanou statickou četnost volání (transakce za sekundu), která omezuje počet souběžných volání, která zákazníci můžou v daném časovém rámci provést do back-endové služby. Funkce automatického škálování automaticky zvýší nebo sníží limity rychlosti prostředků zákazníka na základě metrik využití prostředků téměř v reálném čase a metriky kapacity back-endové služby.

Začínáme s funkcí automatického škálování

Tato funkce je ve výchozím nastavení zakázaná pro každý nový prostředek. Pokud ho chcete povolit, postupujte podle těchto pokynů.

Na webu Azure Portal přejděte na stránku vašeho prostředku a v levém podokně vyberte kartu Přehled . V části Základy najděte řádek automatického škálování a vyberte odkaz pro zobrazení podokna automatického škálování Nastavení a povolte tuto funkci.

Screenshot of the Azure portal with the autoscale pane on right.

Nejčastější dotazy

Znamená povolení funkce automatického škálování, že se můj prostředek už nikdy nebude omezovat?

Ne, může se vám stále zobrazovat 429 chyby překročení limitu rychlosti. Pokud vaše aplikace aktivuje špičku a vaše prostředky hlásí 429 odpověď, automatické škálování zkontroluje část s dostupnou projekcí kapacity a zjistí, jestli aktuální kapacita může pojmout navýšení limitu rychlosti a reagovat během pěti minut.

Pokud je dostupná kapacita dostatečná pro zvýšení, automatické škálování postupně zvýší limit rychlosti vašeho prostředku. Pokud budete dál volat prostředek s vysokou mírou, která vede k většímu 429 omezování, bude se míra tps v průběhu času dál zvětšovat. Pokud tato akce pokračuje po dobu jedné nebo více hodin, měli byste dosáhnout maximální míry (až 1 000 TPS), která je aktuálně pro daný prostředek k dispozici.

Pokud dostupná kapacita nestačí na zvýšení, funkce automatického škálování počká pět minut a znovu zkontroluje.

Co když potřebuji vyšší výchozí limit rychlosti?

Ve výchozím nastavení mají prostředky služeb Azure AI výchozí limit rychlosti 10 TPS. Pokud potřebujete vyšší výchozí tps, odešlete lístek na stránce Nová žádost o podporu na stránce vašeho prostředku na webu Azure Portal. Nezapomeňte do žádosti zahrnout obchodní odůvodnění.

Zvýší se tato funkce utratí za Azure?

Ceny služeb Azure AI se nezměnily a můžete k němu získat přístup. Budeme účtovat pouze úspěšná volání rozhraní API služeb Azure AI. Vyšší limity četnosti volání ale znamenají, že se dokončí více transakcí a můžete obdržet vyšší fakturu.

Mějte na paměti potenciální chyby a jejich důsledky. Pokud by chyba v klientské aplikaci způsobovala volání služby stovkykrát za sekundu, mohlo by to pravděpodobně vést k mnohem vyššímu vyúčtování, zatímco náklady by byly mnohem omezenější v rámci limitu pevné sazby. Chyby tohoto druhu jsou vaší zodpovědností. Důrazně doporučujeme, abyste před použitím funkce automatického škálování provedli testy aktualizací vývoje a klienta u prostředku s pevným limitem rychlosti.

Můžu tuto funkci zakázat, pokud bych raději omezil míru, než mám nepředvídatelné výdaje?

Ano, funkci automatického škálování můžete zakázat prostřednictvím webu Azure Portal nebo rozhraní příkazového řádku a vrátit se k výchozímu nastavení limitu četnosti volání. Pokud byl váš prostředek dříve schválen pro vyšší výchozí čip TPS, vrátí se k této sazbě. Než se změny projeví, může to trvat až pět minut.

Které služby podporují funkci automatického škálování?

Funkce automatického škálování je dostupná pro následující služby:

Můžu tuto funkci otestovat pomocí bezplatného předplatného?

Ne, funkce automatického škálování není dostupná pro předplatná úrovně Free.

Další kroky