Správa a zvýšení kvót a limitů pro prostředky pomocí služby Azure Machine Učení
Azure využívá kvóty a limity k zabránění překročení rozpočtu kvůli podvodům a k dosažení omezení kapacity Azure. Při škálování produkčních úloh mějte tyto limity na paměti. V tomto článku se dozvíte o těchto článcích:
- Výchozí omezení prostředků Azure souvisejících se službou Azure Machine Učení
- Vytváření kvót na úrovni pracovního prostoru
- Zobrazení kvót a limitů
- Žádost o navýšení kvóty
Společně se správou kvót a limitů se dozvíte, jak plánovat a spravovat náklady na Učení Azure Machine nebo se dozvíte o omezeních služeb v Azure Machine Učení.
Speciální předpoklady
Kvóty se použijí pro každé předplatné ve vašem účtu. Pokud máte více předplatných, musíte požádat o navýšení kvóty pro každé předplatné.
Kvóta je limit kreditu pro prostředky Azure, nikoli záruku kapacity. Pokud máte vysoké požadavky na kapacitu, kontaktujte podporu Azure s žádostí o navýšení vaší kvóty.
Kvóta se sdílí mezi všemi službami ve vašich předplatných, včetně služby Azure Machine Learning. Při posuzování kapacity počítejte využití napříč všemi službami.
Poznámka:
Výjimkou jsou výpočetní prostředky služby Azure Machine Learning. Ty mají samostatnou kvótu oddělenou od základní kvóty výpočetních prostředků.
Výchozí limity se liší podle typu kategorie nabídky, jako je bezplatná zkušební verze, průběžné platby a řada virtuálních počítačů (například Dv2, F a G).
Výchozí kvóty a limity prostředků
V této části se dozvíte o výchozích a maximálních kvótách a omezeních pro následující zdroje informací:
- Prostředky služby Azure Machine Učení
- Učení výpočetních prostředků Azure (včetně bezserverového Sparku)
- Sdílená kvóta služby Azure Machine Učení
- Azure Machine Učení online koncové body (spravované i Kubernetes) a dávkové koncové body
- Kanály Učení Azure Machine
- Integrace služby Azure Machine Učení se službou Synapse
- Virtuální počítače
- Azure Container Instances
- Azure Storage
Důležité
Omezení se můžou změnit. Nejnovější informace najdete v tématu Omezení služeb v azure machine Učení.
Prostředky služby Azure Machine Učení
Následující omezení prostředků se vztahují na jednotlivé pracovní prostory .
| Prostředek | Maximální omezení |
|---|---|
| Datové sady | 10 milionů |
| Spuštění | 10 milionů |
| Modely | 10 milionů |
| Komponenta | 10 milionů |
| Artifacts | 10 milionů |
Maximální doba běhu je navíc 30 dnů a maximální počet metrik zaznamenaných na spuštění je 1 milion.
Výpočetní prostředky služby Azure Machine Learning
Azure Machine Učení Compute má výchozí limit kvóty pro počet jader i počet jedinečných výpočetních prostředků, které jsou povolené pro každou oblast v předplatném.
Poznámka:
- Kvóta počtu jader je rozdělena jednotlivými řadami virtuálních počítačů a kumulativními celkovými jádry.
- Kvóta počtu jedinečných výpočetních prostředků na oblast je oddělená od kvóty jader virtuálního počítače, protože se vztahuje pouze na spravované výpočetní prostředky azure machine Učení.
Pokud chcete zvýšit limity pro následující položky, požádejte o navýšení kvóty:
- Kvóty pro jádra virtuálních počítačů Další informace o tom, pro kterou řadu virtuálních počítačů je potřeba požádat o navýšení kvóty, najdete v tématu Velikosti virtuálních počítačů v Azure. Například rodiny virtuálních počítačů s GPU začínají ve svém rodinném jménu "N" (například řada NCv3).
- Celkové kvóty jádra předplatného
- Kvóta clusteru
- Další zdroje informací v této části
Dostupné prostředky:
Pro vyhrazená jádra na oblast platí výchozí limit 24 až 300 v závislosti na typu nabídky předplatného. Počet vyhrazených jader na předplatné můžete zvýšit pro jednotlivé řady virtuálních počítačů. Specializované rodiny virtuálních počítačů, jako jsou NCv2, NCv3 nebo řada ND, začínají výchozími nulami jader. GPU mají ve výchozím nastavení také 0 jader.
Pro jádra s nízkou prioritou na oblast platí výchozí limit 100 až 3 000 v závislosti na typu nabídky předplatného. Počet jader s nízkou prioritou na předplatné je možné zvýšit a pro všechny řady virtuálních počítačů platí jedna hodnota.
Celkový limit výpočetních prostředků na oblast má výchozí limit 500 na oblast v rámci daného předplatného a dá se zvýšit až na maximální hodnotu 2500 na oblast. Tento limit je sdílený mezi clustery pro trénování, výpočetními instancemi a nasazeními online spravovaných koncových bodů. Výpočetní instance se považuje za cluster s jedním uzlem pro účely kvóty.
Následující tabulka uvádí další omezení platformy. Spojte se s produktovým týmem Azure Machine Učení prostřednictvím lístku technické podpory a požádejte o výjimku.
| Zdroj nebo akce | Maximální omezení |
|---|---|
| Pracovní prostory na skupinu prostředků | 800 |
| Uzly v jednom clusteru Azure Machine Učení compute (AmlCompute) nastaveném jako fond bez komunikace (to znamená, že nejde spustit úlohy MPI) | 100 uzlů, ale konfigurovatelných až 65 000 uzlů |
| Uzly v jednom kroku paralelního spuštění se spouštějí na clusteru Azure Machine Učení compute (AmlCompute) | 100 uzlů, ale konfigurovatelných až 65 000 uzlů, pokud je váš cluster nastavený tak, aby se škáluje, jak je uvedeno výše |
| Uzly v jednom clusteru Azure Machine Učení compute (AmlCompute) nastaveném jako fond s podporou komunikace | 300 uzlů, ale konfigurovatelné až 4 000 uzlů |
| Uzly v jednom clusteru Azure Machine Učení compute (AmlCompute) nastaveném jako fond s podporou komunikace ve skupině virtuálních počítačů s podporou RDMA | 100 uzlů |
| Uzly v jednom mpI běží na výpočetním clusteru Azure Machine Učení (AmlCompute) | 100 uzlů |
| Životnost úlohy | 21 dní1 |
| Životnost úlohy v uzlu s nízkou prioritou | 7 dní2 |
| Servery parametrů na uzel | 0 |
1 Maximální životnost je doba trvání mezi spuštěním úlohy a jejím dokončením. Dokončené úlohy se uchovávají po neomezenou dobu. Data pro úlohy, které nejsou dokončeny během maximální životnosti, nejsou přístupná.
2 Úlohy na uzlu s nízkou prioritou je možné předpovědět vždy, když dojde k omezení kapacity. Doporučujeme implementovat kontrolní body ve své úloze.
Sdílená kvóta služby Azure Machine Učení
Azure Machine Učení poskytuje fond sdílených kvót, který je k dispozici pro různé uživatele v různých oblastech, aby je mohli používat souběžně. V závislosti na dostupnosti můžou uživatelé dočasně přistupovat k kvótě ze sdíleného fondu a kvótu použít k testování po omezenou dobu. Konkrétní doba trvání závisí na případu použití. Pokud dočasně použijete kvótu z fondu kvót, nemusíte už zadávat lístek podpory pro krátkodobé navýšení kvóty nebo počkat na schválení žádosti o kvótu, než budete moct pokračovat v práci.
Použití fondu sdílených kvót je k dispozici pro spouštění úloh Sparku a pro testování odvozování pro modely Llama-2, Phi, Nemotron, Mistral, Dolly a Deci-DeciLM z katalogu modelů. Sdílenou kvótu byste měli použít jenom pro vytváření dočasných testovacích koncových bodů, nikoli produkčních koncových bodů. U koncových bodů v produkčním prostředí byste měli požádat o vyhrazenou kvótu vytvořením lístku podpory. Fakturace sdílené kvóty je založená na využití, stejně jako fakturace pro rodiny vyhrazených virtuálních počítačů. Pokud chcete zrušit sdílenou kvótu pro úlohy Sparku, vyplňte prosím tento formulář.
Azure Machine Učení online koncové body a dávkové koncové body
Azure Machine Učení online koncové body a dávkové koncové body mají omezení prostředků popsaná v následující tabulce.
Důležité
Tyto limity jsou regionální, což znamená, že můžete použít až tyto limity pro každou oblast, kterou používáte. Pokud je například váš aktuální limit počtu koncových bodů na předplatné 100, můžete vytvořit 100 koncových bodů v oblasti USA – východ, 100 koncových bodů v oblasti USA – západ a 100 koncových bodů v každé z ostatních podporovaných oblastí v jednom předplatném. Stejný princip platí pro všechny ostatní limity.
Pokud chcete zjistit aktuální využití koncového bodu, zobrazte metriky.
Pokud chcete požádat o výjimku z produktového týmu Azure Machine Učení, postupujte podle kroků v limitu koncového bodu.
| Prostředek | Limit 1 | Umožňuje výjimku. | Platí pro |
|---|---|---|---|
| Název koncového bodu | Názvy koncových bodů musí být |
- | Všechny typy koncových bodů 3 |
| Název nasazení | Názvy nasazení musí být |
- | Všechny typy koncových bodů 3 |
| Počet koncových bodů na předplatné | 100 | Ano | Všechny typy koncových bodů 3 |
| Počet koncových bodů na cluster | 60 | - | Online koncový bod Kubernetes |
| Počet nasazení na předplatné | 500 | Ano | Všechny typy koncových bodů 3 |
| Počet nasazení na koncový bod | 20 | Ano | Všechny typy koncových bodů 3 |
| Počet nasazení na cluster | 100 | - | Online koncový bod Kubernetes |
| Počet instancí na nasazení | 50 4 | Ano | Spravovaný online koncový bod |
| Maximální časový limit požadavku na úrovni koncového bodu | 180 sekund | - | Spravovaný online koncový bod |
| Maximální časový limit požadavku na úrovni koncového bodu | 300 sekund | - | Online koncový bod Kubernetes |
| Celkový počet požadavků za sekundu na úrovni koncového bodu pro všechna nasazení | 500 5 | Ano | Spravovaný online koncový bod |
| Celkový počet připojení za sekundu na úrovni koncového bodu pro všechna nasazení | 500 5 | Ano | Spravovaný online koncový bod |
| Celková aktivní připojení na úrovni koncového bodu pro všechna nasazení | 500 5 | Ano | Spravovaný online koncový bod |
| Celková šířka pásma na úrovni koncového bodu pro všechna nasazení | 5 MBPS 5 | Ano | Spravovaný online koncový bod |
1 Toto je regionální limit. Pokud je například aktuální limit počtu koncových bodů 100, můžete vytvořit 100 koncových bodů v oblasti USA – východ, 100 koncových bodů v oblasti USA – západ a 100 koncových bodů v každé z ostatních podporovaných oblastí v jednom předplatném. Stejný princip platí pro všechny ostatní limity.
2 Jednomlčky jako, my-endpoint-namejsou přijímány v názvech koncových bodů a nasazení.
3 Koncové body a nasazení můžou být různé typy, ale omezení platí pro součet všech typů. Například součet spravovaných online koncových bodů, online koncového bodu Kubernetes a dávkového koncového bodu v rámci každého předplatného ve výchozím nastavení nesmí překročit 100 na oblast. Podobně součet spravovaných online nasazení, online nasazení Kubernetes a dávkových nasazení v rámci každého předplatného ve výchozím nastavení nesmí překročit 500 na oblast.
4 Pro provádění upgradů si vyhrazujeme 20 % dalších výpočetních prostředků. Pokud například v nasazení požadujete 10 instancí, musíte mít kvótu na 12. V opačném případě se zobrazí chyba. Některé skladové položky virtuálních počítačů jsou vyloučené z dodatečné kvóty. Další informace najdete v tématu Přidělení kvóty virtuálních počítačů pro nasazení .
Souvisí 5 požadavků za sekundu, připojení, šířka pásma atd. Pokud požadujete zvýšení některého z těchto limitů, ujistěte se, že se společně odhadují nebo vypočítají další související limity.
Kanály Učení Azure Machine
Kanály Učení Azure Machine mají následující omezení.
| Prostředek | Omezení |
|---|---|
| Kroky v rámci kanálu | 30,000 |
| Pracovní prostory na skupinu prostředků | 800 |
Plány úloh služby Azure Machine Učení
Plány úloh služby Azure Machine Učení mají následující omezení.
| Prostředek | Omezení |
|---|---|
| Plány na oblast | 100 |
Integrace služby Azure Machine Učení se službou Synapse
Azure Machine Učení bezserverový Spark poskytuje snadný přístup k funkcím distribuovaného computingu pro škálování úloh Apache Sparku. Bezserverový Spark využívá stejnou vyhrazenou kvótu jako Azure Machine Učení Compute. Limity kvót je možné zvýšit odesláním lístku podpory a vyžádáním kvóty a navýšení limitu pro řadu ESv3 v kategorii "Machine Učení Service: Virtual Machine Quota".
Pokud chcete zobrazit využití kvóty, přejděte do nástroje Machine Učení Studio a vyberte název předplatného, pro které chcete zobrazit využití. Na levém panelu vyberte Kvóta.
Virtuální počítače
Každé předplatné Azure má limit počtu virtuálních počítačů ve všech službách. Jádra virtuálních počítačů mají regionální celkový limit a regionální limit pro řadu velikostí. Obě limity se vynucují samostatně.
Představte si například předplatné s omezením celkového počtu 30 jader virtuálního počítače na oblast USA – východ, omezením počtu 30 jader na řadu A a 30 jader na řadu D. Toto předplatné by bylo možné nasadit 30 virtuálních počítačů A1 nebo 30 virtuálních počítačů D1 nebo kombinaci těchto dvou virtuálních počítačů, které nepřekročí celkem 30 jader.
Limity pro virtuální počítače nemůžete zvýšit nad hodnoty uvedené v následující tabulce.
| Prostředek | Omezení |
|---|---|
| Předplatná Azure přidružená k tenantovi Microsoft Entra | Bez omezení |
| Spolusprávce na předplatné | Bez omezení |
| Skupiny prostředků na předplatné | 980 |
| Velikost požadavku rozhraní API Azure Resource Manageru | 4 194 304 bajtů |
| Značky na předplatné1 | 50 |
| Výpočty jedinečných značek na předplatné2 | 80 000 |
| Nasazení na úrovni předplatného na umístění | 8003 |
| Umístění nasazení na úrovni předplatného | 10 |
1Pro předplatné můžete použít až 50 značek. V rámci předplatného je každý prostředek nebo skupina prostředků také omezena na 50 značek. Předplatné ale může obsahovat neomezený počet značek, které jsou rozptýlené mezi prostředky a skupinami prostředků.
2Resource Manager vrátí seznam názvů a hodnot značek v předplatném pouze v případě, že počet jedinečných značek je 80 000 nebo menší. Jedinečná značka je definována kombinací ID prostředku, názvu značky a hodnoty značky. Například dva prostředky se stejným názvem a hodnotou značky by se vypočítaly jako dvě jedinečné značky. Pokud číslo překročí 80 000, stále můžete najít prostředek podle značky.
3Nasazení se automaticky odstraní z historie, když se blížíte limitu. Další informace najdete v tématu Automatické odstranění z historie nasazení.
Container Instances
Další informace najdete v tématu Omezení služby Container Instances.
Úložiště
Azure Storage má limit 250 účtů úložiště na oblast a předplatné. Tento limit zahrnuje účty úložiště Úrovně Standard i Premium.
Kvóty na úrovni pracovního prostoru
Kvóty na úrovni pracovního prostoru slouží ke správě cílového přidělení výpočetních prostředků Azure Machine Learning mezi více pracovních prostorů ve stejném předplatném.
Ve výchozím nastavení všechny pracovní prostory sdílí stejnou kvótu jako kvótu na úrovni předplatného pro řady virtuálních počítačů. Můžete však nastavit maximální kvótu pro jednotlivé řady virtuálních počítačů v rámci pracovních prostorů v předplatném. Kvóty pro jednotlivé rodiny virtuálních počítačů umožňují sdílet kapacitu a vyhnout se problémům s kolizemi prostředků.
- Přejděte do jakéhokoli pracovního prostoru ve vašem předplatném.
- V levém podokně vyberte Využití a kvóty.
- Výběrem karty Konfigurace kvót zobrazte kvóty.
- Rozbalte nějakou řadu virtuálních počítačů.
- Pro jakýkoli pracovní prostor uvedený v rámci této řady virtuálních počítačů můžete nastavit maximální kvótu.
Nemůžete nastavit zápornou hodnotu ani vyšší hodnotu, než je kvóta na úrovni předplatného.
Poznámka:
K nastavení kvóty na úrovni pracovního prostoru potřebujete oprávnění na úrovni předplatného.
Zobrazení kvót v sadě Studio
Při vytváření nového výpočetního prostředku se ve výchozím nastavení zobrazí jenom velikosti virtuálních počítačů, které už máte kvótu použít. Přepněte zobrazení na Možnost Vybrat ze všech možností.
Posuňte se dolů, dokud neuvidíte seznam velikostí virtuálních počítačů, pro které nemáte kvótu.
Pomocí odkazu přejděte přímo na online žádost o zákaznickou podporu, která vám umožní získat větší kvótu.
Zobrazení využití a kvót na webu Azure Portal
Pokud chcete zobrazit kvótu pro různé prostředky Azure, jako jsou virtuální počítače, úložiště nebo síť, použijte Azure Portal:
V levém podokně vyberte Všechny služby a pak v kategorii Obecné vyberte Předplatná.
V seznamu předplatných vyberte předplatné, jehož kvótu hledáte.
Výběrem možnosti Využití a kvóty zobrazíte aktuální limity kvót a využití. Pomocí filtrů vyberte poskytovatele a umístění.
Kvótu výpočetních prostředků ve vašem předplatném spravujete Učení azure odděleně od ostatních kvót Azure:
Na webu Azure Portal přejděte do pracovního prostoru Azure Machine Učení.
V levém podokně v části Podpora a řešení potíží vyberte Využití a kvóty a zobrazte aktuální limity kvót a využití.
Výběrem předplatného zobrazíte limity kvót. Vyfiltrujte oblast, kterou vás zajímá.
Můžete přepínat mezi zobrazením na úrovni předplatného a zobrazením na úrovni pracovního prostoru.
Požadavek na kvótu a navýšení omezení
Navýšení kvóty virtuálního počítače je zvýšení počtu jader na řadu virtuálních počítačů v oblasti. Navýšení omezení koncového bodu je navýšení omezení specifických pro koncové body na předplatné v oblasti. Při odesílání žádosti o navýšení kvóty nezapomeňte vybrat správnou kategorii, jak je popsané v další části.
Navýšení kvóty virtuálních počítačů
Pokud chcete zvýšit limit pro azure machine Učení kvótu virtuálního počítače nad výchozí limit, můžete požádat o navýšení kvóty z výše uvedeného zobrazení Využití a kvóty nebo odeslat žádost o navýšení kvóty z studio Azure Machine Learning.
- Podle výše uvedených pokynů přejděte na stránku Využití + kvóty. Zobrazte aktuální omezení kvóty. Vyberte SKU, pro kterou chcete požádat o navýšení.
- Zadejte kvótu, kterou chcete zvýšit, a novou hodnotu limitu. Nakonec vyberte možnost Odeslat, abyste mohli pokračovat.
Zvýšení limitu koncového bodu
Pokud chcete zvýšit limit koncového bodu, otevřete online žádost o zákaznickou podporu. Při žádosti o zvýšení limitu koncového bodu uveďte následující informace:
- Při otevření žádosti o podporu vyberte omezení služby a předplatného (kvóty) jako typ problému.
- Vyberte předplatné podle své volby.
- Vyberte Machine Learning Service: omezení koncového bodu jako Typ kvóty.
- Na kartě Další podrobnosti musíte uvést podrobné důvody zvýšení limitu, aby se vaše žádost zpracovávala. Vyberte Zadat podrobnosti a poté zadejte limit, který chcete zvýšit, a novou hodnotu pro každý limit, důvod žádosti o zvýšení limitu a místo (místa), kde potřebujete zvýšit limit.
Nezapomeňte do důvodu zvýšení limitu přidat následující informace:
- Popis scénáře a pracovní zátěže (například text, obrázek apod.).
- Odůvodnění požadovaného zvýšení.
- Uveďte cílovou propustnost a její průběh (průměrné/špičkové QPS, souběžní uživatelé).
- Uveďte cílovou latenci ve velkém měřítku a aktuální latenci, kterou sledujete u jedné instance.
- Uveďte skladovou položku virtuálního počítače a celkový počet instancí podporujících cílovou propustnost a latenci. Uveďte, kolik koncových bodů, nasazení nebo instancí plánujete používat v jednotlivých oblastech.
- Ověřte, jestli máte srovnávací test, který dokládá, že by vybraná skladová položka virtuálního počítače a počet instancí splňovaly váš požadavek na propustnost a latenci.
- Zadejte typ datové části a velikost jedné datové části. Šířka pásma sítě by měla odpovídat velikosti datové části a počtu požadavků za sekundu.
- Uveďte předpokládaný časový plán (podle toho, kdy potřebujete zvýšené limity – pokud je to možné, uveďte rozfázovaný plán) a ověřte, zda (1) váš rozpočet počítá s náklady na provoz v daném měřítku a zda jsou (2) cílové skladové položky virtuálních počítačů schválené.
- Nakonec pokračujte výběrem možnosti Uložit a pokračovat.
Poznámka:
Tento požadavek na zvýšení limitu koncového bodu se liší od požadavku na zvýšení kvóty virtuálního počítače. Pokud vaše žádost souvisí se zvýšením kvóty virtuálních počítačů, postupujte podle pokynů v části Navýšení kvóty virtuálních počítačů.
Zvýšení limitu výpočetních prostředků
Pokud chcete zvýšit celkový limit výpočetních prostředků, otevřete online žádost o zákaznickou podporu. Zadejte následující údaje:
Při otevření žádosti o podporu vyberte Technická jako typ problému.
Vyberte předplatné podle své volby.
Vyberte strojové učení jako službu.
Vyberte prostředek podle své volby.
V souhrnu uveďte „Zvýšení celkových limitů výpočetních prostředků“
Vyberte Výpočetní cluster jako typ problému a Cluster se nezvětšuje nebo se zasekne při změně velikosti jako Podtyp problému.
Na kartě Další podrobnosti zadejte ID předplatného, oblast, nový limit (mezi 500 a 2 500) a obchodní odůvodnění, pokud chcete zvýšit celkové limity výpočetních prostředků v této oblasti.
Nakonec výběrem možnosti Vytvořit vytvořte lístek žádosti o podporu.