Limity a regiony nasazování modelů

Tento článek shrnuje omezení a dostupnost oblastí pro obsluhu modelů Azure Databricks a podporované typy koncových bodů.

Omezení prostředků a zatížení

Nasazení modelu nastavuje výchozí omezení pro zajištění spolehlivého výkonu. Pokud máte k těmto limitům zpětnou vazbu, obraťte se na svůj tým účtů Databricks.

Omezení v této části platí jenom pro vlastní modely a koncové body agenta AI . Informace o limitech prostředků externího modelu a datových částí rozhraní API Modelu foundation najdete v tématu Omezení a kvóty rozhraní API modelu foundation.

Vlastní modely a agenti AI

Funkce	Členitost	omezení
Endpoints	Na pracovní prostor	1000. Spojte se s týmem pro správu účtu Databricks, abyste zvýšili limit.
Dotazy za sekundu (QPS)	Za koncový bod	300 000 pomocí optimalizace trasy. Pokud 1024 souběhů nestačí, obraťte se na Databricks tým pro správu účtu, abyste požádali o navýšení.
Dotazy za sekundu (QPS)	Na pracovní prostor	300 000 pomocí optimalizace trasy. 200 pro případy bez optimalizace směrování, doporučeno pouze pro malé vývojářské případy použití.
Předem definovaná souběžnost	Pro každý model	1024 s vlastním nastavením a optimalizací tras Spojte se s týmem účtu Databricks a zvyšte jejich počet.
Předem definovaná souběžnost	Na pracovní prostor	4096. Kontaktujte tým vašeho účtu Databricks pro zvýšení této hodnoty.
Operace vytvoření/aktualizace	Na pracovní prostor	50 za 5 minut.
Velikost užitečného zatížení	Na žádost	16 MB. U koncových bodů agenta AI je limit 4 MB.
Velikost požadavku nebo odpovědi	Na žádost	Všechny požadavky a odpovědi nad 1 MB se nebudou protokolovat.
Doba trvání provádění modelu	Na žádost	297 sekund
Využití paměti modelu koncového bodu procesoru	Za koncový bod	4 GB
Využití paměti modelu koncového bodu GPU	Za koncový bod	Závisí na typu GPU.
Proměnné prostředí	Na jeden obsluhovaný model	30. Spojte se s týmem účtu Databricks a zvyšte ho.
Dodatečná latence	Na žádost	Méně než 20 milisekund s optimalizací trasy.

:::

Omezení sítě a zabezpečení

• Koncové body obsluhy modelů jsou chráněné řízením přístupu a respektují pravidla příchozího přenosu dat související se sítí nakonfigurovaná v pracovním prostoru, jako jsou seznamy povolených IP adres a Private Link.
• Privátní připojení (například Azure Private Link) se podporuje jenom u modelů obsluhujících koncové body, které používají zřízenou propustnost nebo koncové body, které obsluhují vlastní modely.
• Služba modelování ve výchozím nastavení nepodporuje službu Private Link k externím koncovým bodům (jako je Azure OpenAI). Podpora této funkce se vyhodnocuje a implementuje na základě jednotlivých oblastí. Další informace získáte od týmu účtu Azure Databricks.
• Nasazení modelů neposkytuje bezpečnostní opravy existujícím obrazům modelů kvůli riziku destabilizace produkčních nasazení. Nová image modelu vytvořená z nové verze modelu bude obsahovat nejnovější opravy. Další informace získáte od týmu účtu Databricks.

Standardy profilů zabezpečení dodržování předpisů: Úlohy procesoru

Následující tabulka uvádí podporované standardy dodržování předpisů v profilu zabezpečení pro základní funkce obsluhy modelů v úlohách procesoru.

Poznámka:

Tyto standardy dodržování předpisů vyžadují sestavení kontejnerů v posledních 30 dnech. Databricks automaticky znovu sestaví zastaralé kontejnery vaším jménem. Pokud ale tato automatizovaná úloha selže, zobrazí se zpráva protokolu událostí podobná následující zprávě a poskytne pokyny, jak zajistit, aby vaše koncové body zůstaly v souladu s požadavky na dodržování předpisů:

"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."

Región	Umístění	HIPAA	HITRUST	PCI-DSS	Institut pro analýzu veřejné politiky (IRAP)	CCCS střední (chráněná B)	UK Cyber Essentials Plus
australiacentral	Austrálie – střed
australiacentral2	Austrálie – střed2
australiaeast	AustrálieVýchod	✓	✓	✓
australiasoutheast	Austrálie Jihovýchod
brazilsouth	Jižní Brazílie	✓	✓	✓
canadacentral	Střední Kanada	✓	✓	✓
canadaeast	CanadaEast
centralindia	CentralIndia	✓	✓	✓
centralus	Střední USA	✓	✓	✓
chinaeast2	ChinaEast2
chinaeast3	ChinaEast3
chinanorth2	ČínaNorth2
chinanorth3	ČínaNorth3
eastasia	EastAsia	✓	✓	✓
eastus	EastUS (Východní Spojené státy)	✓	✓	✓
eastus2	EastUS2	✓	✓	✓
francecentral	Střední Francie	✓	✓	✓
germanywestcentral	NěmeckoWestCentral	✓	✓	✓
japaneast	JapanEast	✓	✓	✓
japanwest	JapanWest
koreacentral	KoreaCentral	✓	✓	✓
mexicocentral	MexicoCentral
northcentralus	NorthCentralUS	✓	✓	✓
northeurope	Severní Evropa	✓	✓	✓
norwayeast	Východ Norska
qatarcentral	KatarCentral
southafricanorth	Jihoafrická republika Sever
southcentralus	SouthCentralUS	✓	✓	✓
southeastasia	Jihovýchodní Asie	✓	✓	✓
southindia	Jižní Indie
swedencentral	ŠvédskoCentral	✓	✓	✓
switzerlandnorth	ŠvýcarskoSever	✓	✓	✓
switzerlandwest	ŠvýcarskoWest
uaenorth	Spojené arabské emiráty - severní část	✓	✓	✓
uksouth	Spojené království – jih	✓	✓	✓			✓
ukwest	UkWest
westcentralus	WestCentralUS
westeurope	Západní Evropa	✓	✓	✓
westindia	WestIndia
westus	Západ USA	✓	✓	✓
westus2	WestUS2	✓	✓	✓
westus3	WestUS3	✓	✓	✓

Omezení rozhraní API základního modelu

Podrobné informace o rozhraních API základního modelu, včetně limitů prostředků a datových částí pro základní a externí modely, najdete v tématu Omezení a kvóty rozhraní API základních modelů.

Dostupnost oblastí

Poznámka:

Pokud potřebujete koncový bod v nepodporované oblasti, obraťte se na svůj tým účtů Azure Databricks.

Pokud je váš pracovní prostor nasazen v oblasti, která podporuje obsluhu modelu, ale řídicí rovina se nachází v nepodporované oblasti, pracovní prostor nepodporuje obsluhu modelu. Pokud se pokusíte použít model obsluhující v tomto pracovním prostoru, zobrazí se chybová zpráva s oznámením, že váš pracovní prostor není podporovaný. Další informace získáte od týmu účtu Azure Databricks.

Další informace o regionální dostupnosti jednotlivých funkcí služby modelu najdete v tématu Dostupnost funkcí obsluhy modelu.

Dostupnost oblastí základních modelů hostovaných v Databricks najdete v tématu Základní modely hostované v Databricks.