Limity a regiony nasazování modelů

Tento článek shrnuje omezení a dostupnost oblastí pro obsluhu modelu Mosaic AI a podporované typy koncových bodů.

Omezení prostředků a zatížení

Služba obsluhy modelu AI v systému Mosaic ukládá výchozí limity pro zajištění spolehlivého výkonu. Pokud máte k těmto limitům zpětnou vazbu, obraťte se na svůj tým účtů Databricks.

Následující tabulka shrnuje omezení prostředků a datového obsahu pro koncové body poskytování modelů.

Funkce	Členitost	omezení
Velikost užitečného zatížení	Na žádost	16 MB. Pro koncové body obsluhující základní modely, externí modely, nebo AI agenty je limit 4 MB.
Velikost požadavku nebo odpovědi	Na žádost	Všechny požadavky a odpovědi nad 1 MB se nebudou protokolovat.
Dotazy za sekundu (QPS)	Na pracovní prostor	200. Pro vyšší úroveň QPS povolte optimalizaci tras.
Doba trvání provádění modelu	Na žádost	297 sekund
Využití paměti modelu koncového bodu procesoru	Za koncový bod	4 GB
Využití paměti modelu koncového bodu GPU	Za koncový bod	Větší nebo rovna přiřazené paměti GPU, v závislosti na velikosti zátěže GPU.
Předem definovaná souběžnost	Pro každý model a pracovní prostor	200 konkurence. Můžete ho zvýšit kontaktováním vašeho týmu pro účet Databricks.
Dodatečná latence	Na žádost	Méně než 50 milisekund
Inicializační skripty		Inicializační skripty nejsou podporovány.
Omezení rychlosti rozhraní API základního modelu	Na pracovní prostor	Podrobné informace o limitech četnosti a kvótách rozhraní API pro základní modely, včetně platby za token a limitů pro zřízenou propustnost, najdete v tématu.

Omezení sítě a zabezpečení

• Koncové body obsluhy modelů jsou chráněné řízením přístupu a respektují pravidla příchozího přenosu dat související se sítí nakonfigurovaná v pracovním prostoru, jako jsou seznamy povolených IP adres a Private Link.
• Privátní připojení (například Azure Private Link) se podporuje jenom u modelů obsluhujících koncové body, které používají zřízenou propustnost nebo koncové body, které obsluhují vlastní modely.
• Služba modelování ve výchozím nastavení nepodporuje službu Private Link k externím koncovým bodům (jako je Azure OpenAI). Podpora této funkce se vyhodnocuje a implementuje na základě jednotlivých oblastí. Další informace získáte od týmu účtu Azure Databricks.
• Nasazení modelů neposkytuje bezpečnostní opravy existujícím obrazům modelů kvůli riziku destabilizace produkčních nasazení. Nová image modelu vytvořená z nové verze modelu bude obsahovat nejnovější opravy. Další informace získáte od týmu účtu Databricks.

Standardy profilů zabezpečení dodržování předpisů: Úlohy procesoru

Následující tabulka uvádí podporované standardy dodržování předpisů v profilu zabezpečení pro základní funkce obsluhy modelů v úlohách procesoru.

Poznámka:

Tyto standardy dodržování předpisů vyžadují sestavení kontejnerů v posledních 30 dnech. Databricks automaticky znovu sestaví zastaralé kontejnery vaším jménem. Pokud ale tato automatizovaná úloha selže, zobrazí se zpráva protokolu událostí podobná následující zprávě a poskytne pokyny, jak zajistit, aby vaše koncové body zůstaly v souladu s požadavky na dodržování předpisů:

"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."

Región	Umístění	HIPAA	HITRUST	PCI-DSS	Institut pro analýzu veřejné politiky (IRAP)	CCCS střední (chráněná B)	UK Cyber Essentials Plus
australiacentral	Austrálie – střed
australiacentral2	Austrálie – střed2
australiaeast	AustrálieVýchod	✓	✓	✓
australiasoutheast	Austrálie Jihovýchod
brazilsouth	Jižní Brazílie	✓	✓	✓
canadacentral	Střední Kanada	✓	✓	✓
canadaeast	CanadaEast
centralindia	CentralIndia	✓	✓	✓
centralus	Střední USA	✓	✓	✓
chinaeast2	ChinaEast2
chinaeast3	ChinaEast3
chinanorth2	ČínaNorth2
chinanorth3	ČínaNorth3
eastasia	EastAsia	✓	✓	✓
eastus	EastUS (Východní Spojené státy)	✓	✓	✓
eastus2	EastUS2	✓	✓	✓
francecentral	Střední Francie	✓	✓	✓
germanywestcentral	NěmeckoWestCentral	✓	✓	✓
japaneast	JapanEast	✓	✓	✓
japanwest	JapanWest
koreacentral	KoreaCentral	✓	✓	✓
mexicocentral	MexicoCentral
northcentralus	NorthCentralUS	✓	✓	✓
northeurope	Severní Evropa	✓	✓	✓
norwayeast	Východ Norska
qatarcentral	KatarCentral
southafricanorth	Jihoafrická republika Sever
southcentralus	SouthCentralUS	✓	✓	✓
southeastasia	Jihovýchodní Asie	✓	✓	✓
southindia	Jižní Indie
swedencentral	ŠvédskoCentral	✓	✓	✓
switzerlandnorth	ŠvýcarskoSever	✓	✓	✓
switzerlandwest	ŠvýcarskoWest
uaenorth	Spojené arabské emiráty - severní část	✓	✓	✓
uksouth	Spojené království – jih	✓	✓	✓			✓
ukwest	UkWest
westcentralus	WestCentralUS
westeurope	Západní Evropa	✓	✓	✓
westindia	WestIndia
westus	Západ USA	✓	✓	✓
westus2	WestUS2	✓	✓	✓
westus3	WestUS3	✓	✓	✓

Omezení rozhraní API základního modelu

Podrobné informace o rozhraních API základního modelu najdete v následujících tématech:

• Omezení a kvóty rychlosti: Omezení a kvóty rozhraní API základního modelu – zahrnuje omezení tpm, regionální dostupnost a omezení specifická pro model.
• Dodržování předpisů a zabezpečení: Dodržování předpisů a zabezpečení rozhraní API základních modelů – Řeší standardy dodržování předpisů, zpracování dat a požadavky na zabezpečení.

Dostupnost oblastí

Poznámka:

Pokud potřebujete koncový bod v nepodporované oblasti, obraťte se na svůj tým účtů Azure Databricks.

Pokud je váš pracovní prostor nasazen v oblasti, která podporuje obsluhu modelu, ale řídicí rovina se nachází v nepodporované oblasti, pracovní prostor nepodporuje obsluhu modelu. Pokud se pokusíte použít model obsluhující v tomto pracovním prostoru, zobrazí se chybová zpráva s oznámením, že váš pracovní prostor není podporovaný. Další informace získáte od týmu účtu Azure Databricks.

Další informace o regionální dostupnosti jednotlivých funkcí služby modelu najdete v tématu Dostupnost funkcí obsluhy modelu.

Dostupnost oblastí základních modelů hostovaných v Databricks najdete v tématu Základní modely hostované v Databricks.