Limity a regiony nasazování modelů

Tento článek shrnuje omezení a dostupnost ve vybraných regionech pro Azure Databricks Model Serving a podporované typy koncových bodů.

Omezení prostředků a zatížení

Nasazení modelu nastavuje výchozí omezení pro zajištění spolehlivého výkonu. Pokud máte k těmto limitům zpětnou vazbu, obraťte se na svůj tým účtů Databricks.

Omezení v této části platí jenom pro vlastní koncové body modelu a agenta . Informace o limitech prostředků externího modelu a datových částí rozhraní API Modelu foundation najdete v tématu Omezení a kvóty rozhraní API modelu foundation.

Vlastní modely a agenti

Funkce Členitost omezení
Endpoints Na pracovní prostor 1000. Spojte se s týmem pro správu účtu Databricks, abyste zvýšili limit.
Dotazy za sekundu (QPS) Za koncový bod 300 000 pomocí optimalizace trasy. Pokud 1024 souběhů nestačí, obraťte se na Databricks tým pro správu účtu, abyste požádali o navýšení.
Dotazy za sekundu (QPS) Na pracovní prostor 300 000 pomocí optimalizace trasy. 200 pro případy bez optimalizace směrování, doporučeno pouze pro malé vývojářské případy použití.
Předem definovaná souběžnost Pro každý model 1024 s vlastním nastavením a optimalizací tras Spojte se s týmem účtu Databricks a zvyšte jejich počet.
Předem definovaná souběžnost Na pracovní prostor 4096. Kontaktujte tým vašeho účtu Databricks pro zvýšení této hodnoty.
Operace vytvoření/aktualizace Na pracovní prostor 50 za 5 minut.
Velikost užitečného zatížení Na žádost 16 MB. U koncových bodů agenta je limit 4 MB.
Velikost požadavku nebo odpovědi Na žádost Všechny požadavky a odpovědi nad 1 MB se nebudou protokolovat.
Doba trvání provádění modelu Na žádost 597 sekund
Využití paměti modelu koncového bodu procesoru Na instanci modelu Závisí na typu úlohy procesoru: CPU (4 GB), CPU_MEDIUM (8 GB), CPU_LARGE (16 GB). Viz Vlastní modely.
Využití paměti modelu koncového bodu GPU Za koncový bod Závisí na typu GPU.
Proměnné prostředí Na jeden obsluhovaný model 50. Spojte se s týmem svého účtu Databricks, aby se zvýšila kapacita vašeho účtu.
Dodatečná latence Na žádost Méně než 20 milisekund s optimalizací trasy.

Omezení sítě a zabezpečení

  • Koncové body obsluhy modelů jsou chráněné řízením přístupu a respektují pravidla příchozího přenosu dat související se sítí nakonfigurovaná v pracovním prostoru, jako jsou seznamy povolených IP adres a Private Link.
  • Privátní připojení (například Azure Private Link) se podporuje jenom u modelů obsluhujících koncové body, které používají zřízenou propustnost nebo koncové body, které obsluhují vlastní modely.
  • Ve výchozím nastavení služba Model Serving nepodporuje Private Link externím koncovým bodům (například Azure OpenAI). Podpora této funkce se vyhodnocuje a implementuje na základě jednotlivých oblastí. Další informace získáte od týmu Azure Databricks účtu.
  • Nasazení modelů neposkytuje bezpečnostní opravy existujícím obrazům modelů kvůli riziku destabilizace produkčních nasazení. Nová image modelu vytvořená z nové verze modelu bude obsahovat nejnovější opravy. Další informace získáte od týmu účtu Databricks.

Standardy profilů zabezpečení dodržování předpisů: Úlohy procesoru

Následující tabulka uvádí podporované standardy dodržování předpisů v profilu zabezpečení pro vlastní funkce obsluhy modelů u úloh procesoru.

Poznámka:

Tyto standardy dodržování předpisů vyžadují sestavení kontejnerů v posledních 30 dnech. Databricks automaticky znovu sestaví zastaralé kontejnery vaším jménem. Pokud ale tato automatizovaná úloha selže, zobrazí se zpráva protokolu událostí podobná následující zprávě a poskytne pokyny, jak zajistit, aby vaše koncové body zůstaly v souladu s požadavky na dodržování předpisů:

"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."

Región Umístění HIPAA HITRUST PCI-DSS Institut pro analýzu veřejné politiky (IRAP) CCCS střední (chráněná B) UK Cyber Essentials Plus
australiacentral Austrálie – střed            
australiacentral2 Austrálie – střed2            
australiaeast AustrálieVýchod ✓ ✓ ✓      
australiasoutheast Austrálie Jihovýchod            
brazilsouth Jižní Brazílie ✓ ✓ ✓      
canadacentral Střední Kanada ✓ ✓ ✓      
canadaeast CanadaEast            
centralindia CentralIndia ✓ ✓ ✓      
centralus Střední USA ✓ ✓ ✓      
chinaeast2 ChinaEast2            
chinaeast3 ChinaEast3            
chinanorth2 ČínaNorth2            
chinanorth3 ČínaNorth3            
eastasia EastAsia ✓ ✓ ✓      
eastus EastUS (Východní Spojené státy) ✓ ✓ ✓      
eastus2 EastUS2 ✓ ✓ ✓      
francecentral Střední Francie ✓ ✓ ✓      
germanywestcentral NěmeckoWestCentral ✓ ✓ ✓      
japaneast JapanEast ✓ ✓ ✓      
japanwest JapanWest            
koreacentral KoreaCentral ✓ ✓ ✓      
mexicocentral MexicoCentral            
northcentralus NorthCentralUS ✓ ✓ ✓      
northeurope Severní Evropa ✓ ✓ ✓      
norwayeast Východ Norska            
qatarcentral KatarCentral            
southafricanorth Jihoafrická republika Sever            
southcentralus SouthCentralUS ✓ ✓ ✓      
southeastasia Jihovýchodní Asie ✓ ✓ ✓      
southindia Jižní Indie            
swedencentral ŠvédskoCentral ✓ ✓ ✓      
switzerlandnorth ŠvýcarskoSever ✓ ✓ ✓      
switzerlandwest ŠvýcarskoWest            
uaenorth Spojené arabské emiráty - severní část ✓ ✓ ✓      
uksouth Spojené království – jih ✓ ✓ ✓     ✓
ukwest UkWest            
westcentralus WestCentralUS            
westeurope Západní Evropa ✓ ✓ ✓      
westindia WestIndia            
westus Západ USA ✓ ✓ ✓      
westus2 WestUS2 ✓ ✓ ✓      
westus3 WestUS3 ✓ ✓ ✓      

Omezení rozhraní API základního modelu

Podrobné informace o rozhraních API základního modelu, včetně limitů prostředků a datových částí pro základní a externí modely, najdete v tématu Omezení a kvóty rozhraní API základních modelů.

Dostupnost oblastí

Poznámka:

Pokud potřebujete koncový bod v nepodporovaném regionu, obraťte se na tým vašeho účtu Azure Databricks.

Pokud je váš pracovní prostor nasazen v oblasti, která podporuje obsluhu modelu, ale řídicí rovina se nachází v nepodporované oblasti, pracovní prostor nepodporuje obsluhu modelu. Pokud se pokusíte použít model obsluhující v tomto pracovním prostoru, zobrazí se chybová zpráva s oznámením, že váš pracovní prostor není podporovaný. Další informace získáte od týmu Azure Databricks účtu.

Další informace o regionální dostupnosti jednotlivých funkcí služby modelu najdete v tématu Dostupnost funkcí obsluhy modelu.

Dostupnost oblastí základních modelů hostovaných v Databricks najdete v tématu Základní modely hostované v Databricks.

  • Last updated on