Modellszolgáltatási korlátok és régiók

Ez a cikk az Azure Databricks modellkiszolgálók és a támogatott végponttípusok korlátait és a régió rendelkezésre állását foglalja össze.

Erőforrás- és teherkorlátok

A modellkiszolgáló alapértelmezett korlátozásokat alkalmaz a megbízható teljesítmény biztosítása érdekében. Ha visszajelzést szeretne küldeni ezekről a korlátokról, forduljon a Databricks-fiók csapatához.

Az ebben a szakaszban szereplő korlátozások csak az egyéni modellre és az ügynökvégpontokra vonatkoznak. Az Alapmodell API-kkal, valamint a külső modell erőforrás- és hasznos adatkorlátjaival kapcsolatban lásd: Foundation Model API-k sebességkorlátjai és kvótái.

Egyéni modellek és ügynökök

Funkció	Részletesség	Határ
Végpontok	Munkaterületenként	1000. A növekedés érdekében forduljon a Databricks-fiók csapatához.
Lekérdezések másodpercenként (QPS)	Végpontonként	300 000 útvonaloptimalizálással. Ha az 1024 egyidejű folyamatok száma nem elegendő, forduljon a Databricks fiókjának csapatához a kapacitás növelése érdekében.
Lekérdezések másodpercenként (QPS)	Munkaterületenként	300 000 útvonaloptimalizálással. 200 nem útvonaloptimalizált, csak kis fejlesztői használati esetekhez ajánlott.
Előfoglalt egyidejűség	Modellenként	1024 egyéni beállítással és útvonaloptimalizálással. A növekedés érdekében forduljon a Databricks-fiók csapatához.
Előfoglalt egyidejűség	Munkaterületenként	4096. A növekedés érdekében forduljon a Databricks-fiók csapatához.
Létrehozási/frissítési műveletek	Munkaterületenként	50 5 perc alatt.
Hasznos teher mérete	Kérelmenként	16 MB. Ügynökvégpontok esetén a korlát 4 MB.
Kérelem/válasz mérete	Kérelmenként	Az 1 MB-nál nagyobb kérések/válaszok nem lesznek naplózva.
Modell végrehajtási időtartama	Kérelmenként	597 másodperc
CPU-végpontmodell memóriahasználata	Modellpéldányonként	A processzorterhelés típusától függ: CPU (4 GB), CPU_MEDIUM (8 GB), CPU_LARGE (16 GB). Lásd : Egyéni modellek.
GPU-végpontmodell memóriahasználata	Végpontonként	A GPU típusától függ
Környezeti változók	Kiszolgált modellenként	50. A növekedés érdekében forduljon a Databricks-fiók csapatához.
Többletterhelés késése	Kérelmenként	Kevesebb, mint 20 ezredmásodperc az útvonaloptimalizálással.

Hálózatkezelési és biztonsági korlátozások

• A modellkiszolgáló végpontokat hozzáférés-vezérlés védi, és tiszteletben tartja a munkaterületen konfigurált, hálózattal kapcsolatos bejövő forgalmi szabályokat, például az IP-engedélyezési listákat és a Private Link.
• A privát kapcsolat (például Azure Private Link) csak azokat a végpontokat kiszolgáló modellek esetében támogatott, amelyek kiépített átviteli sebességet vagy egyéni modelleket kiszolgáló végpontokat használnak.
• A modellkiszolgáló alapértelmezés szerint nem támogatja a Private Linket a külső végpontokhoz való csatlakozáshoz (mint például az Azure OpenAI). Ennek a funkciónak a támogatását régiónként értékelik ki és implementálják. További információért forduljon Azure Databricks fiókcsapatához.
• A modellek kiszolgálása nem biztosít biztonsági javításokat a meglévő modellképekhez, mert fennáll a veszélye, hogy ez veszélyezteti a termelési környezetek stabilitását. Az új modellverzióból létrehozott új modellképek a legújabb javításokat tartalmazzák. További információért forduljon a Databricks-fiók csapatához.

Megfelelőségi biztonsági profilszabványok: CPU-számítási feladatok

Az alábbi táblázat felsorolja a cpu-számítási feladatokhoz tartozó egyéni modellkiszolgálói funkciókhoz támogatott megfelelőségi biztonsági profil megfelelőségi szabványokat.

Megjegyzés

Ezek a megfelelőségi szabványok megkövetelik, hogy a kiszolgált tárolók a legutóbbi 30 napban legyenek létrehozva. A Databricks automatikusan újraépíti az elavult tárolókat az Ön nevében. Ha azonban ez az automatizált feladat meghiúsul, megjelenik egy eseménynapló üzenete, amely az alábbihoz hasonló, és útmutatást nyújt arról, hogyan biztosíthatja, hogy a végpontok megfeleljenek a megfelelőségi követelményeknek:

"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."

Régió	Elhelyezkedés	HIPAA	HITRUST	PCI-DSS	IRAP	CCCS Közepes (Védett B)	UK Cyber Essentials Plus
australiacentral	AustraliaCentral
australiacentral2	AustraliaCentral2
australiaeast	Kelet-Ausztrália	✓	✓	✓
australiasoutheast	Délkelet-Ausztrália
brazilsouth	Dél-Brazília	✓	✓	✓
canadacentral	Közép-Kanada	✓	✓	✓
canadaeast	CanadaEast
centralindia	Közép-India	✓	✓	✓
centralus	USA középső régiója	✓	✓	✓
chinaeast2	ChinaEast2
chinaeast3	ChinaEast3
chinanorth2	ChinaNorth2
chinanorth3	ChinaNorth3
eastasia	Kelet-Ázsia	✓	✓	✓
eastus	USA keleti régiója	✓	✓	✓
eastus2	EastUS2	✓	✓	✓
francecentral	Közép-Franciaország	✓	✓	✓
germanywestcentral	NémetországNyugatKözép	✓	✓	✓
japaneast	Kelet-Japán	✓	✓	✓
japanwest	JapanWest
koreacentral	Korea középső régiója	✓	✓	✓
mexicocentral	MexicoCentral
northcentralus	USA északi középső régiója	✓	✓	✓
northeurope	NorthEurope	✓	✓	✓
norwayeast	Kelet-Norvégia
qatarcentral	Közép-Katar
southafricanorth	Dél-Afrika Észak
southcentralus	USA déli középső régiója	✓	✓	✓
southeastasia	Délkelet-Ázsia	✓	✓	✓
southindia	Dél-India
swedencentral	SvédKözpont	✓	✓	✓
switzerlandnorth	Észak-Svájc	✓	✓	✓
switzerlandwest	Svájcnyugat
uaenorth	Egyesült Arab Emírségek északi régiója	✓	✓	✓
uksouth	UKSouth	✓	✓	✓			✓
ukwest	UKWest
westcentralus	USA nyugati középső régiója
westeurope	WestEurope	✓	✓	✓
westindia	WestIndia
westus	USA nyugati régiója	✓	✓	✓
westus2	WestUS2	✓	✓	✓
westus3	NyugatUSA3	✓	✓	✓

Alapmodell API-k korlátai

Az alapmodell API-kkal kapcsolatos részletes információkért, beleértve az alap- és külső modellek erőforrás- és hasznos adatkorlátait, tekintse meg az alapmodell API-k sebességkorlátjait és kvótáit.

Régió rendelkezésre állása

Megjegyzés

Ha nem támogatott régióban van szüksége végpontra, forduljon a Azure Databricks fiókcsapatához.

Ha a munkaterület olyan régióban van üzembe helyezve, amely támogatja a modell kiszolgálását, de egy vezérlősík kiszolgálja egy nem támogatott régióban, a munkaterület nem támogatja a modell kiszolgálását. Ha modellkiszolgálót próbál használni egy ilyen munkaterületen, egy hibaüzenet jelenik meg, amely szerint a munkaterület nem támogatott. További információért forduljon Azure Databricks fiókcsapatához.

Az egyes modellkiszolgálói funkciók regionális elérhetőségével kapcsolatos további információkért lásd: Modellkiszolgálói funkciók rendelkezésre állása.

A Databricks által üzemeltetett alapmodell-régió rendelkezésre állásáról a Databricksben üzemeltetett Alapmodellek című témakörben olvashat.