Limity i regiony obsługi modelu

Ten artykuł zawiera podsumowanie ograniczeń i dostępności regionów dla usługi Azure Databricks Model Serving i obsługiwanych typów punktów końcowych.

Limity zasobów i ładunków

Obsługa modelu nakłada domyślne limity, aby zapewnić niezawodną wydajność. Jeśli masz opinię na temat tych limitów, skontaktuj się z zespołem ds. kont usługi Databricks.

Limity w tej sekcji dotyczą tylko punktów końcowych modelu niestandardowego i agenta sztucznej inteligencji . Aby zapoznać się z interfejsami API modelu bazowego oraz limitami zasobów i ładunku modelu zewnętrznego, zobacz Limity szybkości i przydziały interfejsów API modelu bazowego.

Modele niestandardowe i agenci sztucznej inteligencji

Funkcja	Poziom szczegółowości	Granica
Endpoints	Na obszar roboczy	1000. Skontaktuj się z zespołem ds. kont usługi Databricks, aby go zwiększyć.
Zapytania na sekundę (QPS)	Na każdy punkt końcowy	300 000 użytkowników korzystających z optymalizacji tras. Jeśli współbieżność na poziomie 1024 nie wystarcza, skontaktuj się z zespołem ds. kont usługi Databricks, aby ją zwiększyć.
Zapytania na sekundę (QPS)	Na obszar roboczy	300 000 przy użyciu optymalizacji tras. 200 dla systemów bez optymalizacji trasy, zalecane tylko do małych przypadków użycia przez deweloperów.
Aprowizowana współbieżność	Na jeden model	1024 z opcją niestandardową i optymalizacją tras. Skontaktuj się z zespołem ds. kont usługi Databricks w celu zwiększenia.
Aprowizowana współbieżność	Na obszar roboczy	4096. Skontaktuj się z zespołem ds. kont Databricks, aby go zwiększyć.
Operacje tworzenia/aktualizowania	Na obszar roboczy	50 w 5 minut.
Rozmiar ładunku	Na żądanie	16 MB. W przypadku punktów końcowych agenta sztucznej inteligencji limit wynosi 4 MB.
Rozmiar żądania/odpowiedzi	Na żądanie	Żadne żądanie/odpowiedź w ciągu 1 MB nie zostaną zarejestrowane.
Czas trwania wykonywania modelu	Na żądanie	297 sekund
Użycie pamięci modelu punktu końcowego procesora	Na każdy punkt końcowy	4 GB
Użycie pamięci modelu punktu końcowego procesora GPU	Na każdy punkt końcowy	Zależy od typu procesora GPU
Zmienne środowiskowe	Według obsługiwanego modelu	30. Skontaktuj się z zespołem ds. kont usługi Databricks, aby zwiększyć limity konta.
Opóźnienie związane z obciążeniem	Na żądanie	Mniej niż 20 milisekund z optymalizacją tras.

:::

Ograniczenia dotyczące sieci i zabezpieczeń

• Punkty końcowe obsługujące model są chronione przez kontrolę dostępu i przestrzeganie reguł ruchu przychodzącego związanych z siecią skonfigurowanych w obszarze roboczym, takich jak listy dozwolonych adresów IP i usługa Private Link.
• Łączność prywatna (taka jak usługa Azure Private Link) jest obsługiwana tylko w przypadku punktów końcowych obsługujących model korzystających z aprowizowanej przepływności lub punktów końcowych obsługujących modele niestandardowe.
• Domyślnie obsługa modelu nie obsługuje usługi Private Link do zewnętrznych punktów końcowych (takich jak Azure OpenAI). Obsługa tej funkcji jest oceniana i implementowana w poszczególnych regionach. Skontaktuj się z zespołem kont usługi Azure Databricks, aby uzyskać więcej informacji.
• Obsługa modelu nie zapewnia poprawek zabezpieczeń istniejących obrazów modelu ze względu na ryzyko destabilizacji wdrożeń produkcyjnych. Nowy obraz modelu utworzony na podstawie nowej wersji modelu będzie zawierać najnowsze poprawki. Skontaktuj się z zespołem kont usługi Databricks, aby uzyskać więcej informacji.

Standardy profilu zabezpieczeń zgodności: obciążenia CPU

W poniższej tabeli wymieniono obsługiwane standardy zgodności profilu zabezpieczeń dla podstawowych funkcji obsługi modelu dla obciążeń procesora CPU.

Uwaga

Te standardy zgodności wymagają, aby obsługiwane kontenery były tworzone w ciągu ostatnich 30 dni. Usługa Databricks automatycznie ponownie kompiluje nieaktualne kontenery w Twoim imieniu. Jeśli jednak to zadanie automatyczne zakończy się niepowodzeniem, zostanie wyświetlony komunikat dziennika zdarzeń podobny do poniższego i zawiera wskazówki dotyczące tego, jak zapewnić, że punkty końcowe pozostaną w wymaganiach dotyczących zgodności:

"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."

Rejon	Lokalizacja	HIPAA	HITRUST	PCI-DSS	IRAP (Międzynarodowy Program Oceny Ryzyka)	Poziom ochrony CCCS Średni (Chroniony B)	UK Cyber Essentials Plus
australiacentral	AustraliaCentral
australiacentral2	AustraliaCentral2
australiaeast	AustraliaEast	✓	✓	✓
australiasoutheast	Południowo-wschodnia Australia
brazilsouth	Brazylia Południowa	✓	✓	✓
canadacentral	CanadaCentral	✓	✓	✓
canadaeast	CanadaEast
centralindia	CentralIndia	✓	✓	✓
centralus	Środkowe USA	✓	✓	✓
chinaeast2	ChinaEast2
chinaeast3	ChinaEast3
chinanorth2	ChinyPółnoc2
chinanorth3	ChinyNorth3
eastasia	EastAsia	✓	✓	✓
eastus	EastUS (Wschodni USA)	✓	✓	✓
eastus2	EastUS2	✓	✓	✓
francecentral	FranceCentral	✓	✓	✓
germanywestcentral	Niemcy-Zachód-Centrum	✓	✓	✓
japaneast	JapanEast	✓	✓	✓
japanwest	JaponiaWest
koreacentral	KoreaCentral	✓	✓	✓
mexicocentral	MeksykCentral
northcentralus	NorthCentralUS	✓	✓	✓
northeurope	NorthEurope	✓	✓	✓
norwayeast	Norwegia Wschód
qatarcentral	KatarCentral
southafricanorth	PołudniowaAfrykaPółnoc
southcentralus	SouthCentralUS	✓	✓	✓
southeastasia	Azja Południowo-Wschodnia	✓	✓	✓
southindia	Południowe Indie
swedencentral	SzwecjaCentral	✓	✓	✓
switzerlandnorth	Szwajcaria Północ	✓	✓	✓
switzerlandwest	SzwajcariaWest
uaenorth	UAENorth	✓	✓	✓
uksouth	UKSouth	✓	✓	✓			✓
ukwest	UKWest
westcentralus	WestCentralUS
westeurope	Europa Zachodnia	✓	✓	✓
westindia	WestIndia
westus	Zachodnie USA	✓	✓	✓
westus2	WestUS2	✓	✓	✓
westus3	WestUS3	✓	✓	✓

Limity interfejsów API modelu podstawowego

Aby uzyskać szczegółowe informacje na temat interfejsów API modeli bazowych, w tym limitów zasobów i ładunków dla modeli bazowych i zewnętrznych, zobacz Interfejsy API modeli bazowych - limity i przydziały.

Dostępność regionów

Uwaga

Jeśli potrzebujesz punktu końcowego w nieobsługiwanym regionie, skontaktuj się z zespołem konta usługi Azure Databricks.

Jeśli obszar roboczy jest wdrożony w regionie obsługującym modele, jednakże jest obsługiwany przez płaszczyznę sterowania znajdującą się w nieobsługiwanym regionie, obszar roboczy nie obsługuje obsługi modelu. Jeśli spróbujesz użyć obsługi modelu w takim obszarze roboczym, zostanie wyświetlony komunikat o błędzie z informacją, że obszar roboczy nie jest obsługiwany. Skontaktuj się z zespołem kont usługi Azure Databricks, aby uzyskać więcej informacji.

Aby uzyskać więcej informacji na temat regionalnej dostępności każdej funkcji obsługującej model, zobacz Dostępność funkcji obsługujących model.

Aby uzyskać dostępność regionu modelu podstawowego hostowanego w usłudze Databricks, zobacz Podstawowe modele hostowane w usłudze Databricks.