Limity i regiony obsługi modelu

W tym artykule przedstawiono podsumowanie ograniczeń i dostępności regionalnej dla Mosaic AI Model Serving i obsługiwanych typów punktów końcowych.

Limity zasobów i ładunków

Obsługa modelu mozaiki sztucznej inteligencji nakłada domyślne limity, aby zapewnić niezawodną wydajność. Jeśli masz opinię na temat tych limitów, skontaktuj się z zespołem ds. kont usługi Databricks.

W poniższej tabeli przedstawiono podsumowanie ograniczeń zasobów i ładunków dla punktów końcowych obsługujących model.

Funkcja	Poziom szczegółowości	Granica
Rozmiar ładunku	Na żądanie	16 MB. W przypadku punktów końcowych obsługujących modele podstawowe, modele zewnętrzne lub agenci sztucznej inteligencji limit wynosi 4 MB.
Rozmiar żądania/odpowiedzi	Na żądanie	Żadne żądanie/odpowiedź w ciągu 1 MB nie zostaną zarejestrowane.
Zapytania na sekundę (QPS)	Na obszar roboczy	200. W przypadku wyższych QPS włącz optymalizację tras.
Czas trwania wykonywania modelu	Na żądanie	297 sekund
Użycie pamięci modelu punktu końcowego procesora	Na każdy punkt końcowy	4 GB
Użycie pamięci modelu punktu końcowego procesora GPU	Na każdy punkt końcowy	Większe niż lub równe przypisanej pamięci procesora GPU zależy od rozmiaru obciążenia procesora GPU
Aprowizowana współbieżność	Na model i na obszar roboczy	200 współbieżności. Można to zwiększyć, kontaktując się z zespołem obsługi konta Databricks.
Opóźnienie związane z obciążeniem	Na żądanie	Mniej niż 50 milisekund
Skrypty inicjalizacji		Skrypty inicjowania nie są obsługiwane.
Limity szybkości interfejsów API modelu foundation	Na obszar roboczy	Aby uzyskać szczegółowe informacje na temat limitów przepływności i limitów przydziału dla interfejsów API modelu foundation, zobacz Limity szybkości i limity przepływności aprowizowanej.

Ograniczenia dotyczące sieci i zabezpieczeń

• Punkty końcowe obsługujące model są chronione przez kontrolę dostępu i przestrzeganie reguł ruchu przychodzącego związanych z siecią skonfigurowanych w obszarze roboczym, takich jak listy dozwolonych adresów IP i usługa Private Link.
• Łączność prywatna (taka jak usługa Azure Private Link) jest obsługiwana tylko w przypadku punktów końcowych obsługujących model korzystających z aprowizowanej przepływności lub punktów końcowych obsługujących modele niestandardowe.
• Domyślnie obsługa modelu nie obsługuje usługi Private Link do zewnętrznych punktów końcowych (takich jak Azure OpenAI). Obsługa tej funkcji jest oceniana i implementowana w poszczególnych regionach. Skontaktuj się z zespołem kont usługi Azure Databricks, aby uzyskać więcej informacji.
• Obsługa modelu nie zapewnia poprawek zabezpieczeń istniejących obrazów modelu ze względu na ryzyko destabilizacji wdrożeń produkcyjnych. Nowy obraz modelu utworzony na podstawie nowej wersji modelu będzie zawierać najnowsze poprawki. Skontaktuj się z zespołem kont usługi Databricks, aby uzyskać więcej informacji.

Standardy profilu zabezpieczeń zgodności: obciążenia CPU

W poniższej tabeli wymieniono obsługiwane standardy zgodności profilu zabezpieczeń dla podstawowych funkcji obsługi modelu dla obciążeń procesora CPU.

Uwaga

Te standardy zgodności wymagają, aby obsługiwane kontenery były tworzone w ciągu ostatnich 30 dni. Usługa Databricks automatycznie ponownie kompiluje nieaktualne kontenery w Twoim imieniu. Jeśli jednak to zadanie automatyczne zakończy się niepowodzeniem, zostanie wyświetlony komunikat dziennika zdarzeń podobny do poniższego i zawiera wskazówki dotyczące tego, jak zapewnić, że punkty końcowe pozostaną w wymaganiach dotyczących zgodności:

"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."

Rejon	Lokalizacja	HIPAA	HITRUST	PCI-DSS	IRAP (Międzynarodowy Program Oceny Ryzyka)	Poziom ochrony CCCS Średni (Chroniony B)	UK Cyber Essentials Plus
australiacentral	AustraliaCentral
australiacentral2	AustraliaCentral2
australiaeast	AustraliaEast	✓	✓	✓
australiasoutheast	Południowo-wschodnia Australia
brazilsouth	Brazylia Południowa	✓	✓	✓
canadacentral	CanadaCentral	✓	✓	✓
canadaeast	CanadaEast
centralindia	CentralIndia	✓	✓	✓
centralus	Środkowe USA	✓	✓	✓
chinaeast2	ChinaEast2
chinaeast3	ChinaEast3
chinanorth2	ChinyPółnoc2
chinanorth3	ChinyNorth3
eastasia	EastAsia	✓	✓	✓
eastus	EastUS (Wschodni USA)	✓	✓	✓
eastus2	EastUS2	✓	✓	✓
francecentral	FranceCentral	✓	✓	✓
germanywestcentral	Niemcy-Zachód-Centrum	✓	✓	✓
japaneast	JapanEast	✓	✓	✓
japanwest	JaponiaWest
koreacentral	KoreaCentral	✓	✓	✓
mexicocentral	MeksykCentral
northcentralus	NorthCentralUS	✓	✓	✓
northeurope	NorthEurope	✓	✓	✓
norwayeast	Norwegia Wschód
qatarcentral	KatarCentral
southafricanorth	PołudniowaAfrykaPółnoc
southcentralus	SouthCentralUS	✓	✓	✓
southeastasia	Azja Południowo-Wschodnia	✓	✓	✓
southindia	Południowe Indie
swedencentral	SzwecjaCentral	✓	✓	✓
switzerlandnorth	Szwajcaria Północ	✓	✓	✓
switzerlandwest	SzwajcariaWest
uaenorth	UAENorth	✓	✓	✓
uksouth	UKSouth	✓	✓	✓			✓
ukwest	UKWest
westcentralus	WestCentralUS
westeurope	Europa Zachodnia	✓	✓	✓
westindia	WestIndia
westus	Zachodnie USA	✓	✓	✓
westus2	WestUS2	✓	✓	✓
westus3	WestUS3	✓	✓	✓

Limity interfejsów API modelu podstawowego

Aby uzyskać szczegółowe informacje na temat interfejsów API modelu foundation, zobacz:

• Limity szybkości i limity przydziału: Podstawowe interfejsy API modelu limity szybkości i limity przydziału — obejmuje limity modułu TPM, dostępność regionalną i ograniczenia specyficzne dla modelu
• Zgodność i zabezpieczenia: Podstawoweinterfejsy API modelu zgodności i zabezpieczeń — obejmuje standardy zgodności, przetwarzanie danych i wymagania dotyczące zabezpieczeń

Dostępność regionów

Uwaga

Jeśli potrzebujesz punktu końcowego w nieobsługiwanym regionie, skontaktuj się z zespołem konta usługi Azure Databricks.

Jeśli obszar roboczy jest wdrożony w regionie obsługującym modele, jednakże jest obsługiwany przez płaszczyznę sterowania znajdującą się w nieobsługiwanym regionie, obszar roboczy nie obsługuje obsługi modelu. Jeśli spróbujesz użyć obsługi modelu w takim obszarze roboczym, zostanie wyświetlony komunikat o błędzie z informacją, że obszar roboczy nie jest obsługiwany. Skontaktuj się z zespołem kont usługi Azure Databricks, aby uzyskać więcej informacji.

Aby uzyskać więcej informacji na temat regionalnej dostępności każdej funkcji obsługującej model, zobacz Dostępność funkcji obsługujących model.

Aby uzyskać dostępność regionu modelu podstawowego hostowanego w usłudze Databricks, zobacz Podstawowe modele hostowane w usłudze Databricks.