Model Hizmet Verme kısıtlamaları ve bölgeleri

Bu makalede, Azure Databricks Model Sunma ve desteklenen uç nokta türleri için sınırlamalar ve bölge kullanılabilirliği özetlenmektedir.

Kaynak ve yük sınırları

Model Sunma, güvenilir performans sağlamak için varsayılan sınırlar uygular. Bu sınırlar hakkında geri bildiriminiz varsa Databricks hesap ekibinize ulaşın.

Bu bölümdeki sınırlar yalnızca özel model ve yapay zeka aracısı uç noktaları için geçerlidir. Temel Model API'leri ve dış model kaynağı ve yük sınırları için bkz. Temel Model API'leri hız sınırları ve kotaları.

Özel modeller ve yapay zeka aracıları

Özellik	Granülerlik	Sınır
Endpoints	Çalışma alanı başına	1000. Artırmak için Databricks hesap ekibinize ulaşın.
Saniye başına sorgu sayısı (QPS)	Uç nokta başına	300.000 rota iyileştirme kullanılarak optimize edildi. 1024 eşzamanlılığı yeterli değilse, artırmak için Databricks hesap ekibinize ulaşın.
Saniye başına sorgu sayısı (QPS)	Çalışma alanı başına	300.000 rota iyileştirme kullanılarak optimize edildi. Rota optimize edilmemiş için 200, yalnızca küçük geliştirme senaryoları için önerilir.
Sağlanan eşzamanlılık	Model başına	Özel seçenek ve yol iyileştirme ile 1024. Artırmak için Databricks hesap ekibinize ulaşın.
Sağlanan eşzamanlılık	Çalışma alanı başına	4096. Artırmak için Databricks hesap ekibinize ulaşın.
Oluşturma/güncelleştirme işlemleri	Çalışma alanı başına	5 dakikada 50.
Yük boyutu	Talep üzerine	16MB. Yapay zeka aracısı uç noktaları için sınır 4 MB'tır.
İstek/yanıt boyutu	Talep üzerine	1 MB üzerindeki istek/yanıt günlüğe kaydedilmez.
Model yürütme süresi	Talep üzerine	597 saniye
CPU uç noktası modeli bellek kullanımı	Model örneği başına	4 GB
GPU uç nokta modeli bellek kullanımı	Uç nokta başına	GPU türüne bağlıdır
Ortam değişkenleri	Kullanılan model başına	50. Artırmak için Databricks hesap ekibinize ulaşın.
Ek yük gecikmesi	Talep üzerine	Rota iyileştirme ile 20 milisaniyeden az.

Ağ ve güvenlik sınırlamaları

• Model Sunma hizmeti uç noktaları erişim kontrolü tarafından korunur ve IP izin verilenler listeleri ve Private Link gibi çalışma alanında yapılandırılan ağ ile ilgili giriş kurallarına uyar.
• Özel bağlantı (Azure Private Link gibi), yalnızca sağlanan aktarım hızını veya özel modellere hizmet veren uç noktaları kullanan model sunma uç noktaları için desteklenir.
• Varsayılan olarak, Model Sunma dış uç noktalara (Azure OpenAI gibi) Private Link desteklemez. Bu işleve yönelik destek, bölge bazında değerlendirilir ve uygulanır. Daha fazla bilgi için Azure Databricks hesap ekibinize ulaşın.
• Model Sunma, üretim dağıtımlarında istikrarsızlaştırma riski nedeniyle mevcut model görüntülerine güvenlik yamaları sağlamaz. Yeni bir model sürümünden oluşturulan yeni model görüntüsü en son düzeltme eklerini içerir. Daha fazla bilgi için Databricks hesap ekibinize ulaşın.

Uyumluluk güvenlik profili standartları: CPU iş yükleri

Aşağıdaki tabloda, CPU iş yüklerinde temel Model Sunma işlevi için desteklenen uyumluluk güvenlik profili uyumluluk standartları listelenmektedir.

Not

Bu uyumluluk standartları, sunulan kapsayıcıların en son 30 gün içinde oluşturulmasını gerektirir. Databricks, eski kapsayıcıları sizin yerinize otomatik olarak yeniden oluşturur. Ancak bu otomatik iş başarısız olursa, aşağıdakine benzer bir olay günlüğü iletisi görüntülenir ve uç noktalarınızın uyumluluk gereksinimleri içinde kalmasını sağlama konusunda rehberlik sağlar:

"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."

Bölge	Yer	HIPAA	HITRUST	PCI-DSS	IRAP	CCCS Medium (Korumalı B)	UK Cyber Essentials Plus
australiacentral	AustraliaCentral
australiacentral2	AustraliaCentral2
australiaeast	Avustralya Doğu	✓	✓	✓
australiasoutheast	Avustralya Güneydoğu
brazilsouth	Brezilya Güney	✓	✓	✓
canadacentral	CanadaCentral	✓	✓	✓
canadaeast	CanadaEast
centralindia	CentralIndia	✓	✓	✓
centralus	OrtaAmerikaBölgesi	✓	✓	✓
chinaeast2	ÇinDoğu2
chinaeast3	ÇinDoğu3
chinanorth2	ÇinNorth2
chinanorth3	ÇinNorth3
eastasia	EastAsia	✓	✓	✓
eastus	EastUS (ABD Doğu Bölgesi)	✓	✓	✓
eastus2	EastUS2	✓	✓	✓
francecentral	FranceCentral	✓	✓	✓
germanywestcentral	Almanya Batı Merkez	✓	✓	✓
japaneast	JapanEast	✓	✓	✓
japanwest	JapanWest
koreacentral	KoreMerkez	✓	✓	✓
mexicocentral	MexicoCentral
northcentralus	NorthCentralUS	✓	✓	✓
northeurope	NorthEurope	✓	✓	✓
norwayeast	Doğu Norveç
qatarcentral	KatarMerkez
southafricanorth	GüneyAfrikaKuzey
southcentralus	SouthCentralUS	✓	✓	✓
southeastasia	Güneydoğu Asya	✓	✓	✓
southindia	Güney Hindistan
swedencentral	SwedenCentral	✓	✓	✓
switzerlandnorth	İsviçre Kuzeyi	✓	✓	✓
switzerlandwest	İsviçreWest
uaenorth	UAENorth	✓	✓	✓
uksouth	UKSouth	✓	✓	✓			✓
ukwest	UKWest
westcentralus	WestCentralUS
westeurope	WestEurope	✓	✓	✓
westindia	WestIndia
westus	WestUS	✓	✓	✓
westus2	WestUS2	✓	✓	✓
westus3	WestUS3	✓	✓	✓

Temel Model API'leri sınırları

Temel ve dış modeller için kaynak ve yük sınırları da dahil olmak üzere Temel Model API'leri hakkında ayrıntılı bilgi için bkz. Temel Model API'leri hız sınırları ve kotaları.

Bölge kullanılabilirliği

Not

Desteklenmeyen bir bölgede uç nokta gerekiyorsa Azure Databricks hesap ekibinize ulaşın.

Çalışma alanınız, model sunumunu destekleyen bir bölgede konuşlandırıldı ancak denetim düzlemi desteklenmeyen bir bölgeden sunuluyorsa, çalışma alanı model sunumunu desteklemez. Böyle bir çalışma alanında model sunma özelliğini kullanmayı denerseniz, çalışma alanınızın desteklenmediğini belirten bir hata iletisi görürsünüz. Daha fazla bilgi için Azure Databricks hesap ekibinize ulaşın.

Her Model Sunma özelliğinin bölgesel kullanılabilirliği hakkında daha fazla bilgi için bkz. Model sunma özellikleri kullanılabilirliği.

Databricks tarafından barındırılan temel model bölgesi kullanılabilirliği için bkz. Databricks'te barındırılan temel modeller.