Model Hizmet Verme kısıtlamaları ve bölgeleri

Bu makalede Mozaik AI Modeli Sunma ve desteklenen uç nokta türleri için sınırlamalar ve bölge kullanılabilirliği özetlenmektedir.

Kaynak ve yük sınırları

Mozaik Yapay Zeka Modeli Sunma, güvenilir performans sağlamak için varsayılan sınırlar uygular. Bu sınırlar hakkında geri bildiriminiz varsa Databricks hesap ekibinize ulaşın.

Aşağıdaki tabloda, uç noktaları sunan model için kaynak ve yük sınırlamaları özetlemektedir.

Özellik	Granülerlik	Sınır
Yük boyutu	Talep üzerine	16MB. Temel modellere, dış modellere veya yapay zeka aracılarına hizmet veren uç noktalar için sınır 4 MB'tır.
İstek/yanıt boyutu	Talep üzerine	1 MB üzerindeki istek/yanıt günlüğe kaydedilmez.
Saniye başına sorgu sayısı (QPS)	Çalışma alanı başına	200. Daha yüksek QPS için yol iyileştirmeyi etkinleştirin.
Model yürütme süresi	Talep üzerine	297 saniye
CPU uç noktası modeli bellek kullanımı	Uç nokta başına	4 GB
GPU uç nokta modeli bellek kullanımı	Uç nokta başına	Atanmış GPU belleğinden büyük veya buna eşit olan, GPU iş yükü boyutuna bağlıdır
Sağlanan eşzamanlılık	Model ve çalışma alanı başına	200 eşzamanlılık. Databricks hesap ekibiyle iletişime geçerek artırabilirsiniz.
Ek yük gecikmesi	Talep üzerine	50 milisaniyeden az
Başlangıç betikleri		Init betikleri desteklenmez.
Temel Model API'leri hız sınırları	Çalışma alanı başına	Belirteç başına ödeme ve sağlanan aktarım hızı sınırları hakkında ayrıntılı bilgi için bkz. Temel Model API'leri hız sınırları ve kotaları .

Ağ ve güvenlik sınırlamaları

• Model Sunma uç noktaları erişim denetimi tarafından korunur ve IP izin listeleri ve Özel Bağlantı gibi çalışma alanında yapılandırılan ağ ile ilgili giriş kurallarına uyar.
• Özel bağlantı (Azure Özel Bağlantı gibi), yalnızca sağlanan aktarım hızını veya özel modellere hizmet veren uç noktaları kullanan model sunma uç noktaları için desteklenir.
• Varsayılan olarak, Model Sunma dış uç noktalara (Azure OpenAI gibi) Özel Bağlantı desteklemez. Bu işleve yönelik destek, bölge bazında değerlendirilir ve uygulanır. Daha fazla bilgi için Azure Databricks hesap ekibinize ulaşın.
• Model Sunma, üretim dağıtımlarında istikrarsızlaştırma riski nedeniyle mevcut model görüntülerine güvenlik yamaları sağlamaz. Yeni bir model sürümünden oluşturulan yeni model görüntüsü en son düzeltme eklerini içerir. Daha fazla bilgi için Databricks hesap ekibinize ulaşın.

Uyumluluk güvenlik profili standartları: CPU iş yükleri

Aşağıdaki tabloda, CPU iş yüklerinde temel Model Sunma işlevi için desteklenen uyumluluk güvenlik profili uyumluluk standartları listelenmektedir.

Not

Bu uyumluluk standartları, sunulan kapsayıcıların en son 30 gün içinde oluşturulmasını gerektirir. Databricks, eski kapsayıcıları sizin yerinize otomatik olarak yeniden oluşturur. Ancak bu otomatik iş başarısız olursa, aşağıdakine benzer bir olay günlüğü iletisi görüntülenir ve uç noktalarınızın uyumluluk gereksinimleri içinde kalmasını sağlama konusunda rehberlik sağlar:

"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."

Bölge	Yer	HIPAA	HITRUST	PCI-DSS	IRAP	CCCS Medium (Korumalı B)	UK Cyber Essentials Plus
australiacentral	AustraliaCentral
australiacentral2	AustraliaCentral2
australiaeast	Avustralya Doğu	✓	✓	✓
australiasoutheast	Avustralya Güneydoğu
brazilsouth	Brezilya Güney	✓	✓	✓
canadacentral	CanadaCentral	✓	✓	✓
canadaeast	CanadaEast
centralindia	CentralIndia	✓	✓	✓
centralus	OrtaAmerikaBölgesi	✓	✓	✓
chinaeast2	ÇinDoğu2
chinaeast3	ÇinDoğu3
chinanorth2	ÇinNorth2
chinanorth3	ÇinNorth3
eastasia	EastAsia	✓	✓	✓
eastus	EastUS (ABD Doğu Bölgesi)	✓	✓	✓
eastus2	EastUS2	✓	✓	✓
francecentral	FranceCentral	✓	✓	✓
germanywestcentral	Almanya Batı Merkez	✓	✓	✓
japaneast	JapanEast	✓	✓	✓
japanwest	JapanWest
koreacentral	KoreMerkez	✓	✓	✓
mexicocentral	MexicoCentral
northcentralus	NorthCentralUS	✓	✓	✓
northeurope	NorthEurope	✓	✓	✓
norwayeast	Doğu Norveç
qatarcentral	KatarMerkez
southafricanorth	GüneyAfrikaKuzey
southcentralus	SouthCentralUS	✓	✓	✓
southeastasia	Güneydoğu Asya	✓	✓	✓
southindia	Güney Hindistan
swedencentral	SwedenCentral	✓	✓	✓
switzerlandnorth	İsviçre Kuzeyi	✓	✓	✓
switzerlandwest	İsviçreWest
uaenorth	UAENorth	✓	✓	✓
uksouth	UKSouth	✓	✓	✓			✓
ukwest	UKWest
westcentralus	WestCentralUS
westeurope	WestEurope	✓	✓	✓
westindia	WestIndia
westus	WestUS	✓	✓	✓
westus2	WestUS2	✓	✓	✓
westus3	WestUS3	✓	✓	✓

Temel Model API'leri sınırları

Temel Model API'leri hakkında ayrıntılı bilgi için bkz:

• Hız sınırları ve kotalar: Temel Model API'leri hız sınırları ve kotaları - TPM sınırlarını, bölgesel kullanılabilirliği ve modele özgü kısıtlamaları içerir
• Uyumluluk ve güvenlik: Temel Model API'leri uyumluluğu ve güvenliği - Uyumluluk standartlarını, veri işlemeyi ve güvenlik gereksinimlerini kapsar

Bölge kullanılabilirliği

Not

Desteklenmeyen bir bölgede uç noktaya ihtiyacınız varsa Azure Databricks hesap ekibinize ulaşın.

Çalışma alanınız, model sunumunu destekleyen bir bölgede konuşlandırıldı ancak denetim düzlemi desteklenmeyen bir bölgeden sunuluyorsa, çalışma alanı model sunumunu desteklemez. Böyle bir çalışma alanında model sunma özelliğini kullanmayı denerseniz, çalışma alanınızın desteklenmediğini belirten bir hata iletisi görürsünüz. Daha fazla bilgi için Azure Databricks hesap ekibinize ulaşın.

Her Model Sunma özelliğinin bölgesel kullanılabilirliği hakkında daha fazla bilgi için bkz. Model sunma özellikleri kullanılabilirliği.

Databricks tarafından barındırılan temel model bölgesi kullanılabilirliği için bkz. Databricks'te barındırılan temel modeller.