Model Sunma sınırları ve bölgeleri

Bu makalede Databricks Model Sunma ve desteklenen uç nokta türleri için sınırlamalar ve bölge kullanılabilirliği özetlenmektedir.

Sınırlamalar

Databricks Model Sunma, güvenilir performans sağlamak için varsayılan sınırlar uygular. Bu sınırlar hakkında geri bildiriminiz varsa lütfen Databricks hesap ekibinize ulaşın.

Aşağıdaki tabloda, uç noktaları sunan model için kaynak ve yük sınırlamaları özetlemektedir.

Özellik	Ayrıntı düzeyi	Sınır
Yük boyutu	İstek başına	16MB
Saniye başına sorgu sayısı (QPS)	Çalışma alanı başına	200, ancak Databricks hesabınıza ulaşarak 3000 veya daha fazla 3000'e yükseltilebilir
Model yürütme süresi	İstek başına	120 saniye
CPU uç noktası modeli bellek kullanımı	Uç nokta başına	4 GB
GPU uç nokta modeli bellek kullanımı	Uç nokta başına	Atanmış GPU belleğinden büyük veya buna eşit olan, GPU iş yükü boyutuna bağlıdır
Sağlanan eşzamanlılık	Çalışma alanı başına	200 eşzamanlılık. Databricks hesabınıza ulaşarak artırılabilir.
Ek yük gecikmesi	İstek başına	50 milisaniyeden az
Temel Model API'leri (belirteç başına ödeme) hız sınırları	Çalışma alanı başına	Aşağıdaki sınırları artırmak için Databricks hesap ekibinize ulaşın. * DBRX Instruct modelinin saniyede 1 sorgu sınırı vardır. * Diğer sohbet ve tamamlama modellerinin varsayılan hız sınırı saniyede 2 sorgu olabilir. * Ekleme modellerinin saniyede varsayılan 300 ekleme girişi vardır.
Temel Model API'leri (sağlanan aktarım hızı) hız sınırları	Çalışma alanı başına	Yukarıda listelenen Model Sunma QPS sınırıyla aynıdır.

Model Sunma uç noktaları erişim denetimi tarafından korunur ve IP izin listeleri ve Özel Bağlantı gibi çalışma alanında yapılandırılan ağ ile ilgili giriş kurallarına uyar.

Ek sınırlamalar da vardır:

• Bir çalışma alanının desteklenen bir bölgeye dağıtılması mümkündür, ancak farklı bir bölgedeki bir denetim düzlemi tarafından kullanılabilir. Bu çalışma alanları Model Sunma'yi desteklemez ve çalışma alanınızın desteklenmediğini belirten bir hata iletisiyle sonuçlanır. Daha fazla bilgi için Azure Databricks hesap ekibinize ulaşın.
• Model Sunma, başlatma betiklerini desteklemez.
• Varsayılan olarak, Model Sunma dış uç noktalara (Azure OpenAI gibi) Özel Bağlantı desteklemez. Bu işleve yönelik destek, bölge bazında değerlendirilir ve uygulanır. Daha fazla bilgi için Azure Databricks hesap ekibinize ulaşın.

Temel Model API'leri sınırları

Not

Databricks, Temel Model API'lerini sağlamanın bir parçası olarak verilerinizi ilgili coğrafi konumun dışında değil, verilerinizin kaynaklandığı bölgenin dışında işleyebilirsiniz.

Temel Model API'leri iş yükleriyle ilgili sınırlar şunlardır:

• Sağlanan aktarım hızı HIPAA uyumluluk profilini destekler ve uyumluluk sertifikası gerektiren iş yükleri için kullanılmalıdır. Belirteç başına ödeme iş yükleri HIPAA veya uyumluluk güvenlik profiliyle uyumlu değildir .
• Temel Model API'leri uç noktaları için, hız sınırları gibi idare ayarlarını yalnızca çalışma alanı yöneticileri değiştirebilir. Hız sınırlarını değiştirmek için aşağıdaki adımları kullanın:
  1. Hizmet veren uç noktalarınızı görmek için çalışma alanınızda Sunma kullanıcı arabirimini açın.
  2. Düzenlemek istediğiniz Temel Model API'leri uç noktasındaki kebap menüsünden Ayrıntıları görüntüle'yi seçin.
  3. Uç nokta ayrıntıları sayfasının sağ üst kısmındaki kebap menüsünde Hız sınırını değiştir'i seçin.
• Sağlanan aktarım hızı iş yükü için DBRX model mimarisini kullanmak için, sunum uç noktanızın aşağıdaki bölgelerden birinde olması gerekir:
  • eastus
  • eastus2
  • westus
  • centralus
  • westeurope
  • northeurope
  • australiaeast
  • canadacentral
  • brazilsouth

Bölge kullanılabilirliği

Not

Desteklenmeyen bir bölgede uç noktaya ihtiyacınız varsa Azure Databricks hesap ekibinize ulaşın.

DBRX modellerini kullanan sağlanan aktarım hızı iş yükleri için bkz . Bölge kullanılabilirliği için Temel Model API'leri sınırları .

Bölge	Konum	Çekirdek Model Sunma özelliği *	Temel Model API'leri (genel olarak sağlanır) **	Temel Model API'leri (belirteç başına ödeme)	Dış modeller
australiacentral	Orta Avustralya
australiacentral2	Orta Avustralya 2
australiaeast	Doğu Avustralya	X	X		X
australiasoutheast	Güneydoğu Avustralya
brazilsouth	Güney Brezilya	X	X		X
canadacentral	Orta Kanada	X	X		X
canadaeast	Doğu Kanada
centralindia	Orta Hindistan	X	X		X
centralus	Orta ABD	X	X	X	X
chinaeast2	Doğu Çin 2
chinaeast3	Doğu Çin 3
chinanorth2	Kuzey Çin 2
chinanorth3	Kuzey Çin 3
eastasia	Doğu Asya
eastus	Doğu ABD	X	X	X	X
eastus2	Doğu ABD 2	X	X	X	X
eastus2euap	Doğu ABD 2 EUAP
francecentral	Orta Fransa
germanywestcentral	Orta Batı Almanya
japaneast	Doğu Japonya
japanwest	Batı Japonya
koreacentral	Güney Kore - Orta
northcentralus	Orta Kuzey ABD	X		X	X
northeurope	Kuzey Avrupa	X	X		X
norwayeast	Norveç Doğu
qatarcentral	Katar Merkezi
southafricanorth	Güney Afrika - Kuzey
southcentralus	Orta Güney ABD
southeastasia	Güneydoğu Asya	X			X
southindia	Güney Hindistan
swedencentral	Orta İsveç
switzerlandnorth	Kuzey İsviçre
switzerlandwest	Batı İsviçre
uaenorth	Kuzey BAE
uksouth	Güney Birleşik Krallık
ukwest	Batı Birleşik Krallık
westcentralus	Orta Batı ABD
westeurope	West Europe	X	X		X
westindia	Batı Hindistan
westus	Batı ABD	X	X	X	X
westus2	Batı ABD 2			X	X
westus3	Batı ABD 3			X	X

• yalnızca cpu işlem

** gpu desteği içerir