Model Sunma sınırları ve bölgeleri

Bu makalede Mozaik AI Modeli Sunma ve desteklenen uç nokta türleri için sınırlamalar ve bölge kullanılabilirliği özetlenmektedir.

Sınırlamalar

Mozaik Yapay Zeka Modeli Sunma, güvenilir performans sağlamak için varsayılan sınırlar uygular. Bu sınırlar hakkında geri bildiriminiz varsa lütfen Databricks hesap ekibinize ulaşın.

Aşağıdaki tabloda, uç noktaları sunan model için kaynak ve yük sınırlamaları özetlemektedir.

Özellik	Ayrıntı düzeyi	Sınır
Yük boyutu	İstek başına	16 MB
Saniye başına sorgu sayısı (QPS)	Çalışma alanı başına	200, ancak Databricks hesabınıza ulaşarak 3000 veya daha fazla 3000'e yükseltilebilir
Model yürütme süresi	İstek başına	120 saniye
CPU uç noktası modeli bellek kullanımı	Uç nokta başına	4 GB
GPU uç nokta modeli bellek kullanımı	Uç nokta başına	Atanmış GPU belleğinden büyük veya buna eşit olan, GPU iş yükü boyutuna bağlıdır
Sağlanan eşzamanlılık	Çalışma alanı başına	200 eşzamanlılık. Databricks hesabınıza ulaşarak artırılabilir.
Ek yük gecikmesi	İstek başına	50 milisaniyeden az
Temel Model API'leri (belirteç başına ödeme) hız sınırları	Çalışma alanı başına	Aşağıdaki sınırları artırmak için Databricks hesap ekibinize ulaşın. * DBRX Instruct modelinin saniyede 1 sorgu sınırı vardır. * Diğer sohbet ve tamamlama modellerinin varsayılan hız sınırı saniyede 2 sorgu olabilir. * Ekleme modellerinin saniyede varsayılan 300 ekleme girişi vardır.
Temel Model API'leri (sağlanan aktarım hızı) hız sınırları	Çalışma alanı başına	Yukarıda listelenen Model Sunma QPS sınırıyla aynıdır.

Model Sunma uç noktaları erişim denetimi tarafından korunur ve IP izin listeleri ve Özel Bağlantı gibi çalışma alanında yapılandırılan ağ ile ilgili giriş kurallarına uyar.

Ek sınırlamalar da vardır:

• Bir çalışma alanının desteklenen bir bölgeye dağıtılması mümkündür, ancak farklı bir bölgedeki bir denetim düzlemi tarafından kullanılabilir. Bu çalışma alanları Model Sunma'yi desteklemez ve çalışma alanınızın desteklenmediğini belirten bir hata iletisiyle sonuçlanır. Daha fazla bilgi için Azure Databricks hesap ekibinize ulaşın.
• Model Sunma, başlatma betiklerini desteklemez.
• Varsayılan olarak, Model Sunma dış uç noktalara (Azure OpenAI gibi) Özel Bağlantı desteklemez. Bu işleve yönelik destek, bölge bazında değerlendirilir ve uygulanır. Daha fazla bilgi için Azure Databricks hesap ekibinize ulaşın.

Temel Model API'leri sınırları

Not

Databricks, Temel Model API'lerini sağlamanın bir parçası olarak verilerinizi ilgili coğrafi konumun dışında değil, verilerinizin kaynaklandığı bölgenin dışında işleyebilirsiniz.

Temel Model API'leri iş yükleriyle ilgili sınırlar şunlardır:

• Sağlanan aktarım hızı HIPAA uyumluluk profilini destekler ve uyumluluk sertifikası gerektiren iş yükleri için kullanılmalıdır. Belirteç başına ödeme iş yükleri HIPAA veya uyumluluk güvenlik profiliyle uyumlu değildir .
• Temel Model API'leri uç noktaları için, hız sınırları gibi idare ayarlarını yalnızca çalışma alanı yöneticileri değiştirebilir. Hız sınırlarını değiştirmek için aşağıdaki adımları kullanın:
  1. Hizmet veren uç noktalarınızı görmek için çalışma alanınızda Sunma kullanıcı arabirimini açın.
  2. Düzenlemek istediğiniz Temel Model API'leri uç noktasındaki kebap menüsünden Ayrıntıları görüntüle'yi seçin.
  3. Uç nokta ayrıntıları sayfasının sağ üst kısmındaki kebap menüsünde Hız sınırını değiştir'i seçin.
• Sağlanan aktarım hızı iş yükü için DBRX model mimarisini kullanmak için, sunum uç noktanızın aşağıdaki bölgelerden birinde olması gerekir:
  • eastus
  • eastus2
  • westus
  • centralus
  • westeurope
  • northeurope
  • australiaeast
  • canadacentral
  • brazilsouth

Bölge kullanılabilirliği

Not

Desteklenmeyen bir bölgede uç noktaya ihtiyacınız varsa Azure Databricks hesap ekibinize ulaşın.

Özelliklerin bölgesel kullanılabilirliği hakkında daha fazla bilgi için bkz . Sınırlı bölgesel kullanılabilirliğe sahip özellikler