Batas dan wilayah Layanan Model

Artikel ini merangkum batasan dan ketersediaan wilayah untuk Azure Databricks Model Serving dan jenis titik akhir yang didukung.

Batas sumber daya dan muatan data

Model Serving memberlakukan batas default untuk memastikan performa yang andal. Jika Anda memiliki umpan balik tentang batas ini, hubungi tim akun Databricks Anda.

Batas di bagian ini hanya berlaku untuk model kustom dan titik akhir agen AI . Untuk API Model Foundation dan sumber daya model eksternal dan batas payload, lihat Batas tarif dan kuota API Model Foundation.

Model kustom dan agen AI

Fitur	Granularitas	Batas
Endpoints	Per ruang kerja	1000. Hubungi tim akun Databricks Anda untuk meningkatkan.
Kueri per detik (QPS)	Per titik akhir	300.000 menggunakan pengoptimalan rute. Jika tingkat konkurensi 1024 tidak cukup, hubungi tim akun Databricks Anda untuk meningkatkan batas itu.
Kueri per detik (QPS)	Per ruang kerja	300.000 menggunakan pengoptimalan rute. 200 untuk yang tidak dioptimalkan rute, direkomendasikan hanya untuk skenario penggunaan pengembangan kecil.
Konkurensi yang Ditetapkan	Setiap model	1024 dengan opsi kustom dan pengoptimalan rute. Hubungi tim akun Databricks Anda untuk meningkatkan.
Konkurensi yang Ditetapkan	Per ruang kerja	4096. Hubungi tim akun Databricks Anda untuk meningkatkan.
Membuat/memperbarui operasi	Per ruang kerja	50 dalam 5 menit.
Ukuran payload	Per permintaan	16 MB. Untuk titik akhir agen AI , batasnya adalah 4 MB.
Ukuran permintaan/respons	Per permintaan	Setiap permintaan/respons lebih dari 1 MB tidak akan dicatat.
Durasi pelaksanaan model	Per permintaan	597 detik
Penggunaan model memori titik akhir CPU	Per instans model	4GB
Penggunaan memori model titik akhir GPU	Per titik akhir	Bergantung pada jenis GPU
Variabel lingkungan	Per model yang disediakan	50. Hubungi tim akun Databricks Anda untuk meningkatkan.
Latensi akibat overhead	Per permintaan	Kurang dari 20 milidetik dengan pengoptimalan rute.

Batasan jaringan dan keamanan

• Titik akhir Penyajian Model dilindungi oleh kontrol akses dan mematuhi aturan masuk terkait jaringan yang dikonfigurasi di ruang kerja, seperti daftar izinkan IP dan Private Link.
• Konektivitas privat (seperti Azure Private Link) hanya didukung untuk titik akhir penyajian model yang menggunakan throughput yang disediakan atau titik akhir yang melayani model kustom.
• Secara default, Model Serving tidak mendukung Private Link ke titik akhir eksternal (seperti, Azure OpenAI). Dukungan untuk fungsionalitas ini dievaluasi dan diimplementasikan per wilayah. Hubungi tim akun Azure Databricks Anda untuk informasi selengkapnya.
• Penyajian Model tidak menyediakan patch keamanan untuk citra model yang sudah ada karena risiko destabilisasi pada penerapan produksi. Gambar model baru yang dibuat dari versi model baru akan berisi patch terbaru. Hubungi tim akun Databricks Anda untuk informasi selengkapnya.

Standar profil keamanan kepatuhan: Beban kerja CPU

Tabel berikut mencantumkan standar kepatuhan profil keamanan yang didukung untuk fungsi inti Model Serving pada beban kerja CPU.

Catatan

Standar kepatuhan ini mengharuskan kontainer yang dilayani dibangun dalam 30 hari terakhir. Databricks secara otomatis membangun kembali kontainer yang kedaluarsa atas nama Anda. Namun, jika pekerjaan otomatis ini gagal, pesan log peristiwa seperti berikut muncul dan memberikan panduan tentang cara memastikan titik akhir Anda tetap dalam persyaratan kepatuhan:

"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."

Wilayah	Lokasi	HIPAA	HITRUST	PCI-DSS	Program Penilaian dan Aksi Resiko (IRAP)	CCCS Sedang (Perlindungan B)	Cyber Essentials Plus Britania Raya
australiacentral	AustraliaCentral
australiacentral2	AustraliaCentral2
australiaeast	AustraliaEast	✓	✓	✓
australiasoutheast	Australia Tenggara
brazilsouth	Brasil Selatan	✓	✓	✓
canadacentral	KanadaCentral	✓	✓	✓
canadaeast	Kanada Timur
centralindia	CentralIndia	✓	✓	✓
centralus	Amerika Serikat Tengah	✓	✓	✓
chinaeast2	ChinaEast2
chinaeast3	ChinaEast3
chinanorth2	ChinaNorth2
chinanorth3	ChinaNorth3
eastasia	EastAsia	✓	✓	✓
eastus	EASTUS	✓	✓	✓
eastus2	EastUS2	✓	✓	✓
francecentral	FranceCentral	✓	✓	✓
germanywestcentral	Jerman Barat Tengah	✓	✓	✓
japaneast	JepangEast	✓	✓	✓
japanwest	JepangWest
koreacentral	KoreaCentral	✓	✓	✓
mexicocentral	MexicoCentral
northcentralus	NorthCentralUS	✓	✓	✓
northeurope	NorthEurope	✓	✓	✓
norwayeast	Norwegia Timur
qatarcentral	QatarCentral
southafricanorth	Afrika Selatan Utara
southcentralus	SouthCentralUS	✓	✓	✓
southeastasia	Asia Tenggara	✓	✓	✓
southindia	India Selatan
swedencentral	SwedenCentral	✓	✓	✓
switzerlandnorth	Swiss Utara	✓	✓	✓
switzerlandwest	SwissWest
uaenorth	UAENorth	✓	✓	✓
uksouth	UKSouth	✓	✓	✓			✓
ukwest	UKWest
westcentralus	WestCentralUS
westeurope	WestEurope	✓	✓	✓
westindia	WestIndia
westus	WestUS	✓	✓	✓
westus2	WestUS2	✓	✓	✓
westus3	WestUS3	✓	✓	✓

Batas API pada Model Dasar

Untuk informasi terperinci tentang API Model Foundation, termasuk batas sumber daya dan payload untuk fondasi dan model eksternal, lihat Batas tarif dan kuota API Model Foundation.

Ketersediaan wilayah

Catatan

Jika Anda memerlukan titik akhir di wilayah yang tidak didukung, hubungi tim akun Azure Databricks Anda.

Jika ruang kerja Anda disebarkan di wilayah yang mendukung penyajian model tetapi dilayani oleh sarana kontrol di wilayah yang tidak didukung, ruang kerja tidak mendukung penyajian model. Jika Anda mencoba menggunakan model serving di ruang kerja tersebut, akan muncul pesan kesalahan yang menyatakan bahwa ruang kerja Anda tidak didukung. Hubungi tim akun Azure Databricks Anda untuk informasi selengkapnya.

Untuk informasi selengkapnya tentang ketersediaan regional setiap fitur Model Serving, lihat Ketersediaan fitur penyajian model.

Untuk ketersediaan wilayah model fondasi yang di-host oleh Databricks, lihat Model fondasi yang di-host oleh Databricks.