Batas dan wilayah Layanan Model

Artikel ini merangkum batasan dan ketersediaan wilayah untuk Mosaic AI Model Serving dan jenis titik akhir yang didukung.

Batas sumber daya dan muatan data

Mosaic AI Model Serving memberlakukan batas default untuk memastikan performa yang andal. Jika Anda memiliki umpan balik tentang batas ini, hubungi tim akun Databricks Anda.

Tabel berikut ini meringkas batasan sumber daya dan payload untuk model yang melayani titik akhir.

Fitur	Granularitas	Batas
Ukuran payload	Per permintaan	16 MB. Untuk titik akhir yang melayani model fondasi , model eksternal, atau agen AI batasnya adalah 4 MB.
Ukuran permintaan/respons	Per permintaan	Setiap permintaan/respons lebih dari 1 MB tidak akan dicatat.
Kueri per detik (QPS)	Per ruang kerja	200. Untuk QPS yang lebih tinggi, aktifkan pengoptimalan rute.
Durasi pelaksanaan model	Per permintaan	297 detik
Penggunaan model memori titik akhir CPU	Per titik akhir	4GB
Penggunaan memori model titik akhir GPU	Per titik akhir	Lebih besar dari atau sama dengan memori GPU yang ditetapkan, tergantung pada ukuran beban kerja GPU
Konkurensi yang Ditetapkan	Menurut model dan menurut ruang kerja	200 keserentakan. Dapat ditingkatkan dengan menghubungi tim akun Anda di Databricks.
Latensi akibat overhead	Per permintaan	Kurang dari 50 milidetik
Skrip Inisialisasi		Skrip init tidak didukung.
Batas laju API Model Fondasi	Per ruang kerja	Lihat Batas tarif dan kuota API Model Foundation untuk informasi terperinci tentang batas bayar per token dan throughput yang disediakan.

Batasan jaringan dan keamanan

• Titik akhir penyajian model dilindungi oleh kontrol akses dan mematuhi aturan masuk terkait jaringan yang dikonfigurasi di ruang kerja, seperti daftar izin IP dan Private Link.
• Konektivitas privat (seperti Azure Private Link) hanya didukung untuk titik akhir penyajian model yang menggunakan throughput yang disediakan atau titik akhir yang melayani model kustom.
• Secara default, Model Serving tidak mendukung Private Link ke titik akhir eksternal (seperti, Azure OpenAI). Dukungan untuk fungsionalitas ini dievaluasi dan diimplementasikan per wilayah. Hubungi tim akun Azure Databricks Anda untuk informasi selengkapnya.
• Penyajian Model tidak menyediakan patch keamanan untuk citra model yang sudah ada karena risiko destabilisasi pada penerapan produksi. Gambar model baru yang dibuat dari versi model baru akan berisi patch terbaru. Hubungi tim akun Databricks Anda untuk informasi selengkapnya.

Standar profil keamanan kepatuhan: Beban kerja CPU

Tabel berikut mencantumkan standar kepatuhan profil keamanan yang didukung untuk fungsi inti Model Serving pada beban kerja CPU.

Catatan

Standar kepatuhan ini mengharuskan kontainer yang dilayani dibangun dalam 30 hari terakhir. Databricks secara otomatis membangun kembali kontainer yang kedaluarsa atas nama Anda. Namun, jika pekerjaan otomatis ini gagal, pesan log peristiwa seperti berikut muncul dan memberikan panduan tentang cara memastikan titik akhir Anda tetap dalam persyaratan kepatuhan:

"Databricks couldn't complete a scheduled compliance check for model $servedModelName. This can happen if the system can't apply a required update. To resolve, try relogging your model. If the issue persists, contact support@databricks.com."

Wilayah	Lokasi	HIPAA	HITRUST	PCI-DSS	Program Penilaian dan Aksi Resiko (IRAP)	CCCS Sedang (Perlindungan B)	Cyber Essentials Plus Britania Raya
australiacentral	AustraliaCentral
australiacentral2	AustraliaCentral2
australiaeast	AustraliaEast	✓	✓	✓
australiasoutheast	Australia Tenggara
brazilsouth	Brasil Selatan	✓	✓	✓
canadacentral	KanadaCentral	✓	✓	✓
canadaeast	Kanada Timur
centralindia	CentralIndia	✓	✓	✓
centralus	Amerika Serikat Tengah	✓	✓	✓
chinaeast2	ChinaEast2
chinaeast3	ChinaEast3
chinanorth2	ChinaNorth2
chinanorth3	ChinaNorth3
eastasia	EastAsia	✓	✓	✓
eastus	EASTUS	✓	✓	✓
eastus2	EastUS2	✓	✓	✓
francecentral	FranceCentral	✓	✓	✓
germanywestcentral	Jerman Barat Tengah	✓	✓	✓
japaneast	JepangEast	✓	✓	✓
japanwest	JepangWest
koreacentral	KoreaCentral	✓	✓	✓
mexicocentral	MexicoCentral
northcentralus	NorthCentralUS	✓	✓	✓
northeurope	NorthEurope	✓	✓	✓
norwayeast	Norwegia Timur
qatarcentral	QatarCentral
southafricanorth	Afrika Selatan Utara
southcentralus	SouthCentralUS	✓	✓	✓
southeastasia	Asia Tenggara	✓	✓	✓
southindia	India Selatan
swedencentral	SwedenCentral	✓	✓	✓
switzerlandnorth	Swiss Utara	✓	✓	✓
switzerlandwest	SwissWest
uaenorth	UAENorth	✓	✓	✓
uksouth	UKSouth	✓	✓	✓			✓
ukwest	UKWest
westcentralus	WestCentralUS
westeurope	WestEurope	✓	✓	✓
westindia	WestIndia
westus	WestUS	✓	✓	✓
westus2	WestUS2	✓	✓	✓
westus3	WestUS3	✓	✓	✓

Batas API pada Model Dasar

Untuk informasi mendetail tentang API Model Foundation, lihat:

• Batas tarif dan kuota: Batas tarif dan kuota API Model Foundation - Termasuk batas TPM, ketersediaan regional, dan pembatasan khusus model
• Kepatuhan dan keamanan: Kepatuhan dan keamanan API Model Foundation - Mencakup standar kepatuhan, pemrosesan data, dan persyaratan keamanan

Ketersediaan wilayah

Catatan

Jika Anda memerlukan titik akhir di wilayah yang tidak didukung, hubungi tim akun Azure Databricks Anda.

Jika ruang kerja Anda disebarkan di wilayah yang mendukung penyajian model tetapi dilayani oleh sarana kontrol di wilayah yang tidak didukung, ruang kerja tidak mendukung penyajian model. Jika Anda mencoba menggunakan model serving di ruang kerja tersebut, akan muncul pesan kesalahan yang menyatakan bahwa ruang kerja Anda tidak didukung. Hubungi tim akun Azure Databricks Anda untuk informasi selengkapnya.

Untuk informasi selengkapnya tentang ketersediaan regional setiap fitur Model Serving, lihat Ketersediaan fitur penyajian model.

Untuk ketersediaan wilayah model fondasi yang di-host oleh Databricks, lihat Model fondasi yang di-host oleh Databricks.