Mengelola dan meningkatkan kuota dan batasan untuk sumber daya dengan Azure Pembelajaran Mesin
Azure menggunakan kuota dan batasan untuk mencegah penimpaan anggaran karena penipuan, dan untuk menghormati batasan kapasitas Azure. Pertimbangkan batasan ini saat Anda menskalakan untuk beban kerja produksi. Dalam artikel ini, Anda mempelajari tentang:
- Batas default pada sumber daya Azure yang terkait dengan Azure Machine Learning.
- Membuat kuota tingkat ruang kerja.
- Melihat kuota dan batasan Anda.
- Meminta penambahan kuota.
Seiring dengan mengelola kuota dan batasan, Anda dapat mempelajari cara merencanakan dan mengelola biaya untuk Azure Pembelajaran Mesin atau mempelajari tentang batas layanan di Azure Pembelajaran Mesin.
Pertimbangan khusus
Kuota diterapkan ke setiap langganan di akun Anda. Jika Anda memiliki beberapa langganan, Anda harus meminta penambahan kuota untuk setiap langganan.
Kuota adalah batas kredit pada sumber daya Azure, bukan jaminan kapasitas. Jika Anda memiliki kebutuhan kapasitas berskala besar, hubungi dukungan Azure untuk meningkatkan kuota Anda.
Kuota dibagikan di semua layanan dalam langganan Anda, termasuk Azure Machine Learning. Hitung penggunaan di semua layanan saat Anda mengevaluasi kapasitas.
Catatan
Komputasi Azure Machine Learning adalah pengecualian. komputasi Ini memiliki kuota terpisah dari kuota komputasi inti.
Batas default bervariasi menurut jenis kategori penawaran, seperti uji coba gratis, bayar sesuai penggunaan, dan seri komputer virtual (VM) (seperti Dv2, F, dan G).
Kuota dan batas sumber daya default
Di bagian ini, Anda mempelajari tentang kuota dan batas default dan maksimum untuk sumber daya berikut:
- Aset Azure Machine Learning
- Komputasi Azure Pembelajaran Mesin (termasuk Spark tanpa server)
- Kuota bersama Azure Pembelajaran Mesin
- Titik akhir online Azure Pembelajaran Mesin (titik akhir terkelola dan Kubernetes) dan batch
- Alur Azure Machine Learning
- Integrasi Azure Pembelajaran Mesin dengan Synapse
- Mesin virtual
- Azure Container Instances
- Azure Storage
Penting
Batas dapat berubah. Untuk informasi terbaru, lihat Batas layanan di Azure Machine Learning.
Aset Azure Machine Learning
Batasan aset berikut berlaku berdasarkan per ruang kerja.
Sumber daya | Batas maksimum |
---|---|
Himpunan data | 10 juta |
Jalankan | 10 juta |
Model | 10 juta |
Komponen | 10 juta |
Artefak | 10 juta |
Selain itu, durasi maksimum adalah 30 hari dan jumlah maksimum metrik yang dicatat per eksekusi adalah 1 juta.
Komputasi Azure Machine Learning
Azure Pembelajaran Mesin Compute memiliki batas kuota default pada jumlah inti dan jumlah sumber daya komputasi unik yang diizinkan per wilayah dalam langganan.
Catatan
- Kuota pada jumlah inti dibagi oleh setiap Keluarga VM dan total inti kumulatif.
- Kuota jumlah sumber daya komputasi unik per wilayah terpisah dari kuota inti VM, karena hanya berlaku untuk sumber daya komputasi terkelola Azure Pembelajaran Mesin.
Untuk menaikkan batas item berikut, Minta penambahan kuota:
- Kuota inti keluarga VM. Untuk mempelajari selengkapnya tentang keluarga VM mana yang akan dimintai penambahan kuota, lihat ukuran komputer virtual di Azure. Misalnya, keluarga VM GPU dimulai dengan "N" dalam nama keluarga mereka (seperti seri NCv3).
- Total kuota inti langganan
- Kuota kluster
- Sumber daya lain di bagian ini
Sumber daya yang tersedia:
Inti khusus per wilayah memiliki batas default 24 hingga 300, tergantung pada jenis penawaran langganan Anda. Anda dapat meningkatkan jumlah inti khusus per langganan untuk setiap keluarga VM. Keluarga VM khusus seperti NCv2, NCv3, atau seri ND dimulai dengan default nol inti. GPU juga defaultnya nol inti.
Inti berprioritas rendah per wilayah memiliki batas default 100 hingga 3.000, tergantung pada jenis penawaran langganan Anda. Jumlah inti berprioritas rendah per langganan dapat ditingkatkan dan merupakan nilai tunggal di seluruh keluarga VM.
Total batas komputasi per wilayah memiliki batas default 500 per wilayah dalam langganan tertentu dan dapat ditingkatkan hingga nilai maksimum 2500 per wilayah. Batas ini dibagikan antara kluster pelatihan, instans komputasi, dan penyebaran titik akhir online terkelola. Instans komputasi dianggap sebagai kluster simpul tunggal untuk tujuan kuota.
Tabel berikut ini memperlihatkan lebih banyak batasan dalam platform. Hubungi tim produk Azure Pembelajaran Mesin melalui tiket dukungan teknis untuk meminta pengecualian.
Sumber daya atau Tindakan | Batas maksimum |
---|---|
Ruang kerja per grup sumber daya | 800 |
Simpul dalam satu kluster komputasi azure Pembelajaran Mesin (AmlCompute) disiapkan sebagai kumpulan yang tidak mendukung komunikasi (yaitu, tidak dapat menjalankan pekerjaan MPI) | 100 simpul tetapi dapat dikonfigurasi hingga 65.000 simpul |
Simpul dalam satu Langkah Eksekusi Paralel berjalan pada kluster komputasi Azure Pembelajaran Mesin (AmlCompute) | 100 simpul tetapi dapat dikonfigurasi hingga 65.000 simpul jika kluster Anda disiapkan untuk menskalakan seperti yang disebutkan sebelumnya |
Simpul dalam satu kluster komputasi azure Pembelajaran Mesin (AmlCompute) disiapkan sebagai kumpulan yang mendukung komunikasi | 300 simpul tetapi dapat dikonfigurasi hingga 4.000 simpul |
Simpul dalam satu kluster komputasi azure Pembelajaran Mesin (AmlCompute) disiapkan sebagai kumpulan yang mendukung komunikasi pada Keluarga VM yang diaktifkan RDMA | 100 simpul |
Simpul dalam satu MPI berjalan pada kluster komputasi Azure Pembelajaran Mesin (AmlCompute) | 100 simpul |
Masa pakai pekerjaan | 21 hari1 |
Masa pakai pekerjaan pada simpul berprioritas rendah | 7 hari2 |
Server parameter per simpul | 1 |
1 Masa pakai maksimum adalah durasi antara saat pekerjaan dimulai dan saat pekerjaan selesai. Pekerjaan yang selesai bertahan tanpa batas waktu. Data untuk pekerjaan yang tidak selesai dalam masa pakai maksimum tidak dapat diakses.
2 Pekerjaan pada simpul berprioritas rendah dapat didahulukan setiap kali ada kendala kapasitas. Kami menyarankan agar Anda menerapkan titik pemeriksaan dalam pekerjaan Anda.
Kuota bersama Azure Pembelajaran Mesin
Azure Pembelajaran Mesin menyediakan kumpulan kuota bersama tempat pengguna di berbagai wilayah dapat mengakses kuota untuk melakukan pengujian dalam jumlah waktu terbatas, tergantung ketersediaan. Durasi waktu tertentu tergantung pada kasus penggunaan. Dengan menggunakan kuota untuk sementara waktu dari kumpulan kuota, Anda tidak perlu lagi mengajukan tiket dukungan untuk penambahan kuota jangka pendek atau menunggu permintaan kuota Anda disetujui sebelum Anda dapat melanjutkan beban kerja Anda.
Penggunaan kumpulan kuota bersama tersedia untuk menjalankan pekerjaan Spark dan untuk menguji inferensi untuk model Llama-2, Phi, Nemotron, Mistral, Dolly, dan Deci-DeciLM dari Katalog Model untuk waktu yang singkat. Sebelum dapat menyebarkan model ini melalui kuota bersama, Anda harus memiliki langganan Perjanjian Enterprise. Untuk informasi selengkapnya tentang cara menggunakan kuota bersama untuk penyebaran titik akhir online, lihat Cara menyebarkan model fondasi menggunakan studio.
Anda harus menggunakan kuota bersama hanya untuk membuat titik akhir pengujian sementara, bukan titik akhir produksi. Untuk titik akhir dalam produksi, Anda harus meminta kuota khusus dengan mengajukan tiket dukungan. Penagihan untuk kuota bersama berbasis penggunaan, sama seperti penagihan untuk keluarga komputer virtual khusus. Untuk menolak kuota bersama untuk pekerjaan Spark, isi formulir penolakan alokasi kapasitas bersama Pembelajaran Mesin Azure.
Titik akhir online dan titik akhir batch Azure Pembelajaran Mesin
Titik akhir online azure Pembelajaran Mesin dan titik akhir batch memiliki batas sumber daya yang dijelaskan dalam tabel berikut.
Penting
Batas ini bersifat regional, yang berarti Anda dapat menggunakan hingga batas ini per setiap wilayah yang Anda gunakan. Misalnya, jika batas anda saat ini untuk jumlah titik akhir per langganan adalah 100, Anda dapat membuat 100 titik akhir di wilayah US Timur, 100 titik akhir di wilayah US Barat, dan 100 titik akhir di masing-masing wilayah lain yang didukung dalam satu langganan. Prinsip yang sama berlaku untuk semua batas lainnya.
Untuk menentukan penggunaan titik akhir saat ini, lihat metrik.
Untuk meminta pengecualian dari tim produk Azure Pembelajaran Mesin, gunakan langkah-langkah dalam peningkatan batas Titik akhir.
Sumber daya | Batas 1 | Mengizinkan pengecualian | Berlaku untuk |
---|---|---|---|
Nama titik akhir 2 | Nama titik akhir harus |
- | Semua jenis titik akhir 3 |
Nama penyebaran | Nama penyebaran harus |
- | Semua jenis titik akhir 3 |
Jumlah titik akhir per langganan | 100 | Ya | Semua jenis titik akhir 3 |
Jumlah titik akhir per kluster | 60 | - | Titik akhir online Kubernetes |
Jumlah penyebaran per langganan | 500 | Ya | Semua jenis titik akhir 3 |
Jumlah penyebaran per titik akhir | 20 | Ya | Semua jenis titik akhir 3 |
Jumlah penyebaran per kluster | 100 | - | Titik akhir online Kubernetes |
Jumlah instans per penyebaran | 50 4 | Ya | Titik akhir online terkelola |
Batas waktu permintaan maksimum pada tingkat titik akhir | 180 detik | - | Titik akhir online terkelola |
Batas waktu permintaan maksimum pada tingkat titik akhir | 300 detik | - | Titik akhir online Kubernetes |
Total permintaan per detik pada tingkat titik akhir untuk semua penyebaran | 500 5 | Ya | Titik akhir online terkelola |
Total koneksi per detik pada tingkat titik akhir untuk semua penyebaran | 500 5 | Ya | Titik akhir online terkelola |
Total koneksi aktif di tingkat titik akhir untuk semua penyebaran | 500 5 | Ya | Titik akhir online terkelola |
Total bandwidth pada tingkat titik akhir untuk semua penyebaran | 5 MBPS 5 | Ya | Titik akhir online terkelola |
1 Ini adalah batas regional. Misalnya, jika batas jumlah titik akhir saat ini adalah 100, Anda dapat membuat 100 titik akhir di wilayah US Timur, 100 titik akhir di wilayah US Barat, dan 100 titik akhir di masing-masing wilayah lain yang didukung dalam satu langganan. Prinsip yang sama berlaku untuk semua batas lainnya.
2 Tanda hubung tunggal seperti, my-endpoint-name
, diterima dalam nama titik akhir dan penyebaran.
3 Titik akhir dan penyebaran dapat dari berbagai jenis, tetapi batasan berlaku untuk jumlah semua jenis. Misalnya, jumlah titik akhir online terkelola, titik akhir online Kubernetes, dan titik akhir batch di bawah setiap langganan tidak boleh melebihi 100 per wilayah secara default. Demikian pula, jumlah penyebaran online terkelola, penyebaran online Kubernetes, dan penyebaran batch di bawah setiap langganan tidak boleh melebihi 500 per wilayah secara default.
4 Kami memesan 20% sumber daya komputasi tambahan untuk melakukan peningkatan. Misalnya, jika meminta 10 instans dalam penyebaran, Anda harus memiliki kuota untuk 12. Jika tidak, Anda menerima kesalahan. Ada beberapa SKU VM yang dikecualikan dari kuota tambahan. Untuk informasi selengkapnya tentang alokasi kuota, lihat alokasi kuota komputer virtual untuk penyebaran.
5 Permintaan per detik, koneksi, bandwidth, dll terkait. Jika Anda meminta untuk meningkatkan salah satu batas ini, pastikan Anda memperkirakan/menghitung batas terkait lainnya bersama-sama.
Alokasi kuota komputer virtual untuk penyebaran
Untuk titik akhir online terkelola, Azure Pembelajaran Mesin mencadangkan 20% sumber daya komputasi Anda untuk melakukan peningkatan pada beberapa SKU VM. Jika Anda meminta sejumlah instans tertentu untuk SKU VM tersebut dalam penyebaran, Anda harus memiliki kuota yang ceil(1.2 * number of instances requested for deployment) * number of cores for the VM SKU
tersedia untuk menghindari kesalahan. Misalnya, jika Anda meminta 10 instans VM Standard_DS3_v2 (yang dilengkapi dengan empat core) dalam penyebaran, Anda harus memiliki kuota untuk 48 core (12 instances * 4 cores
) yang tersedia. Kuota tambahan ini dicadangkan untuk operasi yang dimulai sistem seperti peningkatan OS dan pemulihan VM, dan tidak akan dikenakan biaya kecuali operasi tersebut berjalan.
Ada SKU VM tertentu yang dikecualikan dari reservasi kuota tambahan. Untuk melihat daftar lengkap, lihat Daftar SKU titik akhir online terkelola. Untuk melihat peningkatan penggunaan dan permintaan kuota Anda, lihat Melihat penggunaan dan kuota Anda di portal Azure. Untuk melihat biaya Anda menjalankan titik akhir online terkelola, lihat Menampilkan biaya untuk titik akhir online terkelola.
Alur Azure Machine Learning
Alur Azure Machine Learning memiliki batas berikut.
Sumber daya | Batas |
---|---|
Langkah-langkah dalam alur | 30.000 |
Ruang kerja per grup sumber daya | 800 |
Integrasi Azure Pembelajaran Mesin dengan Synapse
Azure Pembelajaran Mesin Spark tanpa server menyediakan akses mudah ke kemampuan komputasi terdistribusi untuk menskalakan pekerjaan Apache Spark. Spark tanpa server menggunakan kuota khusus yang sama dengan Azure Pembelajaran Mesin Compute. Batas kuota dapat ditingkatkan dengan mengirimkan tiket dukungan dan meminta penambahan kuota dan batas untuk seri ESv3 di bawah kategori "layanan Pembelajaran Mesin: Kuota Komputer Virtual".
Untuk melihat penggunaan kuota, navigasikan ke studio Pembelajaran Mesin dan pilih nama langganan yang ingin Anda lihat penggunaannya. Pilih "Kuota" di panel kiri.
Mesin virtual
Setiap langganan Azure memiliki batasan jumlah komputer virtual di semua layanan. Inti komputer virtual memiliki batas total wilayah dan batas wilayahl per seri ukuran. Kedua batas diberlakukan secara terpisah.
Misalnya, pertimbangkan langganan dengan batas inti VM total US Timur 30, batas inti seri A 30, dan batas inti seri D 30. Langganan ini akan diizinkan untuk menyebarkan 30 VM A1, atau 30 VM D1, atau kombinasi dari keduanya yang tidak melebihi total 30 core.
Anda tidak dapat menaikkan batas untuk komputer virtual di atas nilai yang diperlihatkan dalam tabel berikut.
Sumber daya | Batasan |
---|---|
Langganan Azure yang terkait dengan penyewa Microsoft Entra | Tidak Terbatas |
Koadministrator per langganan | Tidak Terbatas |
Grup sumber daya per langganan | 980 |
Ukuran permintaan API Azure Resource Manager | 4.194.304 byte |
Tag per langganan1 | 50 |
Penghitungan tag unik per langganan2 | 80.000 |
Penerapan tingkat langganan per lokasi | 8003 |
Lokasi Penyebaran tingkat langganan | 10 |
1Anda dapat menerapkan hingga 50 tag langsung ke langganan. Dalam langganan, setiap sumber daya atau grup sumber daya juga dibatasi hingga 50 tag. Namun, langganan dapat berisi sejumlah tag yang tidak terbatas yang tersebar di seluruh sumber daya dan grup sumber daya.
2Resource Manager menampilkan daftar nama dan nilai tag dalam langganan hanya bila jumlah tag unik adalah 80.000 atau kurang dari itu. Tag unik ditentukan oleh kombinasi ID sumber daya, nama tag, dan nilai tag. Misalnya, dua sumber daya dengan nama dan nilai tag yang sama akan dihitung sebagai dua tag unik. Anda masih dapat menemukan sumber daya dengan tag ketika jumlahnya melebihi 80.000.
3Penyebaran otomatis dihapus dari riwayat saat Anda mendekati batas. Untuk informasi lebih lanjut, lihat Penghapusan otomatis dari riwayat penyebaran.
Container Instances
Untuk informasi selengkapnya, lihat Batas Container Instances.
Penyimpanan
Azure Storage memiliki batas 250 akun penyimpanan per wilayah, per langganan. Batas ini mencakup akun penyimpanan Standar dan Premium.
Kuota tingkat ruang kerja
Gunakan kuota tingkat ruang kerja untuk mengelola alokasi target komputasi Azure Machine Learning di antara beberapa ruang kerja dalam langganan yang sama.
Secara default, semua ruang kerja memiliki kuota yang sama dengan kuota tingkat langganan untuk keluarga VM. Namun, Anda dapat menetapkan kuota maksimum untuk keluarga VM individual di ruang kerja yang berlangganan. Kuota untuk keluarga VM individual memungkinkan Anda berbagi kapasitas dan menghindari masalah ketidakcocokan sumber daya.
- Anda bisa menggunakan ruang kerja apa pun di langganan Anda.
- Di panel kiri, pilih Penggunaan + kuota.
- Pilih tab Konfigurasi kuota untuk melihat kuota.
- Luaskan keluarga VM.
- Tetapkan batas kuota pada ruang kerja apa pun yang tercantum di bawah keluarga VM tersebut.
Anda tidak dapat menetapkan nilai negatif atau nilai yang lebih tinggi dari kuota tingkat langganan.
Catatan
Anda memerlukan izin tingkat langganan untuk menetapkan kuota di tingkat ruang kerja.
Melihat kuota di studio
Saat Anda membuat sumber daya komputasi baru, secara default Anda hanya melihat ukuran VM yang sudah memiliki kuota untuk digunakan. Alihkan tampilan ke Pilih dari semua opsi.
Gulir ke bawah hingga Anda melihat daftar ukuran VM yang tidak anda miliki kuotanya.
Gunakan tautan untuk langsung masuk ke permintaan bantuan pelanggan online untuk mendapatkan lebih banyak kuota.
Lihat penggunaan dan kuota Anda di portal Azure
Untuk melihat kuota Anda di berbagai sumber daya Azure seperti mesin virtual, penyimpanan, atau jaringan, gunakan portal Azure:
Di panel kiri, pilih Semua layanan lalu pilih Langganan di bawah kategori Umum.
Dari daftar langganan, pilih langganan yang kuotanya Anda cari.
Pilih Penggunaan + kuota untuk melihat batas kuota dan penggunaan Anda saat ini. Gunakan filter untuk memilih penyedia dan lokasi.
Anda mengelola kuota komputasi Azure Machine Learning pada langganan Anda secara terpisah dari kuota Azure lainnya:
Dari portal Microsoft Azure, buka ruang kerja Azure Machine Learning Anda.
Di panel kiri, di bagian Dukungan + pemecahan masalah, pilih Penggunaan + kuota untuk melihat batas kuota dan penggunaan Anda saat ini.
Pilih langganan untuk melihat batas kuota. Memfilter ke wilayah yang Anda minati.
Anda bisa beralih antara tampilan tingkat langganan dan tampilan tingkat ruang kerja.
Permintaan penambahan kuota dan batas
Peningkatan kuota VM adalah meningkatkan jumlah inti per keluarga VM per wilayah. Peningkatan batas titik akhir adalah meningkatkan batas khusus titik akhir per langganan per wilayah. Pastikan untuk memilih kategori yang tepat saat Anda mengirimkan permintaan penambahan kuota, seperti yang dijelaskan di bagian berikutnya.
Kuota VM meningkat
Untuk menaikkan batas kuota Azure Pembelajaran Mesin VM di atas batas default, Anda dapat meminta penambahan kuota dari tampilan Penggunaan + kuota di atas atau mengirimkan permintaan peningkatan kuota dari studio Azure Pembelajaran Mesin.
Navigasi ke halaman Penggunaan + kuota dengan mengikuti instruksi di atas. Lihat batas kuota saat ini. Pilih SKU yang ingin Anda minta untuk dinaikkan.
Berikan kuota yang ingin Anda tingkatkan dan nilai batas baru. Terakhir, pilih Kirim untuk melanjutkan.
Batas titik akhir meningkat
Untuk menaikkan batas titik akhir, buka permintaan dukungan pelanggan online. Saat meminta peningkatan batas titik akhir, berikan informasi berikut:
Saat membuka permintaan dukungan, pilih Batas layanan dan langganan (kuota) sebagai Jenis masalah.
Pilih langganan pilihan Anda.
Pilih Layanan Pembelajaran Mesin: Batas Titik Akhir sebagai Jenis kuota.
Pada tab Detail tambahan, Anda perlu memberikan alasan terperinci untuk peningkatan batas agar permintaan Anda diproses. Pilih Masukkan detail lalu berikan batas yang ingin Anda tingkatkan dan nilai baru untuk setiap batas, alasan permintaan peningkatan batas, dan lokasi tempat Anda memerlukan peningkatan batas. Pastikan untuk menambahkan informasi berikut ke dalam alasan peningkatan batas:
- Deskripsi skenario dan beban kerja Anda (seperti teks, gambar, dan sebagainya).
- Alasan untuk peningkatan yang diminta.
- Berikan throughput target dan polanya (QPS rata-rata/puncak, pengguna bersamaan).
- Berikan latensi target dalam skala besar dan latensi saat ini yang Anda amati dengan satu instans.
- Berikan SKU VM dan jumlah instans secara total untuk mendukung throughput dan latensi target. Berikan berapa banyak titik akhir/penyebaran/instans yang Anda rencanakan untuk digunakan di setiap wilayah.
- Konfirmasikan apakah Anda memiliki pengujian tolok ukur yang menunjukkan SKU VM yang dipilih dan jumlah instans yang akan memenuhi persyaratan throughput dan latensi Anda.
- Berikan jenis payload dan ukuran payload tunggal. Bandwidth jaringan harus selaras dengan ukuran payload dan permintaan per detik.
- Berikan rencana waktu yang direncanakan (pada saat Anda memerlukan peningkatan batas - berikan rencana bertahap jika memungkinkan) dan konfirmasi apakah (1) biaya menjalankannya pada skala tersebut tercermin dalam anggaran Anda dan (2) SKU VM target disetujui.
Terakhir, pilih Simpan dan lanjutkan untuk melanjutkan.
Catatan
Permintaan peningkatan batas titik akhir ini berbeda dari permintaan peningkatan kuota VM. Jika permintaan Anda terkait dengan peningkatan kuota VM, ikuti instruksi di bagian peningkatan kuota VM.
Peningkatan batas komputasi
Untuk meningkatkan total batas komputasi, buka permintaan dukungan pelanggan online. Berikan informasi berikut:
Saat membuka permintaan dukungan, pilih Teknis sebagai Jenis masalah.
Pilih langganan pilihan Anda
Pilih Pembelajaran Mesin sebagai Layanan.
Pilih sumber daya pilihan Anda
Dalam ringkasan, sebutkan "Tingkatkan total batas komputasi"
Pilih Kluster Komputasi sebagai Jenis masalah dan Kluster tidak meningkatkan skala atau terjebak dalam mengubah ukuran sebagai subjenis Masalah.
Pada tab Detail tambahan, berikan ID langganan, wilayah, batas baru (antara 500 dan 2500) dan justifikasi bisnis jika Anda ingin meningkatkan total batas komputasi di wilayah ini.
Terakhir, pilih Buat untuk membuat tiket permintaan dukungan.