Mengelola dan meningkatkan kuota dan batasan untuk sumber daya dengan Azure Pembelajaran Mesin

  • Artikel

Azure menggunakan kuota dan batasan untuk mencegah penimpaan anggaran karena penipuan, dan untuk menghormati batasan kapasitas Azure. Pertimbangkan batasan ini saat Anda menskalakan untuk beban kerja produksi. Dalam artikel ini, Anda mempelajari tentang:

  • Batas default pada sumber daya Azure yang terkait dengan Azure Machine Learning.
  • Membuat kuota tingkat ruang kerja.
  • Melihat kuota dan batasan Anda.
  • Meminta penambahan kuota.

Seiring dengan mengelola kuota dan batasan, Anda dapat mempelajari cara merencanakan dan mengelola biaya untuk Azure Pembelajaran Mesin atau mempelajari tentang batas layanan di Azure Pembelajaran Mesin.

Pertimbangan khusus

  • Kuota diterapkan ke setiap langganan di akun Anda. Jika Anda memiliki beberapa langganan, Anda harus meminta penambahan kuota untuk setiap langganan.

  • Kuota adalah batas kredit pada sumber daya Azure, bukan jaminan kapasitas. Jika Anda memiliki kebutuhan kapasitas berskala besar, hubungi dukungan Azure untuk meningkatkan kuota Anda.

  • Kuota dibagikan di semua layanan dalam langganan Anda, termasuk Azure Machine Learning. Hitung penggunaan di semua layanan saat Anda mengevaluasi kapasitas.

    Catatan

    Komputasi Azure Machine Learning adalah pengecualian. komputasi Ini memiliki kuota terpisah dari kuota komputasi inti.

  • Batas default bervariasi menurut jenis kategori penawaran, seperti uji coba gratis, bayar sesuai penggunaan, dan seri komputer virtual (VM) (seperti Dv2, F, dan G).

Kuota dan batas sumber daya default

Di bagian ini, Anda mempelajari tentang kuota dan batas default dan maksimum untuk sumber daya berikut:

  • Aset Azure Machine Learning
  • Komputasi Azure Pembelajaran Mesin (termasuk Spark tanpa server)
  • Kuota bersama Azure Pembelajaran Mesin
  • Titik akhir online Azure Pembelajaran Mesin (titik akhir terkelola dan Kubernetes) dan batch
  • Alur Azure Machine Learning
  • Integrasi Azure Pembelajaran Mesin dengan Synapse
  • Mesin virtual
  • Azure Container Instances
  • Azure Storage

Penting

Batas dapat berubah. Untuk informasi terbaru, lihat Batas layanan di Azure Machine Learning.

Aset Azure Machine Learning

Batasan aset berikut berlaku berdasarkan per ruang kerja.

Sumber daya Batas maksimum
Himpunan data 10 juta
Jalankan 10 juta
Model 10 juta
Komponen 10 juta
Artefak 10 juta

Selain itu, durasi maksimum adalah 30 hari dan jumlah maksimum metrik yang dicatat per eksekusi adalah 1 juta.

Komputasi Azure Machine Learning

Azure Pembelajaran Mesin Compute memiliki batas kuota default pada jumlah inti dan jumlah sumber daya komputasi unik yang diizinkan per wilayah dalam langganan.

Catatan

  • Kuota pada jumlah inti dibagi oleh setiap Keluarga VM dan total inti kumulatif.
  • Kuota jumlah sumber daya komputasi unik per wilayah terpisah dari kuota inti VM, karena hanya berlaku untuk sumber daya komputasi terkelola Azure Pembelajaran Mesin.

Untuk menaikkan batas item berikut, Minta penambahan kuota:

  • Kuota inti keluarga VM. Untuk mempelajari selengkapnya tentang keluarga VM mana yang akan dimintai penambahan kuota, lihat ukuran komputer virtual di Azure. Misalnya, keluarga VM GPU dimulai dengan "N" dalam nama keluarga mereka (seperti seri NCv3).
  • Total kuota inti langganan
  • Kuota kluster
  • Sumber daya lain di bagian ini

Sumber daya yang tersedia:

  • Inti khusus per wilayah memiliki batas default 24 hingga 300, tergantung pada jenis penawaran langganan Anda. Anda dapat meningkatkan jumlah inti khusus per langganan untuk setiap keluarga VM. Keluarga VM khusus seperti NCv2, NCv3, atau seri ND dimulai dengan default nol inti. GPU juga defaultnya nol inti.

  • Inti berprioritas rendah per wilayah memiliki batas default 100 hingga 3.000, tergantung pada jenis penawaran langganan Anda. Jumlah inti berprioritas rendah per langganan dapat ditingkatkan dan merupakan nilai tunggal di seluruh keluarga VM.

  • Total batas komputasi per wilayah memiliki batas default 500 per wilayah dalam langganan tertentu dan dapat ditingkatkan hingga nilai maksimum 2500 per wilayah. Batas ini dibagikan antara kluster pelatihan, instans komputasi, dan penyebaran titik akhir online terkelola. Instans komputasi dianggap sebagai kluster simpul tunggal untuk tujuan kuota.

Tabel berikut ini memperlihatkan lebih banyak batasan dalam platform. Hubungi tim produk Azure Pembelajaran Mesin melalui tiket dukungan teknis untuk meminta pengecualian.

Sumber daya atau Tindakan Batas maksimum
Ruang kerja per grup sumber daya 800
Simpul dalam satu kluster komputasi azure Pembelajaran Mesin (AmlCompute) disiapkan sebagai kumpulan yang tidak mendukung komunikasi (yaitu, tidak dapat menjalankan pekerjaan MPI) 100 simpul tetapi dapat dikonfigurasi hingga 65.000 simpul
Simpul dalam satu Langkah Eksekusi Paralel berjalan pada kluster komputasi Azure Pembelajaran Mesin (AmlCompute) 100 simpul tetapi dapat dikonfigurasi hingga 65.000 simpul jika kluster Anda disiapkan untuk menskalakan seperti yang disebutkan sebelumnya
Simpul dalam satu kluster komputasi azure Pembelajaran Mesin (AmlCompute) disiapkan sebagai kumpulan yang mendukung komunikasi 300 simpul tetapi dapat dikonfigurasi hingga 4.000 simpul
Simpul dalam satu kluster komputasi azure Pembelajaran Mesin (AmlCompute) disiapkan sebagai kumpulan yang mendukung komunikasi pada Keluarga VM yang diaktifkan RDMA 100 simpul
Simpul dalam satu MPI berjalan pada kluster komputasi Azure Pembelajaran Mesin (AmlCompute) 100 simpul
Masa pakai pekerjaan 21 hari1
Masa pakai pekerjaan pada simpul berprioritas rendah 7 hari2
Server parameter per simpul 1

1 Masa pakai maksimum adalah durasi antara saat pekerjaan dimulai dan saat pekerjaan selesai. Pekerjaan yang selesai bertahan tanpa batas waktu. Data untuk pekerjaan yang tidak selesai dalam masa pakai maksimum tidak dapat diakses.

2 Pekerjaan pada simpul berprioritas rendah dapat didahulukan setiap kali ada kendala kapasitas. Kami menyarankan agar Anda menerapkan titik pemeriksaan dalam pekerjaan Anda.

Kuota bersama Azure Pembelajaran Mesin

Azure Pembelajaran Mesin menyediakan kumpulan kuota bersama yang tersedia untuk pengguna yang berbeda di berbagai wilayah untuk digunakan secara bersamaan. Bergantung pada ketersediaan, pengguna dapat mengakses kuota untuk sementara waktu dari kumpulan bersama, dan menggunakan kuota untuk melakukan pengujian untuk waktu yang terbatas. Durasi waktu tertentu tergantung pada kasus penggunaan. Dengan menggunakan kuota untuk sementara waktu dari kumpulan kuota, Anda tidak perlu lagi mengajukan tiket dukungan untuk penambahan kuota jangka pendek atau menunggu permintaan kuota Anda disetujui sebelum Anda dapat melanjutkan beban kerja Anda.

Penggunaan kumpulan kuota bersama tersedia untuk menjalankan pekerjaan Spark dan untuk menguji inferensi untuk model Llama-2, Phi, Nemotron, Mistral, Dolly, dan Deci-DeciLM dari Katalog Model. Anda harus menggunakan kuota bersama hanya untuk membuat titik akhir pengujian sementara, bukan titik akhir produksi. Untuk titik akhir dalam produksi, Anda harus meminta kuota khusus dengan mengajukan tiket dukungan. Penagihan untuk kuota bersama berbasis penggunaan, sama seperti penagihan untuk keluarga komputer virtual khusus. Untuk menolak kuota bersama untuk pekerjaan Spark, isi formulir ini .

Titik akhir online dan titik akhir batch Azure Pembelajaran Mesin

Titik akhir online azure Pembelajaran Mesin dan titik akhir batch memiliki batas sumber daya yang dijelaskan dalam tabel berikut.

Penting

Batas ini bersifat regional, yang berarti Anda dapat menggunakan hingga batas ini per setiap wilayah yang Anda gunakan. Misalnya, jika batas anda saat ini untuk jumlah titik akhir per langganan adalah 100, Anda dapat membuat 100 titik akhir di wilayah US Timur, 100 titik akhir di wilayah US Barat, dan 100 titik akhir di masing-masing wilayah lain yang didukung dalam satu langganan. Prinsip yang sama berlaku untuk semua batas lainnya.

Untuk menentukan penggunaan titik akhir saat ini, lihat metrik.

Untuk meminta pengecualian dari tim produk Azure Pembelajaran Mesin, gunakan langkah-langkah dalam peningkatan batas Titik akhir.

Sumber daya   Batas 1                                                 Mengizinkan pengecualian Berlaku untuk
Nama titik akhir 2 Nama titik akhir harus
  • Dimulai dengan huruf
  • Panjangnya 3-32 karakter
  • Hanya terdiri dari huruf dan angka 2
  • Untuk titik akhir Kubernetes, nama titik akhir ditambah nama penyebaran harus 3-62 karakter dengan panjang total
    		•  - Semua jenis titik akhir 3
    Nama penyebaran Nama penyebaran harus
  • Dimulai dengan huruf
  • Panjangnya 3-32 karakter
  • Hanya terdiri dari huruf dan angka 2
  • Untuk titik akhir Kubernetes, nama titik akhir ditambah nama penyebaran harus 3-62 karakter dengan panjang total
    		•  - Semua jenis titik akhir 3
    Jumlah titik akhir per langganan 100 Ya Semua jenis titik akhir 3
    Jumlah titik akhir per kluster 60 - Titik akhir online Kubernetes
    Jumlah penyebaran per langganan 500 Ya Semua jenis titik akhir 3
    Jumlah penyebaran per titik akhir 20 Ya Semua jenis titik akhir 3
    Jumlah penyebaran per kluster 100 - Titik akhir online Kubernetes
    Jumlah instans per penyebaran 50 4 Ya Titik akhir online terkelola
    Batas waktu permintaan maksimum pada tingkat titik akhir 180 detik - Titik akhir online terkelola
    Batas waktu permintaan maksimum pada tingkat titik akhir 300 detik - Titik akhir online Kubernetes
    Total permintaan per detik pada tingkat titik akhir untuk semua penyebaran 500 5 Ya Titik akhir online terkelola
    Total koneksi per detik pada tingkat titik akhir untuk semua penyebaran 500 5 Ya Titik akhir online terkelola
    Total koneksi aktif di tingkat titik akhir untuk semua penyebaran 500 5 Ya Titik akhir online terkelola
    Total bandwidth pada tingkat titik akhir untuk semua penyebaran 5 MBPS 5 Ya Titik akhir online terkelola

    1 Ini adalah batas regional. Misalnya, jika batas jumlah titik akhir saat ini adalah 100, Anda dapat membuat 100 titik akhir di wilayah US Timur, 100 titik akhir di wilayah US Barat, dan 100 titik akhir di masing-masing wilayah lain yang didukung dalam satu langganan. Prinsip yang sama berlaku untuk semua batas lainnya.

    2 Tanda hubung tunggal seperti, my-endpoint-name, diterima dalam nama titik akhir dan penyebaran.

    3 Titik akhir dan penyebaran dapat dari berbagai jenis, tetapi batasan berlaku untuk jumlah semua jenis. Misalnya, jumlah titik akhir online terkelola, titik akhir online Kubernetes, dan titik akhir batch di bawah setiap langganan tidak boleh melebihi 100 per wilayah secara default. Demikian pula, jumlah penyebaran online terkelola, penyebaran online Kubernetes dan penyebaran batch di bawah setiap langganan tidak boleh melebihi 500 per wilayah secara default.

    4 Kami memesan 20% sumber daya komputasi tambahan untuk melakukan peningkatan. Misalnya, jika meminta 10 instans dalam penyebaran, Anda harus memiliki kuota untuk 12. Jika tidak, Anda menerima kesalahan. Ada beberapa SKU VM yang dikecualikan dari kuota tambahan. Lihat alokasi kuota komputer virtual untuk penyebaran untuk informasi selengkapnya.

    5 Permintaan per detik, koneksi, bandwidth, dll terkait. Jika Anda meminta peningkatan untuk salah satu batas ini, pastikan memperkirakan/menghitung batas terkait lainnya bersama-sama.

    Alur Azure Machine Learning

    Alur Azure Machine Learning memiliki batas berikut.

    Sumber daya Batas
    Langkah-langkah dalam alur 30.000
    Ruang kerja per grup sumber daya 800

    Jadwal pekerjaan Azure Pembelajaran Mesin

    Jadwal pekerjaan Azure Pembelajaran Mesin memiliki batas berikut.

    Sumber daya Batas
    Jadwal per wilayah 100

    Integrasi Azure Pembelajaran Mesin dengan Synapse

    Azure Pembelajaran Mesin Spark tanpa server menyediakan akses mudah ke kemampuan komputasi terdistribusi untuk menskalakan pekerjaan Apache Spark. Spark tanpa server menggunakan kuota khusus yang sama dengan Azure Pembelajaran Mesin Compute. Batas kuota dapat ditingkatkan dengan mengirimkan tiket dukungan dan meminta penambahan kuota dan batas untuk seri ESv3 di bawah kategori "layanan Pembelajaran Mesin: Kuota Komputer Virtual".

    Untuk melihat penggunaan kuota, navigasikan ke studio Pembelajaran Mesin dan pilih nama langganan yang ingin Anda lihat penggunaannya. Pilih "Kuota" di panel kiri.

    Cuplikan layar kuota Azure Pembelajaran Mesin.

    Mesin virtual

    Setiap langganan Azure memiliki batasan jumlah komputer virtual di semua layanan. Inti komputer virtual memiliki batas total wilayah dan batas wilayahl per seri ukuran. Kedua batas diberlakukan secara terpisah.

    Misalnya, pertimbangkan langganan dengan batas inti VM total US Timur 30, batas inti seri A 30, dan batas inti seri D 30. Langganan ini akan diizinkan untuk menyebarkan 30 VM A1, atau 30 VM D1, atau kombinasi dari keduanya yang tidak melebihi total 30 core.

    Anda tidak dapat menaikkan batas untuk komputer virtual di atas nilai yang diperlihatkan dalam tabel berikut.

    Sumber daya Batasan
    Langganan Azure yang terkait dengan penyewa Microsoft Entra Tidak Terbatas
    Koadministrator per langganan Tidak Terbatas
    Grup sumber daya per langganan 980
    Ukuran permintaan API Azure Resource Manager 4.194.304 byte
    Tag per langganan1 50
    Penghitungan tag unik per langganan2 80.000
    Penerapan tingkat langganan per lokasi 8003
    Lokasi Penyebaran tingkat langganan 10

    1Anda dapat menerapkan hingga 50 tag langsung ke langganan. Dalam langganan, setiap sumber daya atau grup sumber daya juga dibatasi hingga 50 tag. Namun, langganan dapat berisi sejumlah tag yang tidak terbatas yang tersebar di seluruh sumber daya dan grup sumber daya.

    2Resource Manager menampilkan daftar nama dan nilai tag dalam langganan hanya bila jumlah tag unik adalah 80.000 atau kurang dari itu. Tag unik ditentukan oleh kombinasi ID sumber daya, nama tag, dan nilai tag. Misalnya, dua sumber daya dengan nama dan nilai tag yang sama akan dihitung sebagai dua tag unik. Anda masih dapat menemukan sumber daya dengan tag ketika jumlahnya melebihi 80.000.

    3Penyebaran otomatis dihapus dari riwayat saat Anda mendekati batas. Untuk informasi lebih lanjut, lihat Penghapusan otomatis dari riwayat penyebaran.

    Container Instances

    Untuk informasi selengkapnya, lihat Batas Container Instances.

    Penyimpanan

    Azure Storage memiliki batas 250 akun penyimpanan per wilayah, per langganan. Batas ini mencakup akun penyimpanan Standar dan Premium.

    Kuota tingkat ruang kerja

    Gunakan kuota tingkat ruang kerja untuk mengelola alokasi target komputasi Azure Machine Learning di antara beberapa ruang kerja dalam langganan yang sama.

    Secara default, semua ruang kerja memiliki kuota yang sama dengan kuota tingkat langganan untuk keluarga VM. Namun, Anda dapat menetapkan kuota maksimum untuk keluarga VM individual di ruang kerja yang berlangganan. Kuota untuk keluarga VM individual memungkinkan Anda berbagi kapasitas dan menghindari masalah ketidakcocokan sumber daya.

    1. Anda bisa menggunakan ruang kerja apa pun di langganan Anda.
    2. Di panel kiri, pilih Penggunaan + kuota.
    3. Pilih tab Konfigurasi kuota untuk melihat kuota.
    4. Luaskan keluarga VM.
    5. Tetapkan batas kuota pada ruang kerja apa pun yang tercantum di bawah keluarga VM tersebut.

    Anda tidak dapat menetapkan nilai negatif atau nilai yang lebih tinggi dari kuota tingkat langganan.

    Cuplikan layar yang memperlihatkan kuota tingkat ruang kerja Azure Machine Learning.

    Catatan

    Anda memerlukan izin tingkat langganan untuk menetapkan kuota di tingkat ruang kerja.

    Melihat kuota di studio

    1. Saat Anda membuat sumber daya komputasi baru, secara default Anda hanya melihat ukuran VM yang sudah memiliki kuota untuk digunakan. Alihkan tampilan ke Pilih dari semua opsi.

      Cuplikan layar memperlihatkan pilih semua opsi untuk melihat sumber komputasi yang memerlukan lebih banyak kuota

    2. Gulir ke bawah hingga Anda melihat daftar ukuran VM yang tidak anda miliki kuotanya.

      Cuplikan layar menampilkan daftar kuota nol

    3. Gunakan tautan untuk langsung masuk ke permintaan bantuan pelanggan online untuk mendapatkan lebih banyak kuota.

    Lihat penggunaan dan kuota Anda di portal Azure

    Untuk melihat kuota Anda di berbagai sumber daya Azure seperti mesin virtual, penyimpanan, atau jaringan, gunakan portal Azure:

    1. Di panel kiri, pilih Semua layanan lalu pilih Langganan di bawah kategori Umum.

    2. Dari daftar langganan, pilih langganan yang kuotanya Anda cari.

    3. Pilih Penggunaan + kuota untuk melihat batas kuota dan penggunaan Anda saat ini. Gunakan filter untuk memilih penyedia dan lokasi.

    Anda mengelola kuota komputasi Azure Machine Learning pada langganan Anda secara terpisah dari kuota Azure lainnya:

    1. Dari portal Microsoft Azure, buka ruang kerja Azure Machine Learning Anda.

    2. Di panel kiri, di bagian Dukungan + pemecahan masalah, pilih Penggunaan + kuota untuk melihat batas kuota dan penggunaan Anda saat ini.

    Cuplikan layar tampilan Portal Microsoft Azure dari batas dan penggunaan kuota saat ini.

    1. Pilih langganan untuk melihat batas kuota. Memfilter ke wilayah yang Anda minati.

    2. Anda bisa beralih antara tampilan tingkat langganan dan tampilan tingkat ruang kerja.

    Permintaan penambahan kuota dan batas

    Peningkatan kuota VM adalah meningkatkan jumlah inti per keluarga VM per wilayah. Peningkatan batas titik akhir adalah meningkatkan batas khusus titik akhir per langganan per wilayah. Pastikan untuk memilih kategori yang tepat saat Anda mengirimkan permintaan penambahan kuota, seperti yang dijelaskan di bagian berikutnya.

    Kuota VM meningkat

    Untuk menaikkan batas kuota Azure Pembelajaran Mesin VM di atas batas default, Anda dapat meminta penambahan kuota dari tampilan Penggunaan + kuota di atas atau mengirimkan permintaan peningkatan kuota dari studio Azure Pembelajaran Mesin.

    1. Navigasi ke halaman Penggunaan + kuota dengan mengikuti instruksi di atas. Lihat batas kuota saat ini. Pilih SKU yang ingin Anda minta untuk dinaikkan.

    Cuplikan layar detail kuota VM.

    1. Berikan kuota yang ingin Anda tingkatkan dan nilai batas baru. Terakhir, pilih Kirim untuk melanjutkan.

    Cuplikan layar formulir permintaan kuota VM baru.

    Batas titik akhir meningkat

    Untuk menaikkan batas titik akhir, buka permintaan dukungan pelanggan online. Saat meminta peningkatan batas titik akhir, berikan informasi berikut:

    1. Saat membuka permintaan dukungan, pilih Batas layanan dan langganan (kuota) sebagai Jenis masalah.
    2. Pilih langganan pilihan Anda.
    3. Pilih Layanan Pembelajaran Mesin: Batas Titik Akhir sebagai Jenis kuota.
    4. Pada tab Detail tambahan, Anda perlu memberikan alasan terperinci untuk peningkatan batas agar permintaan Anda diproses. Pilih Masukkan detail lalu berikan batas yang ingin Anda tingkatkan dan nilai baru untuk setiap batas, alasan permintaan peningkatan batas, dan lokasi tempat Anda memerlukan peningkatan batas. Pastikan untuk menambahkan informasi berikut ke dalam alasan peningkatan batas:
      1. Deskripsi skenario dan beban kerja Anda (seperti teks, gambar, dan sebagainya).
      2. Alasan untuk peningkatan yang diminta.
        1. Berikan throughput target dan polanya (QPS rata-rata/puncak, pengguna bersamaan).
        2. Berikan latensi target dalam skala besar dan latensi saat ini yang Anda amati dengan satu instans.
        3. Berikan SKU VM dan jumlah instans secara total untuk mendukung throughput dan latensi target. Berikan berapa banyak titik akhir/penyebaran/instans yang Anda rencanakan untuk digunakan di setiap wilayah.
        4. Konfirmasikan apakah Anda memiliki pengujian tolok ukur yang menunjukkan SKU VM yang dipilih dan jumlah instans yang akan memenuhi persyaratan throughput dan latensi Anda.
        5. Berikan jenis payload dan ukuran payload tunggal. Bandwidth jaringan harus selaras dengan ukuran payload dan permintaan per detik.
        6. Berikan rencana waktu yang direncanakan (pada saat Anda memerlukan peningkatan batas - berikan rencana bertahap jika memungkinkan) dan konfirmasi apakah (1) biaya menjalankannya pada skala tersebut tercermin dalam anggaran Anda dan (2) SKU VM target disetujui.
    5. Terakhir, pilih Simpan dan lanjutkan untuk melanjutkan.

    Cuplikan layar formulir detail batas titik akhir.

    Catatan

    Permintaan peningkatan batas titik akhir ini berbeda dari permintaan peningkatan kuota VM. Jika permintaan Anda terkait dengan peningkatan kuota VM, ikuti instruksi di bagian peningkatan kuota VM.

    Peningkatan batas komputasi

    Untuk meningkatkan total batas komputasi, buka permintaan dukungan pelanggan online. Berikan informasi berikut:

    1. Saat membuka permintaan dukungan, pilih Teknis sebagai Jenis masalah.

    2. Pilih langganan pilihan Anda

    3. Pilih Pembelajaran Mesin sebagai Layanan.

    4. Pilih sumber daya pilihan Anda

    5. Dalam ringkasan, sebutkan "Tingkatkan total batas komputasi"

    6. Pilih Kluster Komputasi sebagai Jenis masalah dan Kluster tidak meningkatkan skala atau terjebak dalam mengubah ukuran sebagai subjenis Masalah.

      Cuplikan layar tab deskripsi masalah.

    7. Pada tab Detail tambahan, berikan ID langganan, wilayah, batas baru (antara 500 dan 2500) dan justifikasi bisnis jika Anda ingin meningkatkan total batas komputasi di wilayah ini.

      Cuplikan layar tab detail tambahan.

    8. Terakhir, pilih Buat untuk membuat tiket permintaan dukungan.

    Langkah berikutnya