Mengelola dan meningkatkan kuota untuk sumber daya dengan Azure AI Studio
Penting
Beberapa fitur yang dijelaskan dalam artikel ini mungkin hanya tersedia dalam pratinjau. Pratinjau ini disediakan tanpa perjanjian tingkat layanan, dan kami tidak merekomendasikannya untuk beban kerja produksi. Fitur tertentu mungkin tidak didukung atau mungkin memiliki kemampuan terbatas. Untuk mengetahui informasi selengkapnya, lihat Ketentuan Penggunaan Tambahan untuk Pratinjau Microsoft Azure.
Kuota memberikan fleksibilitas untuk secara aktif mengelola alokasi batas tarif di seluruh penyebaran dalam langganan Anda. Artikel ini menjelaskan proses pengelolaan kuota untuk komputer virtual Azure AI Studio dan model Azure OpenAI Anda.
Azure menggunakan batasan dan kuota untuk mencegah pembengkakan anggaran karena penipuan, dan untuk menghormati batasan kapasitas Azure. Ini juga merupakan cara yang baik untuk mengontrol biaya bagi admin. Pertimbangkan batasan ini saat Anda menskalakan untuk beban kerja produksi.
Dalam artikel ini, Anda mempelajari tentang:
- Batas default pada sumber daya Azure
- Membuat kuota tingkat hub Azure AI Studio.
- Melihat kuota dan batasan Anda
- Meminta penambahan kuota dan batas
Pertimbangan khusus
Kuota diterapkan ke setiap langganan di akun Anda. Jika Anda memiliki beberapa langganan, Anda harus meminta penambahan kuota untuk setiap langganan.
Kuota adalah batas kredit pada sumber daya Azure, bukan jaminan kapasitas. Jika Anda memiliki kebutuhan kapasitas berskala besar, hubungi dukungan Azure untuk meningkatkan kuota Anda.
Catatan
Komputasi Azure AI Studio memiliki kuota terpisah dari kuota komputasi inti.
Batas default bervariasi menurut jenis kategori penawaran, seperti uji coba gratis, bayar sesuai anda, dan seri mesin virtual (VM) (seperti Dv2, F, dan G).
Kuota Azure AI Studio
Tindakan berikut di Azure AI Studio menggunakan kuota:
- Membuat instans komputasi.
- Membangun indeks vektor.
- Menyebarkan model terbuka dari katalog model.
Komputasi Azure AI Studio
Komputasi Azure AI Studio memiliki batas kuota default pada jumlah inti dan jumlah sumber daya komputasi unik yang diizinkan per wilayah dalam langganan.
- Kuota pada jumlah inti dibagi oleh setiap Keluarga VM dan total inti kumulatif.
- Kuota jumlah sumber daya komputasi unik per wilayah terpisah dari kuota inti VM, karena hanya berlaku untuk sumber daya komputasi terkelola
Untuk menaikkan batas komputasi, Anda dapat meminta peningkatan kuota di Azure AI Studio.
Sumber daya yang tersedia meliputi:
- Inti khusus per wilayah memiliki batas default 24 hingga 300, tergantung pada jenis penawaran langganan Anda. Anda dapat meningkatkan jumlah inti khusus per langganan untuk setiap keluarga VM. Keluarga VM khusus seperti NCv2, NCv3, atau seri ND dimulai dengan default nol inti. GPU juga defaultnya nol inti.
- Total batas komputasi per wilayah memiliki batas default 500 per wilayah dalam langganan tertentu dan dapat ditingkatkan hingga nilai maksimum 2500 per wilayah. Batas ini dibagikan antara instans komputasi, dan penyebaran titik akhir online terkelola. Instans komputasi dianggap sebagai kluster simpul tunggal untuk tujuan kuota. Untuk meningkatkan total batas komputasi, buka permintaan dukungan pelanggan online.
Saat membuka permintaan dukungan untuk meningkatkan total batas komputasi, berikan informasi berikut:
Pilih Teknis untuk jenis masalah.
Pilih langganan yang ingin Anda tambah kuotanya.
Pilih Pembelajaran Mesin sebagai jenis layanan.
Pilih sumber daya yang ingin Anda tingkatkan kuotanya.
Di bidang Ringkasan, masukkan "Tingkatkan total batas komputasi"
Pilih Instans komputasi jenis masalah dan Kuota sebagai subjenis masalah.
Pilih Selanjutnya.
Pada halaman Detail tambahan, berikan ID langganan, wilayah, batas baru (antara 500 dan 2500), dan justifikasi bisnis untuk meningkatkan total batas komputasi untuk wilayah tersebut.
Pilih Buat untuk mengirimkan tiket permintaan dukungan.
Kuota bersama Azure AI Studio
Azure AI Studio menyediakan kumpulan kuota bersama yang tersedia untuk pengguna yang berbeda di berbagai wilayah untuk digunakan secara bersamaan. Bergantung pada ketersediaan, pengguna dapat mengakses kuota untuk sementara waktu dari kumpulan bersama, dan menggunakan kuota untuk melakukan pengujian untuk waktu yang terbatas. Durasi waktu tertentu tergantung pada kasus penggunaan. Dengan menggunakan kuota untuk sementara waktu dari kumpulan kuota, Anda tidak perlu lagi mengajukan tiket dukungan untuk penambahan kuota jangka pendek atau menunggu permintaan kuota Anda disetujui sebelum Anda dapat melanjutkan beban kerja Anda.
Penggunaan kumpulan kuota bersama tersedia untuk menguji inferensi untuk model Llama-2, Phi, Nemotron, Mistral, Dolly, dan Deci-DeciLM dari Katalog Model. Anda harus menggunakan kuota bersama hanya untuk membuat titik akhir pengujian sementara, bukan titik akhir produksi. Untuk titik akhir dalam produksi, Anda harus meminta kuota khusus. Penagihan untuk kuota bersama berbasis penggunaan, sama seperti penagihan untuk keluarga komputer virtual khusus.
Container Instances
Untuk informasi selengkapnya, lihat Batas Container Instances.
Penyimpanan
Azure Storage memiliki batas 250 akun penyimpanan per wilayah, per langganan. Batas ini mencakup akun penyimpanan Standar dan Premium.
Menampilkan dan meminta kuota di Azure AI Studio
Gunakan kuota untuk mengelola alokasi target komputasi antara beberapa hub Azure AI Studio dalam langganan yang sama.
Secara default, semua hub memiliki kuota yang sama dengan kuota tingkat langganan untuk keluarga VM. Namun, Anda dapat menetapkan kuota maksimum untuk masing-masing keluarga VM untuk kontrol biaya dan tata kelola yang lebih terperinci pada hub dalam langganan. Kuota untuk keluarga VM individual memungkinkan Anda berbagi kapasitas dan menghindari masalah ketidakcocokan sumber daya.
Di Azure AI Studio, buka halaman Beranda dan pilih Kuota model atau kuota VM dari bagian Manajemen.
Saat Anda memilih Kuota model, Anda dapat melihat kuota untuk model di wilayah Azure yang dipilih. Untuk meminta lebih banyak kuota, pilih model lalu pilih Minta kuota.
- Gunakan tombol Perlihatkan semua kuota untuk menampilkan semua kuota atau hanya kuota yang dialokasikan saat ini.
- Gunakan dropdown Kelompokkan menurut untuk mengelompokkan daftar menurut Jenis kuota, Wilayah & Model, Jenis kuota, Model & Wilayah, atau Tidak Ada. Pengelompokan Tidak Ada menampilkan daftar penyebaran model.
- Perluas pengelompokan untuk melihat informasi tentang penyebaran model tertentu. Saat melihat penyebaran model, pilih ikon pensil di kolom Alokasi kuota untuk mengedit alokasi kuota untuk penyebaran model.
- Gunakan bagan di sepanjang sisi halaman untuk melihat detail selengkapnya tentang penggunaan kuota. Bagan bersifat interaktif; mengarahkan mouse ke atas bagian bagan menampilkan informasi selengkapnya, dan memilih bagan memfilter daftar model. Memilih legenda bagan memfilter data yang ditampilkan dalam bagan.
- Gunakan tautan Yang Disediakan Azure OpenAI untuk melihat informasi tentang model yang disediakan, termasuk Kalkulator kapasitas.
Saat memilih kuota VM, Anda dapat melihat kuota dan penggunaan untuk keluarga komputer virtual di wilayah Azure yang dipilih. Untuk meminta lebih banyak kuota, pilih keluarga VM lalu pilih Minta kuota.
