Azure OpenAI Hizmeti kotaları ve sınırları

Makale
06/14/2024

Bu makale, Azure AI hizmetlerinde Azure OpenAI için kotaların ve sınırların ayrıntılı bir açıklamasını ve hızlı başvuruyu içerir.

Kotalar ve limitler başvurusu

Aşağıdaki bölümlerde, Azure OpenAI için geçerli olan varsayılan kotalar ve sınırlar için hızlı bir kılavuz sağlanır:

Sınır Adı	Sınır Değeri
Azure aboneliği başına bölge başına OpenAI kaynakları	30
Varsayılan DALL-E 2 kota sınırları	2 eşzamanlı istek
Varsayılan DALL-E 3 kota sınırları	2 kapasite birimi (dakikada 6 istek)
Varsayılan Fısıltı kota sınırları	Dakikada 3 istek
İstek başına en fazla istem belirteci	Modele göre değişir. Daha fazla bilgi için bkz. Azure OpenAI Hizmeti modelleri
En fazla ince ayarlı model dağıtımı	5
Kaynak başına toplam eğitim işi sayısı	100
Kaynak başına en fazla eşzamanlı çalışan eğitim işi	1
Kuyruğa alınan en fazla eğitim işi	20
Kaynak başına En Fazla Dosya (ince ayar)	50
Kaynak başına tüm dosyaların toplam boyutu (ince ayar)	1 GB
En fazla eğitim işi süresi (aşılırsa iş başarısız olur)	720 saat
En fazla eğitim işi boyutu (eğitim dosyasındaki belirteçler) x (dönem sayısı)	2 Milyar
Karşıya yükleme başına tüm dosyaların en büyük boyutu (verilerinizde Azure OpenAI)	16 MB
Ile dizideki maksimum sayı veya giriş sayısı `/embeddings`	2048
En fazla `/chat/completions` ileti sayısı	2048
Maksimum işlev sayısı `/chat/completions`	128
En fazla `/chat completions` araç sayısı	128
Dağıtım başına sağlanan aktarım hızı birimi sayısı üst sınırı	100.000
Yardımcı/iş parçacığı başına en fazla dosya	20
Yardımcılar için en büyük dosya boyutu ve ince ayar	512 MB
Yardımcılar belirteci sınırı	2.000.000 belirteç sınırı
GPT-4o istek başına en fazla görüntü (ileti dizisinde/konuşma geçmişinde görüntü sayısı)	10
GPT-4 `vision-preview` & GPT-4 `turbo-2024-04-09` varsayılan maksimum belirteçler	16 Kesilen `max_tokens` yanıtlardan kaçınmak için parametre değerini artırın. GPT-4o maksimum belirteçleri varsayılan olarak 4096'dır.

Bölgesel kota sınırları

Bölge	GPT-4	GPT-4-32K	GPT-4-Turbo	GPT-4-Turbo-V	gpt-4o	gpt-4o - GlobalStandard	GPT-35-Turbo	GPT-35-Turbo-Instruct	Metin Ekleme-Ada-002	metin ekleme-3-küçük	metin ekleme-3-büyük	Babbage-002	Babbage-002 - finetune	Davinci-002	Davinci-002 - finetune	GPT-35-Turbo - finetune	GPT-35-Turbo-1106 - finetune	GPT-35-Turbo-0125 - finetune	GPT-4 - finetune
australiaeast	40 K	80 K	80 K	30 K	-	-	300 K	-	350 K	-	-	-	-	-	-	-	-	-	-
Güney Brezilya	-	-	-	-	-	-	-	-	350 K	-	-	-	-	-	-	-	-	-	-
canadaeast	40 K	80 K	80 K	-	-	-	300 K	-	350 K	350 K	350 K	-	-	-	-	-	-	-	-
eastus	-	-	80 K	-	150 K 1 M	450 K 10 M	240 K	240 K	240 K	350 K	350 K	-	-	-	-	-	-	-	-
eastus2	-	-	80 K	-	150 K 1 M	450 K 10 M	300 K	-	350 K	350 K	350 K	-	-	-	-	250 K	250 K	250 K	-
francecentral	20 K	60 K	80 K	-	-	-	240 K	-	240 K	-	350 K	-	-	-	-	-	-	-	-
japaneast	-	-	-	30 K	-	-	300 K	-	350 K	-	350 K	-	-	-	-	-	-	-	-
northcentralus	-	-	80 K	-	150 K 1 M	450 K 10 M	300 K	-	350 K	-	-	240 K	250 K	240 K	250 K	250 K	250 K	250 K	100 K
Doğu Norveç	-	-	150 K	-	-	-	-	-	350 K	-	-	-	-	-	-	-	-	-	-
Güney Afrika'nın Kuzeyi	-	-	-	-	-	-	-	-	350 K	-	-	-	-	-	-	-	-	-	-
Orta Güney ABD	-	-	80 K	-	150 K 1 M	450 K 10 M	240 K	-	240 K	-	-	-	-	-	-	-	-	-	-
southindia	-	-	150 K	-	-	-	300 K	-	350 K	-	350 K	-	-	-	-	-	-	-	-
Orta İsveç	40 K	80 K	150 K	30 K	150 K 1 M	-	300 K	240 K	350 K	-	350 K	240 K	250 K	240 K	250 K	250 K	250 K	250 K	100 K
Kuzey İsviçre	40 K	80 K	-	30 K	-	-	300 K	-	350 K	-	-	-	-	-	-	-	-	-	-
İsviçrewest	-	-	-	-	-	-	-	-	-	-	-	-	250 K	-	250 K	250 K	250 K	250 K	-
uksouth	-	-	80 K	-	-	-	240 K	-	350 K	-	350 K	-	-	-	-	-	-	-	-
westeurope	-	-	-	-	-	-	240 K	-	240 K	-	-	-	-	-	-	-	-	-	-
westus	-	-	80 K	30 K	150 K 1 M	450 K 10 M	300 K	-	350 K	-	-	-	-	-	-	-	-	-	-
westus3	-	-	80 K	-	150 K 1 M	450 K 10 M	-	-	350 K	-	350 K	-	-	-	-	-	-	-	-

gpt-4o hız sınırları

gpt-4o belirli müşteri türleri için daha yüksek sınırlara sahip hız sınırı katmanları ekler.

gpt-4o global standart

Not

Genel standart model dağıtım türü şu anda genel önizleme aşamasındadır.

Katman	Dakika başına belirteçlerde Kota Sınırı (TPM)	Dakika başına istek sayısı
Kurumsal anlaşma	10 M	60 K
Varsayılan	450 K	2,7 K

M = milyon | K = bin

gpt-4o standard

Katman	Dakika başına belirteçlerde Kota Sınırı (TPM)	Dakika başına istek sayısı
Kurumsal anlaşma	1 M	6 K
Varsayılan	150 K	900

M = milyon | K = bin

Kullanım katmanları

Genel Standart dağıtımlar Azure'ın genel altyapısını kullanır ve müşteri trafiğini dinamik olarak veri merkezine yönlendirerek müşterinin çıkarım istekleri için en iyi kullanılabilirliği sağlar. Bu, düşük ve orta düzeyde trafiğe sahip müşteriler için daha tutarlı gecikme süresi sağlar. Kullanım düzeyi yüksek olan müşteriler yanıt gecikme süresinde daha fazla değişkenlik görebilir.

Kullanım Sınırı, müşterilerin yanıt gecikme süresinde daha büyük değişkenlik görebileceği kullanım düzeyini belirler. Müşterinin kullanımı model başına tanımlanır ve belirli bir kiracı için tüm bölgelerdeki tüm aboneliklerdeki tüm dağıtımlarda kullanılan toplam belirteçtir.

GPT-4o global standart & standart

Model	Aylık kullanım katmanları
`GPT-4o`	1,5 Milyar belirteç

Diğer teklif türleri

Azure aboneliğiniz belirli teklif türlerine bağlıysa maksimum kota değerleriniz yukarıdaki tablolarda belirtilen değerlerden daha düşüktür.

Katman	Dakika başına belirteçlerde Kota Sınırı (TPM)
Öğrenciler için Azure, Ücretsiz Denemeler	1 K (tüm modeller)
Aylık kredi kartı tabanlı hesaplar ¹	GPT 3.5 Turbo Serisi: 30 K GPT-4 serisi: 8 K

¹ Bu, şu anda 0003P teklif türü için geçerlidir

Azure portalında aboneliğinize gidip aboneliklere genel bakış bölmesini denetleyerek aboneliğinizle ilişkili teklif türünü görüntüleyebilirsiniz. Teklif türü, aboneliğe genel bakış bölümündeki plan alanına karşılık gelir.

Hız sınırları içinde kalmak için genel en iyi yöntemler

Hız sınırlarıyla ilgili sorunları en aza indirmek için aşağıdaki teknikleri kullanmak iyi bir fikirdir:

Uygulamanıza yeniden deneme mantığı ekleyin.
İş yükünde ani değişikliklerden kaçının. İş yükünü kademeli olarak artırın.
Farklı yük artışı desenlerini test edin.
Dağıtımınıza atanan kotayı artırın. Gerekirse kotayı başka bir dağıtımdan taşıyın.

Varsayılan kotalara ve sınırlara artış isteme

Kota artışı istekleri Azure OpenAI Studio'nun Kotalar sayfasından gönderilebilir. Yoğun talep nedeniyle kota artışı isteklerinin kabul edildiğini ve alındıkları sırayla doldurulacağını lütfen unutmayın. Mevcut kota ayırmayı kullanan trafik oluşturan müşterilere öncelik verilir ve bu koşul karşılanmazsa isteğiniz reddedilebilir.

Diğer fiyat sınırları için lütfen bir hizmet isteği gönderin.

Sonraki adımlar

Azure OpenAI dağıtımlarınız için kotayı yönetmeyi keşfedin. Azure OpenAI'yi destekleyen temel modeller hakkında daha fazla bilgi edinin.

Aracılığıyla paylaş