Azure OpenAI Service のクォータと制限

この記事には、Azure AI サービス内の Azure OpenAI のクォータと制限に関するクイック リファレンスおよび詳細な説明が記載されています。

クォータと制限のリファレンス

以降のセクションでは、Azure OpenAI に適用されるデフォルトのクォータと制限のクイック ガイドを提供します。

制限名	制限値
各 Azure サブスクリプションのリージョンあたりの OpenAI リソース数	30
既定の DALL-E 2 クォータ制限	2 同時要求
既定の DALL-E 3 クォータ制限	2 容量ユニット (1 分あたり 6 要求)
既定の Whisper クォータ制限	1 分あたり 3 要求
要求あたりの最大プロンプト トークン数	モデルごとに異なります。 詳細については、「Azure OpenAI Service モデル」を参照してください。
微調整されたモデル デプロイの最大数	5
リソースあたりのトレーニング ジョブの合計数	100
リソースあたりの同時実行トレーニング ジョブの最大数	1
キューに入ったトレーニング ジョブの最大数	20
リソースあたりの最大ファイル数 (微調整)	50
リソースあたりのすべてのファイルの合計サイズ (微調整)	1 GB
トレーニングジョブの最大時間 (超過した場合、ジョブは失敗します)	720 時間
トレーニング ジョブの最大サイズ (トレーニング ファイル内のトークン) x (エポックの数)	20 億
アップロードごとのすべてのファイルの最大サイズ (データに対する Azure OpenAI)	16 MB
/embeddings を含む配列内の最大数または入力数	2048
/chat/completions メッセージの最大数	2048
/chat/completions 関数の最大数	128
/chat completions ツールの最大数	128
デプロイあたりのプロビジョニング スループット ユニットの最大数	100,000
アシスタント/スレッドあたりの最大ファイル数	20
アシスタントの最大ファイル サイズと微調整	512 MB
アシスタント トークンの制限	2,000,000 トークンの制限
GPT-4o 要求あたりの最大イメージ数 (メッセージ配列/会話履歴のイメージの数)	10
GPT-4 vision-preview と GPT-4 turbo-2024-04-09 既定の最大トークン数	16 応答が切り捨てられないように max_tokens パラメーター値を増やします。 GPT-4o 最大トークン数の既定値は 4096 です。

リージョンのクォータ制限

リージョン	GPT-4	GPT-4-32K	GPT-4-Turbo	GPT-4-Turbo-V	gpt-4o	gpt-4o - GlobalStandard	GPT-35-Turbo	GPT-35-Turbo-Instruct	Text-Embedding-Ada-002	text-embedding-3-small	text-embedding-3-large	Babbage-002	Babbage-002 - finetune	Davinci-002	Davinci-002 - finetune	GPT-35-Turbo - finetune	GPT-35-Turbo-1106 - finetune	GPT-35-Turbo-0125 - finetune	GPT-4 - finetune
australiaeast	40 K	80 K	80 K	30 K	-	-	300 K	-	350 K	-	-	-	-	-	-	-	-	-	-
brazilsouth	-	-	-	-	-	-	-	-	350 K	-	-	-	-	-	-	-	-	-	-
canadaeast	40 K	80 K	80 K	-	-	-	300 K	-	350 K	350 K	350 K	-	-	-	-	-	-	-	-
eastus	-	-	80 K	-	150 K 1 M	450 K 10 M	240 K	240 K	240 K	350 K	350 K	-	-	-	-	-	-	-	-
eastus2	-	-	80 K	-	150 K 1 M	450 K 10 M	300 K	-	350 K	350 K	350 K	-	-	-	-	250 K	250 K	250 K	-
francecentral	20 K	60 K	80 K	-	-	-	240 K	-	240 K	-	350 K	-	-	-	-	-	-	-	-
japaneast	-	-	-	30 K	-	-	300 K	-	350 K	-	350 K	-	-	-	-	-	-	-	-
northcentralus	-	-	80 K	-	150 K 1 M	450 K 10 M	300 K	-	350 K	-	-	240 K	250 K	240 K	250 K	250 K	250 K	250 K	100 K
norwayeast	-	-	150 K	-	-	-	-	-	350 K	-	-	-	-	-	-	-	-	-	-
southafricanorth	-	-	-	-	-	-	-	-	350 K	-	-	-	-	-	-	-	-	-	-
southcentralus	-	-	80 K	-	150 K 1 M	450 K 10 M	240 K	-	240 K	-	-	-	-	-	-	-	-	-	-
southindia	-	-	150 K	-	-	-	300 K	-	350 K	-	350 K	-	-	-	-	-	-	-	-
swedencentral	40 K	80 K	150 K	30 K	150 K 1 M	-	300 K	240 K	350 K	-	350 K	240 K	250 K	240 K	250 K	250 K	250 K	250 K	100 K
switzerlandnorth	40 K	80 K	-	30 K	-	-	300 K	-	350 K	-	-	-	-	-	-	-	-	-	-
switzerlandwest	-	-	-	-	-	-	-	-	-	-	-	-	250 K	-	250 K	250 K	250 K	250 K	-
uksouth	-	-	80 K	-	-	-	240 K	-	350 K	-	350 K	-	-	-	-	-	-	-	-
westeurope	-	-	-	-	-	-	240 K	-	240 K	-	-	-	-	-	-	-	-	-	-
westus	-	-	80 K	30 K	150 K 1 M	450 K 10 M	300 K	-	350 K	-	-	-	-	-	-	-	-	-	-
westus3	-	-	80 K	-	150 K 1 M	450 K 10 M	-	-	350 K	-	350 K	-	-	-	-	-	-	-	-

gpt-4o レート制限

gpt-4o では、一部のタイプのお客様向けに、より高い制限を設定した新しいレート制限レベルが導入されています。

gpt-4o Global Standard

Note

Global Standard モデル デプロイ タイプは、現在パブリック プレビュー段階です。

レベル	クォータ制限 (トークン/分) (TPM)	1 分あたりの要求数
エンタープライズ契約	10 M	60 K
既定値	450 K	2.7 K

M = 100 万 | K = 1,000

gpt-4o Standard

レベル	クォータ制限 (トークン/分) (TPM)	1 分あたりの要求数
エンタープライズ契約	1 M	6 K
既定値	150 K	900

M = 100 万 | K = 1,000

使用量レベル

グローバル標準のデプロイでは、Azure のグローバル インフラストラクチャが利用され、お客様のトラフィックはお客様の推論要求に最適な可用性を持つデータ センターに動的にルーティングされます。 これにより、トラフィックのレベルが低から中程度のお客様に対して、より一貫した待機時間が可能になります。 使用量が持続して高いレベルにあるお客様は、応答の待機時間のばらつきが増す可能性があります。

使用制限によって、その使用量レベルを超えると応答待ち時間のばらつきが増す可能性があるお客様が決定されます。 顧客の使用量はモデルごとに定義され、この量は、特定のテナントのすべてのリージョンのすべてのサブスクリプションのすべてのデプロイで使用されるトークンの合計です。

GPT-4o グローバル標準 & 標準

モデル	1 か月あたりの使用量レベル
GPT-4o	15 億トークン

その他のプランの種類

Azure サブスクリプションが特定のオファーの種類にリンクされている場合、最大クォータは上記の表に示されている値より低くなります。

レベル	クォータ制限 (トークン/分) (TPM)
Microsoft Azure for Students、無料試用版	1 K (すべてのモデル)
MSDN サブスクリプション	GPT 3.5 Turbo シリーズ: 30 K GPT-4 シリーズ: 8 K
月単位のクレジット カード ベースのサブスクリプション 1	GPT 3.5 Turbo シリーズ: 30 K GPT-4 シリーズ: 8 K

¹ これは現在、オファーの種類 0003P に適用されます

Azure portal で、サブスクリプションに関連付けられているオファーの種類を確認するには、サブスクリプションに移動し、サブスクリプションの概要ウィンドウをチェックします。 オファーの種類は、サブスクリプションの概要の [プラン] フィールドに対応します。

レート制限内に収まるようにするための一般的なベスト プラクティス

レート制限に関連する問題を最小限に抑えるには、次の手法を使用することをお勧めします。

• アプリケーションで再試行ロジックを実装します。
• ワークロードが急激に変化しないようにします。 ワークロードは徐々に増やします。
• さまざまな負荷増加パターンをテストします。
• デプロイに割り当てられているクォータを増やします。 必要に応じて、別のデプロイからクォータを移動します。

既定のクォータと制限の引き上げを要求する方法

クォータの増加要求は、Azure OpenAI Studio の [クォータ] ページから送信できます。 需要が殺到しているため、受け付け中のクォータ引き上げの要求は、受領した順に処理されます。 既存のクォータ割り当てを消費するトラフィックを生成するお客様が優先され、この条件を満たしていない場合は要求が拒否される可能性があります。

その他のレート制限については、サービス リクエストを送信してください。

次のステップ

Azure OpenAI デプロイのクォータを管理する方法を確認してください。 Azure OpenAI をサポートする基となるモデルに関する記事を確認します。