Azure Open AI Serivceのgpt-4o(2024-8-6)モデルのmax_tokensが上限まで設定できない
Azure Open AIのgpt-4o(2024-8-6)出力トークンは16,384まで可能な仕様ですが、max_tokensは半分の8,192までしか設定できず、それを超えるとエラーが返ってきます。原因と対処法をご教示いただけますでしょうか。
■設定したいmax_tokensの値
→gpt-4o(2024-8-6)出力トークンは16,384まで設定できる想定です。
■失敗したリクエスト
→max_tokensが8192(期待する上限値の半分)までは正常に終了しますが、8193以上を設定するとエラーメッセージが返ってきます。
try {
const response = await fetch('https://xxxxxx.openai.azure.com/openai/deployments/gpt-4o/chat/completions?api-version=2024-08-01-preview', {
method: 'POST',
headers: {
'Content-Type': 'application/json',
'api-key': 'xxxxxx'
},
body: JSON.stringify({
model: 'gpt-4o',
"messages": [
{ "role": "user", "content": promptText }
],
max_tokens: 16384
})
});
■エラーメッセージ
エラーが発生しました: HTTP error! status: 429, response: {"error":{"code":"429","message": "Requests to the ChatCompletions_Create Operation under Azure OpenAI API version 2024-08-01-preview have exceeded token rate limit of your current OpenAI S0 pricing tier. Please retry after 17 seconds. Please go here: https://aka.ms/oai/quotaincrease if you would like to further increase the default rate limit."}}