Azure Open AI Serivceのgpt-4o(2024-8-6)モデルのmax_tokensが上限まで設定できない

大西 0 評価のポイント
2024-11-28T04:28:52.5866667+00:00

Azure Open AIのgpt-4o(2024-8-6)出力トークンは16,384まで可能な仕様ですが、max_tokensは半分の8,192までしか設定できず、それを超えるとエラーが返ってきます。原因と対処法をご教示いただけますでしょうか。

■設定したいmax_tokensの値

https://learn.microsoft.com/ja-jp/azure/ai-services/openai/concepts/models?tabs=python-secure%2Cglobal-standard%2Cstandard-chat-completions#gpt-4o-and-gpt-4-turbo

→gpt-4o(2024-8-6)出力トークンは16,384まで設定できる想定です。

■失敗したリクエスト

→max_tokensが8192(期待する上限値の半分)までは正常に終了しますが、8193以上を設定するとエラーメッセージが返ってきます。

try {

const response = await fetch('https://xxxxxx.openai.azure.com/openai/deployments/gpt-4o/chat/completions?api-version=2024-08-01-preview', {

    method: 'POST',

    headers: {

        'Content-Type': 'application/json',

        'api-key': 'xxxxxx'

    },

    body: JSON.stringify({

        model: 'gpt-4o',

        "messages": [

            { "role": "user", "content": promptText }

        ],

        max_tokens: 16384

    })

});

■エラーメッセージ

エラーが発生しました: HTTP error! status: 429, response: {"error":{"code":"429","message": "Requests to the ChatCompletions_Create Operation under Azure OpenAI API version 2024-08-01-preview have exceeded token rate limit of your current OpenAI S0 pricing tier. Please retry after 17 seconds. Please go here: https://aka.ms/oai/quotaincrease if you would like to further increase the default rate limit."}}

Azure
Azure
Microsoft が管理する世界のデータ センター ネットワークを介してアプリケーションとサービスを構築、配置、および管理するインフラストラクチャおよびクラウド コンピューティング プラットフォーム。
469 件の質問
0 件のコメント コメントはありません
{count} 件の投票

お客様の回答

回答は、質問作成者が [承諾された回答] としてマークできます。これは、ユーザーが回答が作成者の問題を解決したことを知るのに役立ちます。