Azure OpenAI Studioでデプロイしたモデルの1分間のトークン上限について

y.suzuki 20 評価のポイント
2024-04-17T09:11:46.4766667+00:00

何故だか「1 分あたりのトークンレート制限」が1kから動かせないのですが、何かを見直す必要がありますか?

リージョンは"東日本"、価格レベルは"Standard S0"です。

よろしくお願いします。

User's image

User's image

Azure
Azure
Microsoft が管理する世界のデータ センター ネットワークを介してアプリケーションとサービスを構築、配置、および管理するインフラストラクチャおよびクラウド コンピューティング プラットフォーム。
96 件の質問
0 件のコメント コメントはありません
{count} 件の投票

承認済みの回答
  1. Aki Nishikawa 485 評価のポイント Microsoft 社員
    2024-04-22T04:27:40.1+00:00

    同一リージョン(東日本)でAzure OpenAI Serviceの他のインスタンスが動作していて、同じモデルを使っている場合

    他のインスタンスのトークンレート制限 (TPM) の合計が上限に到達している場合には、引き上げできません。
    https://learn.microsoft.com/ja-JP/azure/ai-services/openai/quotas-limits#regional-quota-limits

    東日本リージョンではじめて利用するモデルの場合

    この場合だと、サポートに問い合わせるのが確実です。

    東日本リージョンで使っていたAzure OpenAI Serviceのインスタンスを直近で削除した場合

    レアケースですが、TPMが解放されていない場合があるので、その場合は、Azure OpenAI Serviceのインスタンスを物理削除してください(通常論理削除で2日間の猶予があります)。

    https://learn.microsoft.com/ja-jp/azure/ai-services/recover-purge-resources?tabs=azure-portal


1 件の追加の回答

並べ替え方法: 最も役に立つ
  1. y.suzuki 20 評価のポイント
    2024-05-01T04:11:11.74+00:00

    サブスクリプションの無料期間が終了し、Basicプランにアップグレードしたら、「1 分あたりのトークンレート制限」が1k以外にも設定できるようになりました。

    サポートいただいたAki様、ありがとうございました。

    0 件のコメント コメントはありません