このページでは、 Foundation Model API のトークンあたりの優先度の支払いについて説明します。これには、その動作や優先順位要求の送信方法が含まれます。
優先トークンごとの支払いとは
優先度の高いトークンごとの支払い (優先度モードとも呼ばれます) は、待機時間が影響を受けやすいリアルタイム アプリケーション向けのトークンごとの支払い機能です。
service_tier パラメーターを "priority" に設定して要求を送信すると、Azure Databricksは、同じモデル上の標準的なベスト エフォートのトークンごとの支払いトラフィックの前に要求を許可します。 これにより、トラフィックが多い期間中に可用性の一貫性が保たれます。
優先度の支払いトークンは要求ごとにオプトインされるため、優先度と標準の要求を同じモデルに送信できます。 容量コミットメントは必要なく、トークンごとの標準の支払い要求よりも高いトークンあたりのレートで課金されます。
Databricks では、次の場合に優先順位モードが推奨されます。
- 標準のトークンごとの支払いよりも一貫したパフォーマンスと可用性が必要ですが、専用容量にコミットする準備ができていません。
- 運用アプリケーションでは、より高い可用性が必要です。
サポートされているモデル
次のトークンごとの支払いモデルでは、優先度モードがサポートされています。 優先順位要求を送信するには、モデルのエンドポイント名を使用し、 service_tier パラメーターを "priority" に設定します。
Important
OpenAI モデルと Google Gemini モデルでは、Databricks が提供する ADI サービスを通じて、優先トークンごとの支払いを利用できます。 Azure Databricks環境でこれらのパートナー モデルにアクセスするには、ADI サービスを参照してください。
オープン ソース モデル
| Provider | Model | エンドポイント名 | Notes |
|---|---|---|---|
| Alibaba Cloud | Qwen3.5 122B A10B | databricks-qwen35-122b-a10b |
|
優先料金（トークン単位課金）の仕組み
優先順位のトークンごとの支払いを使用する前に、次の動作を検討してください。
- 一貫性のあるパフォーマンスと可用性。 優先度の高いトークンごとの支払いは、負荷の下で可用性の一貫性を保つように設計されています。 最初のトークンが生成されるまでの時間やエンドツーエンドのレイテンシ目標を保証するものではありません。 優先度の高い要求は、標準のトークンごとの支払い要求よりも高い可用性をターゲットにしています。 Azure Databricksは、レベルでの可用性を、成功した要求の数を、そのレベルでの許可された要求の合計数で割った値として定義します。
- ベストエフォート容量。 優先順位モードでは、容量は予約されず、容量コミットメントもありません。
- 標準のトークンごとの支払いにフォールバックします。 優先度の容量が完全にサブスクライブされている場合、要求は標準のトークンごとの支払い可用性で提供され、標準のトークンごとの支払いレートで課金されます。
- トークンごとのプレミアム。 優先度の要求は、標準のトークンごとの支払い要求よりも高いトークンごとのレートで課金されます。
プロビジョニングされたスループットと比較したトークンあたりの優先度の支払い
優先度の高いトークンごとの支払いスループットとプロビジョニング済みスループットの両方が、運用環境のワークロードをターゲットにしていますが、異なるトレードオフが生まれます。
| 考慮事項 | 優先トークン単位課金 | プロビジョニングスループット |
|---|---|---|
| Capacity | ベストエフォート、共有。 | 専用の予約済み容量。 |
| コミットメント | なし。 要求ごとにオプトインします。 | プロビジョニングされたエンドポイントが必要です。 |
| Availability | 負荷時でも、標準的なトークン単位課金より安定しています。 | 予約容量に基づいて予測可能。 |
| Billing | トークンごとに、標準の従量課金より割高。 | プロビジョニングされたモデル ユニットに基づきます。 |
優先度要求を送信する
優先順位モードを使用するには、 service_tier パラメーターを要求ごとに "priority" に設定します。 次の例では、OpenAI クライアントを使用します。
from databricks_openai import DatabricksOpenAI
client = DatabricksOpenAI()
response = client.chat.completions.create(
model="databricks-model-name",
messages=[
{
"role": "user",
"content": "What is a mixture of experts model?",
}
],
max_tokens=256,
service_tier="priority",
)
パラメーター構文については Foundation モデル REST API リファレンスを参照 し、その他のクエリ オプションについては 基礎モデルを使用 するを参照してください。
容量制限
各クラスターでは、すべてのテナントで 1 分あたりのトークンの最大数がサポートされます。 Azure Databricksは、1 つのテナントですべてのクラスター容量を使用できないように、オンボード中にテナントごとの制限を設定します。 ワークロードでテナントごとの制限を超える容量が必要な場合は、Databricks アカウント チームにお問い合わせください。
その他の Foundation Model API の制限については、「 Foundation Model API の制限とクォータ」を参照してください。