Prioritas pembayaran per token untuk API model dasar

Halaman ini menjelaskan prioritas untuk pembayaran per token pada API Foundation Model dengan pembayaran per token, termasuk cara kerjanya dan cara mengirim permintaan prioritas.

Apa itu pembayaran per token prioritas?

Bayar per token prioritas, juga disebut mode prioritas, adalah fitur bayar per token untuk aplikasi waktu nyata yang sensitif terhadap latensi. Saat Anda mengirim permintaan dengan parameter service_tier yang disetel ke "priority", Azure Databricks memprioritaskan permintaan tersebut di atas trafik pay-per-token best-effort standar pada model yang sama. Ini menjaga ketersediaan lebih konsisten selama periode lalu lintas tinggi.

Tarif prioritas per token bersifat opsional untuk setiap permintaan, sehingga Anda dapat mengirimkan permintaan prioritas dan standar ke model yang sama. Ini tidak memerlukan komitmen kapasitas dan ditagih dengan tarif per token yang lebih tinggi daripada permintaan bayar per token standar.

Databricks merekomendasikan mode prioritas saat:

  • Anda memerlukan performa dan ketersediaan yang lebih konsisten daripada bayar per token standar, tetapi belum siap untuk berkomitmen pada kapasitas khusus.
  • Aplikasi produksi Anda memerlukan ketersediaan yang lebih tinggi.

Model yang didukung

Model bayar per token berikut mendukung mode prioritas. Untuk mengirim permintaan prioritas, gunakan nama endpoint model dengan parameter service_tier yang disetel ke "priority".

Important

Prioritas bayar per token tersedia untuk model OpenAI dan Google Gemini melalui Layanan ADI, yang disediakan oleh Databricks. Untuk mengakses model mitra ini di lingkungan Azure Databricks Anda, lihat Layanan ADI.

Model sumber terbuka

Provider Model Nama titik akhir Notes
Zhipu AI GLM 5.2 databricks-glm-5-2 Tersedia di Azure melalui ADI Services.
Alibaba Cloud Qwen3.5 122B A10B databricks-qwen35-122b-a10b
  • Model ini tersedia dalam pratinjau. Hubungi tim akun Anda untuk pengaktifan.
  • Hanya tersedia di wilayah westeurope.

Bagaimana prioritas berperilaku bayar per token

Pertimbangkan perilaku berikut sebelum Anda menggunakan prioritas bayar per token:

  • Performa dan ketersediaan yang konsisten. Prioritas pembayaran per token dirancang untuk menjaga ketersediaan tetap konsisten saat beban tinggi. Ini tidak menjamin target tertentu untuk time-to-first-token atau latensi end-to-end. Permintaan prioritas menargetkan ketersediaan yang lebih tinggi daripada permintaan bayar per token standar. Azure Databricks mendefinisikan ketersediaan pada tingkatan karena jumlah permintaan yang berhasil dibagi dengan jumlah total permintaan yang diterima pada tingkat tersebut.
  • Kapasitas upaya terbaik. Mode prioritas tidak mencadangkan kapasitas dan tidak ada komitmen kapasitas.
  • Kembali ke pembayaran per token standar. Jika kapasitas prioritas terisi penuh, permintaan akan diproses berdasarkan ketersediaan standar bayar per token dan ditagih dengan tarif standar bayar per token.
  • Biaya premium per token. Permintaan prioritas ditagih dengan tarif per token yang lebih tinggi daripada permintaan bayar per token standar.

Prioritas pembayaran per token dibandingkan dengan throughput yang diprovisikan

Pembayaran per token prioritas dan throughput yang diprovisikan sama-sama ditujukan untuk beban kerja produksi, tetapi keduanya melibatkan kompromi yang berbeda:

Consideration Prioritas pembayaran per token Throughput yang sudah dialokasikan
Capacity Upaya terbaik, dibagikan. Kapasitas khusus yang dicadangkan.
Komitmen None. Ikut serta per permintaan. Memerlukan titik akhir yang disediakan.
Availability Lebih konsisten daripada skema pembayaran per token standar saat beban tinggi. Dapat diprediksi, berdasarkan kapasitas yang dipesan.
Billing Per token, dengan tarif lebih tinggi daripada tarif standar per token. Berdasarkan unit model yang disediakan.

Kirim permintaan prioritas

Untuk menggunakan mode prioritas, atur parameter ke service_tier"priority" berdasarkan per permintaan. Contoh berikut menggunakan klien OpenAI:

from databricks_openai import DatabricksOpenAI

client = DatabricksOpenAI()

response = client.chat.completions.create(
    model="databricks-model-name",
    messages=[
      {
        "role": "user",
        "content": "What is a mixture of experts model?",
      }
    ],
    max_tokens=256,
    service_tier="priority",
)

Lihat Referensi REST API untuk model fondasi untuk sintaks parameter dan Menggunakan model fondasi untuk opsi kueri lainnya.

Batas kapasitas

Setiap kluster mendukung jumlah maksimum total token per menit untuk semua penyewa. Azure Databricks menetapkan batas per penyewa selama onboarding sehingga satu penyewa tidak dapat menggunakan semua kapasitas kluster. Jika beban kerja Anda memerlukan kapasitas lebih dari batas per penyewa, hubungi tim akun Databricks Anda.

Untuk batas API Model Foundation lainnya, lihat Batas dan kuota API Model Foundation.

Sumber daya tambahan

  • Last updated on