Temel Model API’leri için token başına öncelikli ücretlendirme

Bu sayfa, Temel Model API'leri için öncelikli belirteç başına ödeme özelliğini, buna nasıl çalıştığı ve öncelikli isteklerin nasıl gönderileceği dahil olmak üzere açıklar.

Token başına öncelikli ödeme nedir?

Öncelik modu olarak da adlandırılan belirteç başına öncelikli ödeme, gecikme süresine duyarlı, gerçek zamanlı uygulamalar için belirteç başına ödeme özelliğidir. service_tier parametresi "priority" olarak ayarlanmış bir istek gönderdiğinizde Azure Databricks, isteği aynı modeldeki standart, en iyi çaba esaslı token başına ödeme trafiğinden önce kabul eder. Bu, yüksek trafik dönemlerinde kullanılabilirliği daha tutarlı tutar.

Belirteç başına öncelikli ödeme, her istek için isteğe bağlıdır; bu sayede aynı modele öncelikli ve standart istekler gönderebilirsiniz. Kapasite taahhüdü gerektirmez ve standart belirteç başına ödemeli isteklere kıyasla daha yüksek bir belirteç başı ücret üzerinden faturalandırılır.

Databricks aşağıdaki durumlarda öncelik modunu önerir:

  • Standart token başına ücretlendirmeye kıyasla daha tutarlı performans ve kullanılabilirliğe ihtiyacınız var, ancak ayrılmış kapasite taahhüdünde bulunmaya henüz hazır değilsiniz.
  • Üretim uygulamalarınız daha yüksek kullanılabilirlik gerektirir.

Desteklenen modeller

Aşağıdaki token başına ücretlendirilen modeller öncelik modunu destekler. Öncelikli bir istek göndermek için, service_tier parametresi "priority" olarak ayarlanmış modelin uç nokta adını kullanın.

Important

Databricks tarafından sağlanan ADI Hizmetleri aracılığıyla, OpenAI ve Google Gemini modelleri için belirteç başına öncelikli ücretlendirme sunulmaktadır. Azure Databricks ortamınızda bu iş ortağı modellerine erişmek için bkz. ADI Hizmetleri.

Açık kaynak modeller

Provider Model Uç nokta adı Notlar
Alibaba Bulutu Qwen3.5 122B A10B databricks-qwen35-122b-a10b
  • Bu model önizlemede kullanılabilir. Etkinleştirme için hesap ekiplerinize ulaşın.
  • Yalnızca westeurope bölgesinde kullanılabilir.

Token başına öncelikli ödemenin nasıl çalıştığı

Belirteç başına ödeme önceliğini kullanmadan önce aşağıdaki davranışı göz önünde bulundurun:

  • Tutarlı performans ve kullanılabilirlik. Token başına öncelikli ödeme, yük altında kullanılabilirliğin tutarlı kalmasını sağlamak için tasarlanmıştır. Belirli bir ilk belirtece kadar geçen süre veya uçtan uca gecikme hedefini garanti etmez. Öncelik istekleri, standart belirteç başına ödeme isteklerine göre daha yüksek bir kullanılabilirliği hedefler. Azure Databricks, bir katmandaki kullanılabilirliği, başarılı isteklerin sayısı, bu katmandaki kabul edilen isteklerin toplam sayısına bölünmesi olarak tanımlar.
  • En iyi çaba kapasitesi. Öncelik modu kapasite ayırmaz ve kapasite taahhüdü yoktur.
  • Standart belirteç başına ödeme sistemine geri dön. Öncelikli kapasitenin tamamı tahsis edilmişse, istekler standart belirteç başına ödeme kullanılabilirliğine göre işlenir ve standart belirteç başına ödeme ücretleri üzerinden faturalandırılır.
  • Token başına ücretlendirme. Öncelikli istekler, standart token başına ödemeli isteklere kıyasla token başına daha yüksek bir ücretle faturalandırılır.

Sağlanan aktarım hızıyla karşılaştırıldığında belirteç başına öncelikli ödeme

Hem belirteç başına öncelikli ödeme hem de sağlanan işleme kapasitesi üretim iş yüklerini hedefler, ancak farklı ödünleşimler içerir:

Consideration Token başına öncelikli ödeme Sağlanan aktarım hızı
Capacity Azami gayret, paylaşımlı. Adanmış, ayrılmış kapasite.
Taahhüt Yok. İstek başına kabul et. Sağlanan uç nokta gerektirir.
Availability Yük altında standart belirteç başına ödeme yönteminden daha tutarlı. Ayrılmış kapasiteye göre tahmin edilebilir.
Billing Belirteç başına, standart belirteç başına ücretlendirmeye kıyasla ek ücretle. Tahsis edilen model birimlerine göre.

Öncelik isteği gönderme

Öncelik modunu kullanmak için parametresini service_tier"priority" istek başına olarak ayarlayın. Aşağıdaki örnekte OpenAI istemcisi kullanılır:

from databricks_openai import DatabricksOpenAI

client = DatabricksOpenAI()

response = client.chat.completions.create(
    model="databricks-model-name",
    messages=[
      {
        "role": "user",
        "content": "What is a mixture of experts model?",
      }
    ],
    max_tokens=256,
    service_tier="priority",
)

Bkz. Parametre söz dizimi için temel model REST API başvurusu ve daha fazla sorgu seçeneği için temel modelleri kullanma .

Kapasite sınırları

Her küme, tüm kiracılarda dakika başına en fazla toplam belirteç sayısını destekler. Azure Databricks, tek bir kiracının tüm küme kapasitesini kullanamaması için ekleme sırasında kiracı başına bir sınır ayarlar. İş yükünüz kiracı başına sınırın izin verdiğinden daha fazla kapasite gerektiriyorsa Databricks hesap ekibinize ulaşın.

Daha fazla Temel Model API'leri sınırı için bkz. Temel Model API'leri sınırları ve kotaları.

Ek kaynaklar

  • Last updated on