DökümHane Modelleri için sağlanan aktarım hızı nedir?

Şu anda görüntülenen:Foundry portalının yeni sürümü - Klasik Foundry portalı sürümüne geç

Sağlanan aktarım hızı, Microsoft Foundry'de dağıtımınız için ayrılmış model işleme aktarım hızı sağlayan bir dağıtım türüdür. Müşteriler arasında çıkarım kapasitesinin paylaşıldığı ve aktarım hızının talebe göre farklılık gösterebildiği standart dağıtımlardan farklı olarak, sağlanan bir dağıtım yalnızca dağıtımınızın kullanımına yönelik sabit miktarda işleme kapasitesi (istek yapılıp yapılmadığı) barındırır.

Bu makalede sağlanan aktarım hızının arkasındaki temel kavramlar tanıtılır: ne olduğu, ne zaman kullanılacağı, kapasitenin nasıl ölçülüp faturalandırılacağı ve dağıtmadan önce kota ve kapasite hakkında bilinmesi gerekenler.

Dağıtım kategorileri karşılaştırıldığında

Standart dağıtımlar, toplu dağıtımlar, öncelik işleme ve sağlanan aktarım hızı, Microsoft Foundry'de modelleri dağıtmanın yollarıdır. Doğru seçim gecikme süresi gereksinimlerinize, trafik desenlerinize ve maliyet toleransınıza bağlıdır.

Dağıtım türü Billing Gecikme Süresi Hizmet Düzeyi Sözleşmesi (SLA) İş yükü türü ve gereksinimleri
Standart Belirteç başına ücretlendirme Hiçbiri Dengeli iş yükleri: değişken veya öngörülemeyen trafikle geliştirme, test ve üretim
Öncelik işleme Token başına ödeme (öncelikli katman ücreti) Model başına tanımlı gecikme süresi hedefi Uzun vadeli taahhüt olmadan tutarlı düşük gecikme süresi gerektiren gecikme süresine duyarlı üretim iş yükleri
Sağlanan saat başına PTU başına (veya Azure rezervasyonlarını kullanarak) Model başına tanımlı gecikme süresi hedefi Garantili aktarım hızı ve tutarlı gecikme süresi gerektiren görev açısından kritik, yüksek ölçekli üretim iş yükleri
Batch Token başına ödeme (indirimli toplu işlem ücreti) Hiçbiri İş yüklerini gecikme süresi gereksinimleri olmadan toplu işleme. Sonuçlar zaman uyumsuz olarak döndürülür.

Sağlanan aktarım hızı ne zaman kullanılır?

Sağlanan aktarım hızı, uygulamanız aşağıdakilere sahip olduğunda doğru seçimdir:

  • Tahmin edilebilir trafik desenleri: Dakika başına istekler ve belirteç hacimleri için makul bir tahmine sahipsiniz.
  • Gecikmeye duyarlı gereksinimler: Kullanıcılarınızın veya aşağı akış sistemlerinizin tutarlı, düşük gecikme süreli yanıtlara ihtiyacı vardır.
  • Üretim ölçeğinde kullanım hacmi: Belirteç başına faturalamanın maliyetli hale geldiği yüksek işlem hacimli senaryolar.
  • Gerçek zamanlı veya etkileşimli senaryolar: Değişken yanıt sürelerinin kullanıcı deneyimini düşürdüğü sohbet uygulamaları, yardımcı pilotlar veya aracılar.

Standart dağıtımlar geliştirme, test, düşük hacimli kullanım veya dağıtımı önceden boyutlandırmayı zorlaştıran yüksek oranda değişken trafik için daha uygun olmaya devam eder.

Sağlanan aktarım hızı birimleri

Sağlanan aktarım hızı birimleri (PTU'lar), sağlanan aktarım hızı için ölçü birimidir. PTU, sabit miktarda model işleme kapasitesini temsil eder. Sağlanan bir dağıtım oluşturduğunuzda, kaç PTU ayrılacağını belirtirsiniz. Foundry, bu kadar işlem gücünü ayırır ve dağıtımınız için rezerve eder.

PTU'ların temel özellikleri:

  • Modelden bağımsız: Desteklenen herhangi bir modeli dağıtmak için aynı PTU kotası kullanılabilir. Belirli bir model için PTU satın almazsınız.
  • Bölgeye özgü: PTU kotası abonelik başına, bölge başına ve dağıtım türü başına verilir. Doğu ABD'deki kota Batı Avrupa'ya taşınmıyor.
  • Aktarım hızı modele göre değişir: Belirli sayıda PTU'nun sağladığı dakika başına belirteçler (TPM) modele bağlıdır. Daha ağır bir model, daha hafif bir TPM ile aynı TPM'ye hizmet etmek için daha fazla PTU gerektirir. Model başına PTU-TPM oranları için bkz. Model başına aktarım hızı parametreleri.
  • En düşük dağıtım boyutları geçerlidir: Her modelin dağıtım oluşturmak için gereken en düşük PTU sayısı vardır. Minimum değerler modele göre değişir ve Dağıtım parametrelerinde ve modele göre aktarım hızı değerlerinde listelenir.

Kota ve kapasite

PTU kotası ve kapasitesi birbiriyle ilişkilidir ancak her ikisi de dağıtım oluşturup oluşturamayacağınızı etkileyen ayrı kavramlardır. Bu bölümde her birinin ne olduğu, ek kota isteme ve bölgenizde kapasite olup olmadığını denetleme açıklanmaktadır.

PTU kotası nedir?

PTU kotası, abonelik başına, bölge başına ve dağıtım türü başına dağıtabileceğiniz en fazla PTU sayısıdır. Kota, Azure tarafından uygulanan bir ilke sınırıdır ve ilişkili bir maliyeti yoktur. Kotanın kapsamı teklif düzeyinde (Genel Sağlanan, Sağlanan Veri Bölgesi ve Bölgesel Sağlananlar ayrı kota havuzlarıdır) ve bölge düzeyindedir (örneğin, Doğu ABD'deki kota Batı Avrupa için geçerli değildir).

Birkaç bölgede uygun aboneliklere varsayılan kota miktarı atanır.

Kapasite nedir?

Kapasite, dağıtılmaya hazır olan model sürümü başına gerçek PTU miktarıdır. Kapasite dağıtım zamanında ayrılır ve dağıtımın ömrü boyunca tutulur.

Önemli

PTU kotası olması kapasitenin kullanılabilir olduğunu garanti etmez. Bölgedeki kapasite istenen PTU sayısı için yetersizse dağıtım başarısız olur. Dağıtım planlamadan veya rezervasyon satın almadan önce her zaman kapasite kullanılabilirliğini doğrulayın .

Kapasite sınırlı ve dinamik olarak değişen bir kaynak olduğundan:

  • Kapasite kullanılabilirliği tüm bölgelerde ve modellerde müşteri talebine göre gün boyunca değişir.
  • Bir dağıtımın silinmesi veya ölçeğinin daraltılması, kapasitesini bölge havuzuna geri gönderir. Dağıtımı daha sonra yeniden oluşturur veya ölçeklendirirseniz aynı kapasitenin kullanılabilir olduğunu garanti etmezsiniz.

Kota nasıl alınır

Çeşitli bölgelerdeki uygun aboneliklere varsayılan genel, veri bölgesi ve bölgesel sağlanan kota miktarı atanır. Kota isteği formunu göndererek daha fazla kota veya kapasite isteyebilirsiniz. Form, Foundry portalındaki Kota sayfasında da kullanılabilir.

Onay, kota kullanılabilirliğine bağlı olarak birkaç gün sürebilir ve istek onaylandığında bir e-posta bildirimi alırsınız.

Kullanılabilir kapasiteyi denetleme

Gerçek zamanlı kapasite kullanılabilirliğini denetlemek için:

  • Bir dağıtım oluşturmaya çalıştığınızda kapasitenin kullanılabilir olup olmadığını belirten Ve hedef bölgenizde yeterli kapasite yoksa kullanılabilir kapasiteye sahip alternatif bölgeleri listeleyen Foundry portalı dağıtım deneyimini kullanın.
  • Belirli bir model ve bölge için dağıtılabilir PTU sayısı üst sınırını program aracılığıyla sorgulamak için model kapasiteleri API'sini kullanın.

Hedef bölgenizin kullanılabilir kapasitesi yoksa:

  • Daha fazla kota veya kapasite istemek için kota istek formunu gönderin.
  • Daha az PTU ile dağıtmayı deneyin.
  • Kapasite kullanılabilirliği gün boyunca dinamik olarak değiştiğinden daha sonra yeniden deneyin.

Sağlanan dağıtımlar oluşturma ve kapasite kısıtlamalarını işleme hakkında adım adım yönergeler için bkz. Sağlanan dağıtımları kullanmaya başlama.

PTU boyutlandırma

Sağlanan bir dağıtım oluşturmadan önce iş yükünüzün kaç PTU gerektirdiğini tahmin edin. Hesaplamayı üç faktör yönlendirir:

  • İstek şekli: Dakika başına beklenen istekleriniz (RPM), ortalama istem boyutu (giriş belirteçleri) ve ortalama yanıt boyutu (çıkış belirteçleri).
  • Çıkış-giriş oranı: Çıkış belirteçleri, giriş belirteçlerinden daha fazla işleme kapasitesi gerektirir. Her model, kapasite amacıyla bir çıkış belirtecinin eşdeğer olduğu giriş belirtecinin sayısını ifade eden bir orana sahiptir. GPT-4.1 ve üzeri Azure OpenAI modellerinde bu oran modelin çıkış ve giriş belirteçleri arasındaki genel standart fiyatlandırma oranıyla eşleşir. Bu oran hakkında daha fazla bilgi için bkz . Modele göre dağıtım parametreleri ve aktarım hızı değerleri.
  • Önbellek oranı: İstem önbelleğinden sunulan giriş belirteçlerinin kesri. Önbelleğe alınan belirteçler PTU kapasitesi kullanmaz, bu nedenle daha yüksek bir önbellek oranı gereken PTU'ları azaltır.

Boyutlandırma hesaplaması, beklenen belirteç birimlerinizi tek bir normalleştirilmiş TPM şekline dönüştürmek için bu faktörleri kullanır, ardından gerekli PTU sayısına ulaşmak için modelin PTU başına Giriş TPM değerine bölünür.

Formülleri ve model başına değerleri kullanarak el ile boyutlandırabilir veya kılavuzlu bir tahmin için Foundry portalındaki kapasite hesaplayıcısını kullanabilirsiniz.

Formüller, çözümlü örnekler ve kapasite hesaplayıcısına ilişkin başvuru bilgileri dahil olmak üzere boyutlandırma metodolojisinin tamamı için bkz. İş yükü için PTU boyutlandırmasının belirlenmesi.

Sağlanan aktarım hızı dağıtım türleri

Sağlanan aktarım hızı üç dağıtım türü olarak kullanılabilir. Bunların tümü, devreye alındıklarında özel kapasite ve öngörülebilir gecikme sağlar. Fark, çıkarım trafiğinizin işlendiği yerdir:

Dağıtım türü sku-name CLI'da Veri yönlendirme En iyi kullanım alanı:
Genel Sağlandı GlobalProvisionedManaged Dünya genelinde Azure bölgeleri arasında yönlendirildi En yüksek kullanılabilirlik; yönlendirme bölgesi kısıtlanmamışsa
Veri Bölgesi Sağlandı DataZoneProvisionedManaged Coğrafi bölge (ABD veya AB) içinde kalır Bölgeselden daha yüksek kullanılabilirliğe sahip bölge düzeyinde veri yerleşimi
Bölgesel Tahsis Edildi ProvisionedManaged Dağıtımın belirli Azure bölgesinde kalır Katı tek bölgeli veri yerleşimi gereksinimleri

Standart, toplu iş ve sağlanmış dahil olmak üzere tüm Foundry dağıtım türlerinin tam karşılaştırması için Microsoft Foundry Models için dağıtım türleri bölümüne bakın.

Desteklenen modeller

Sağlanmış aktarım hızını destekleyen Foundry Modellerinin tam listesi için, buna her modelin hangi dağıtım türlerini desteklediği ve bölgesel kullanılabilirlik de dahil olmak üzere, Azure tarafından doğrudan satılan Foundry Modelleri için Bölge kullanılabilirliği bölümüne bakın.

Taşma

Spillover, taşma isteklerini aynı Foundry kaynağındaki ilgili standart dağıtıma otomatik olarak yönlendirerek ayrılmış dağıtımlardaki trafik dalgalanmalarını yönetmeye yönelik isteğe bağlı bir yapılandırmadır. Sağlanmış bir dağıtım tam kapasiteyle kullanıldığında ve 200 dışı yanıtlar döndürdüğünde (örneğin, PTU'lar tükendiğinde 429 gibi), spillover bu istekleri standart dağıtıma yönlendirerek trafik artışları sırasında kesintileri azaltmaya yardımcı olur.

Sağlanan aktarım hızını destekleyen tüm Azure OpenAI Foundry Modelleri, taşmayı da destekler. Diğer sağlayıcılardan (Azure DeepSeek, Meta Llama) Döküm Modelleri şu anda taşma desteği sunmaz.

Spillover, bir dağıtımdaki tüm istekler için yapılandırılabilir veya istek üst bilgisi kullanılarak x-ms-spillover-deployment istek başına denetlenebilir. Yapılandırma adımları için Sağlanan dağıtımlarda taşma kullanarak trafiği yönetme konusuna bakın.

Saatlik faturalama ve Azure rezervasyonları

Ayrılmış dağıtımlar iki faturalama modelini destekler: esnek, kısa süreli kullanım için saatlik faturalama ve indirimli fiyatla uzun süreli üretim iş yükleri için Azure Reservations.

Saatlik faturalama

Tahsis edilen tüm dağıtım türleri, tüketilen token sayısından bağımsız olarak, sağlanan PTU sayısına göre saatlik bir ücret ($/PTU/sa) üzerinden faturalandırılır. Sayaç, dağıtım oluşturulduğunda başlar ve silindiğinde durur.

Saatlik faturalama, yeni bir modeli karşılaştırma veya hackathon gibi bir olay için geçici olarak ölçeği artırma gibi kısa vadeli senaryolar için pratiktir. Ancak, aşağıdaki nedenlerden dolayı saatlik faturalamada kalmak için ayrılmış dağıtımları trafiğe göre büyütüp küçültmeyi planlamayın:

  • Yeniden ölçeği artırmanız gerektiğinde kapasite kullanılamayabilir.

  • Yüksek kullanımda sürekli saatlik faturalama genellikle rezervasyon fiyatlandırmalarını aşıyor.

Saatlik faturalama ve sağlanan dağıtımları ölçeklendirme hakkında eksiksiz yönergeler için bkz. Saatlik faturalama.

Azure rezervasyonları

Azure rezervasyonları, tek tek dağıtımlara değil, PTU faturalama sayacına (Azure’un ücretlendirmeyi dayandırdığı saatlik kullanım sayacı) uygulanan mali bir indirimdir. 1 aylık veya 1 yıllık taahhüt karşılığında indirimli geçerli bir $/PTU/hr oranı alırsınız. Rezervasyonlar hakkında dikkate alabileceğiniz bazı önemli noktalar şunlardır:

  • Rezervasyonlar dağıtım türü (Genel, Veri Bölgesi veya Bölgesel) başına satın alınır ve kapsamı bir veya daha fazla aboneliği veya kaynak grubunu kapsayacak şekilde ayarlanabilir.

  • Rezervasyonlar ve dağıtımlar gevşek bir şekilde birleştiğinden, dağıtımları ve rezervasyonları bağımsız olarak oluşturursunuz.

  • Rezervasyonlar kapasite garantisi vermez. Önce kapasitenin kullanılabilir olduğunu onaylamak için dağıtımlar oluşturun, ardından indirimli fiyatı kilitlemek için rezervasyonu satın alın.

Rezervasyonları boyutlandırma, satın alma ve yönetme hakkında eksiksiz yönergeler için bkz. sağlanan aktarım hızı için Azure Rezervasyonları.

PTU maliyetlerini ve faturalamasını izleme

PTU kullanımınızı ve rezervasyon maliyetlerinizi izlemek ve analiz etmek için Microsoft Maliyet Yönetimi kullanın:

Ne yapmak istiyorsunuz? Makale
Dağıtımlarınızda ayrılmış PSU'larınızın yüzde kaçının etkin olarak kullanıldığını görün Azure rezervasyon kullanımını görüntüle
Satın alma geçmişini ve para iadesi etkinliklerini gözden geçirin Azure Rezervasyon satın alma ve para iadesi işlemlerini görüntüleme
Daha net dağıtım başına faturalama görünürlüğü için rezervasyonlarınızın amorti edilmiş maliyet etkisini anlama Amorti edilmiş avantaj maliyetlerini görüntüleme
Şirket içi maliyet atfı için rezervasyon maliyetlerini ekipler veya projeler arasında dağıtma Azure Rezervasyon maliyetlerini geri ödeme
Rezervasyon süresinin dolmasını önlemek ve indirimli fiyatı korumak için otomatik yenilemeyi ayarlama Otomatik olarak Azure rezervasyonları yenileyin

İlgili içerik

  • Last updated on