Microsoft Döküm Modelleri için dağıtım türleri

Microsoft Foundry'de bir model dağıttığınızda şunları belirleyen bir dağıtım türü seçersiniz:

• Verilerinizin işlendiği yer (genel, veri bölgesi veya tek bölge)
• Ödeme yönteminiz (belirteç başına ödeme veya ayrılmış kapasite)
• Performans özellikleri (gecikme süresi varyansı, aktarım hızı sınırları)

Hizmet iki ana kategori sunar: standart (belirteç başına ödeme) ve önceden ayrılmış (ayrılmış kapasite). Her kategoride, uyumluluk gereksinimlerinize göre genel, veri bölgesi veya bölgesel işlemeyi seçebilirsiniz.

Önemli

Tüm dağıtım türleri için Veri yerleşimi: Beklemede depolanan veriler belirlenen Azure coğrafyada kalır. Ancak çıkarım verileri aşağıdaki gibi işlenir:

• Global türleri: herhangi bir Azure bölgede işlenebilir
• DataZone türleri: Yalnızca Microsoft belirtilen veri bölgesinde (ABD veya AB) işlenir
• Standart/Bölgesel türler: Dağıtım bölgesinde işlenir

Veri yerleşimi hakkında daha fazla bilgi edinin.

Dağıtım türü karşılaştırması

Dağıtım türü	SKU kodu	Veri işleme	Fatura	En iyisi için
Genel Standart	GlobalStandard	Herhangi bir Azure bölgesi	Jeton başına ödeme	Genel iş yükleri, en yüksek kota
Genel Sağlandı	GlobalProvisionedManaged	Herhangi bir Azure bölgesi	Ayrılmış PTU	Tahmin edilebilir yüksek aktarım hızı
Genel Toplu İş	GlobalBatch	Herhangi bir Azure bölgesi	50% indirim, 24 saat	Büyük asenkron görevler
Veri Bölgesi Standart	DataZoneStandard	Veri bölgesi içinde	Jeton başına ödeme	AB/ABD veri bölgesi uyumluluğu
Veri Bölgesi Sağlandı	DataZoneProvisionedManaged	Veri bölgesi içinde	Ayrılmış PTU	Veri bölgesi + tahmin edilebilir aktarım hızı
Veri Bölgesi Toplu İşlemi	DataZoneBatch	Veri bölgesi içinde	50% indirim	Veri bölgesi olan büyük zaman uyumsuz işler
Standart	Standard	Tek bölge	Jeton başına ödeme	Bölgesel uyumluluk, düşük hacimli
Bölgeye Tahsis Edildi	ProvisionedManaged	Tek bölge	Ayrılmış PTU	Bölgesel uyumluluk + aktarım hızı
Geliştirici	DeveloperTier	Herhangi bir Azure bölgesi	Jeton başına ödeme	Yalnızca ince ayarlı model değerlendirmesi

Not

Tüm modeller tüm dağıtım türlerini desteklemez. Dağıtım türüne ve bölgeye göre model kullanılabilirliği için doğrudan Azure tarafından satılan Foundry Modellerini denetleyin.

Not

SLA garantileri dağıtım türüne göre farklılık gösterir. Sağlanan türler garantili aktarım hızı ve daha düşük gecikme süresi varyansı sağlar. Standart türler en iyi çaba hizmetini sunar. Geliştirici dağıtımları SLA içermez. Ayrıntılar için Azure OpenAI Hizmeti'nin Azure SLA'sına bakın.

Ipucu

Ayrıntılı fiyatlandırma için bkz. Azure OpenAI Service pricing.

Doğru dağıtım türünü seçin

Dağıtım türünü seçmek için aşağıdaki ölçütleri kullanın:

Veri yerleşimi gereksinimine göre

• Kısıtlama yok: Global Standart veya Global Sağlama kullanın
• AB veri bölgesi: Bir AB bölgesinde DataZone Standard veya DataZone Provisioned kullanın
• ABD veri bölgesi: Bir ABD bölgesinde DataZone Standard veya DataZone Provisioned kullanma
• Yalnızca tek bölge: Standart veya Bölgesel Sağlanmış kullanın

İş yükü düzenine göre

• Değişken, ani trafik: Standart veya Genel Standart (belirteç başına ödeme) kullanın
• Tutarlı yüksek hacim: Sağlanan türleri kullan (ayrılmış kapasite)
• Büyük toplu işler (zamana duyarlı değil): Global Batch veya DataZone Batch kullanın (50% maliyet tasarrufu)
• Hassas ayarlı model değerlendirmesi: Geliştirici kullanma (SLA yok, en düşük maliyet)

Gecikme süresi gereksinimine göre

• Düşük gecikme süresi varyansı gerekiyor: Sağlanan türleri kullanma
• Gecikme süresi varyansı kabul edilebilir: Standart türleri kullanma

Veri işleme konumları

Standart dağıtımlar için üç seçenek vardır: genel, veri bölgesi ve Azure coğrafya. Sağlanan dağıtımlar için iki seçenek vardır: global ve Azure coğrafyası. Genel Standart, çoğu iş yükü için ortak bir başlangıç noktasıdır.

Genel dağıtımlar

Genel dağıtımlar, trafiği kullanılabilir veri merkezlerine dinamik olarak yönlendirmek için Azure genel altyapısını kullanır. Genel dağıtımlar en yüksek ilk aktarım hızı sınırlarını ve en geniş model kullanılabilirliğini sunar.

Yüksek hacimli iş yükleri için gecikme süresinin artmasıyla karşılaşabilirsiniz. Büyük ölçekte daha düşük gecikme süresi varyansı gerekiyorsa, sağlanan dağıtım türlerini kullanın.

Küresel dağıtımlar, yeni modelleri ve özellikleri ilk olarak alır.

Veri Bölgesi dağıtımları

Genel dağıtım türleri için istemler ve yanıtlar, modelin dağıtıldığı herhangi bir coğrafyada işlenebilir. DataZone dağıtım türleri için istemler ve yanıtlar yalnızca belirtilen veri bölgesinde işlenir:

• Birleşik Devletler: ABD içinde herhangi bir yerde işlenen veriler
• Avrupa Birliği: Herhangi bir AB üyesi ülke içinde işlenen veriler

doğrudan Azure tarafından satılan Foundry Modellerinin "Dağıtım türüne göre bölge kullanılabilirliğini modelleme" bölümünde daha fazla bilgi edinin.

Not

Genel Standart ve Veri Bölgesi Standart dağıtım türlerinde birincil bölge hizmette kesinti yaşarsa başlangıçta bu bölgeye yönlendirilen tüm trafik etkilenir. Daha fazla bilgi edinmek için yüksek kullanılabilirlik ve olağanüstü durum kurtarma kılavuzuna bakın.

Genel Standart

• Koddaki SKU adı: GlobalStandard

Genel Standart dağıtımlar, trafiği kullanılabilir veri merkezlerine dinamik olarak yönlendirmek için Azure genel altyapısını kullanır. Bu dağıtım türü en yüksek varsayılan kotayı sağlar ve birden çok kaynak arasında yük dengeleme gereksinimini ortadan kaldırır.

Yüksek tutarlı hacimli müşteriler daha fazla gecikme süresi değişkenliği yaşayabilir. Eşik model başına ayarlanır. Daha fazla bilgi edinmek için Kotalar sayfasına bakın. Büyük iş yükü kullanımında daha düşük gecikme süresi varyansı gerektiren uygulamalar için sağlanan aktarım hızını göz önünde bulundurun.

Genel Standart, kullandıkça öde temelinde daha hızlı yanıt süreleri için öncelik işlemeyi (önizleme) destekler. Daha fazla bilgi edinmek için Foundry modelleri için öncelikli işleme (önizleme) başlıklı konuyu inceleyin.

Genel Sağlandı

• Koddaki SKU adı: GlobalProvisionedManaged

Genel Sağlanan dağıtımlar, trafiği kullanılabilir veri merkezlerine dinamik olarak yönlendirmek için Azure genel altyapısını kullanır. Bu dağıtım türü, öngörülebilir aktarım hızı için ayrılmış model işleme kapasitesi sağlar ve genel yönlendirmeyi garantili kapasiteyle birleştirir.

Sağlanan aktarım hızıyla, belirli bir işlem kapasitesi düzeyini garanti eden sabit sayıda sağlanan aktarım hızı birimi (PTU) satın alırsınız. Bu dağıtım türü, Genel Standart'tan daha düşük ve daha tutarlı bir gecikme süresi sağlar. Daha fazla bilgi edinmek için bkz. Sağlanan aktarım hızı kavramları.

Genel Toplu İşlem

• Koddaki SKU adı: GlobalBatch

Genel Batch , büyük ölçekli ve yüksek hacimli işleme görevlerini işler. Ayrı kotaya ve 24 saatlik hedef dönüşe sahip zaman uyumsuz istek gruplarını Genel Standart'tan 50% daha az maliyetle işleyebilirsiniz. Toplu işlemde, tek seferde bir istek göndermek yerine tek bir dosyada çok sayıda istek gönderirsiniz. Global Batch isteklerinin, çevrimiçi iş yüklerinin kesintiye uğramasını önleyen ayrı bir kuyruk belirteci kotası vardır.

Yaygın kullanım örnekleri:

• Büyük ölçekli veri işleme: Veri kümelerini paralel olarak analiz edin.
• İçerik oluşturma: Ürün açıklamaları veya makaleler gibi büyük hacimli metinler oluşturun.
• Belge gözden geçirme ve özetleme: Uzun belgeleri işleme ve özetleme.
• Müşteri desteği otomasyonu: Aynı anda çok sayıda sorgu işleyin.
• Veri ayıklama ve analiz: Büyük miktarda yapılandırılmamış veriden bilgi ayıklayın ve analiz edin.
• Doğal dil işleme (NLP) görevleri: Büyük veri kümelerinde yaklaşım analizi veya çevirisi gerçekleştirin.

Not

Toplu dağıtımlar, maliyet tasarrufu sağlamak için gerçek zamanlı yanıt verme hızını feda eder. Toplu isteklerin gerçek zamanlı bir SLA'sı yoktur; bunlar 24 saat içinde tamamlanmayı hedefler, ancak daha uzun sürebilir.

Veri Bölgesi Standart

• Koddaki SKU adı: DataZoneStandard

Veri Bölgesi Standart dağıtımları, trafiği Microsoft tanımlı veri bölgesi (ABD veya AB) içindeki veri merkezlerine dinamik olarak yönlendirir. Bu dağıtım türü, verileri belirtilen bölgede tutarken coğrafya tabanlı dağıtım türlerinden daha yüksek varsayılan kotalar sağlar.

Yüksek tutarlı hacimli müşteriler daha fazla gecikme süresi değişkenliği yaşayabilir. Eşik model başına ayarlanır. Daha fazla bilgi edinmek için kotalar ve sınırlar sayfasına bakın. Büyük birimde düşük gecikme süresi varyansı gerektiren iş yükleri için sağlanan dağıtım türlerini göz önünde bulundurun.

Veri Bölgesi Standart, kullandıkça öde temelinde daha hızlı yanıt süreleri için öncelik işlemeyi (önizleme) destekler. Daha fazla bilgi edinmek için Foundry modelleri için öncelikli işleme (önizleme) başlıklı konuyu inceleyin.

Veri Bölgesi Kuruldu

• Koddaki SKU adı: DataZoneProvisionedManaged

Veri Bölgesi Sağlanan dağıtımlar, ayrılmış model işleme kapasitesi sağlarken trafiği Microsoft belirtilen veri bölgesi (ABD veya AB) içinde dinamik olarak yönlendirir. Bu dağıtım türü, veri bölgesi uyumluluğunu yüksek ve öngörülebilir aktarım hızıyla birleştirir.

Veri Bölgesi Kümesi

• Koddaki SKU adı: DataZoneBatch

Veri Bölgesi Batch dağıtımları, 50% maliyet tasarrufu ve 24 saatlik geri dönüş dahil olmak üzere Genel Batch ile aynı işlevselliği sağlar. Trafik yalnızca Microsoft tanımlı veri bölgesi (ABD veya AB) içindeki veri merkezlerine yönlendirilir.

Standart

• Koddaki SKU adı: Standard

Standart dağıtımlarda belirteç bazlı faturalandırma kullanılır. Yalnızca tükettiğin kadar ödersin. Her bölgede kullanılabilen modeller ve aktarım hızı sınırlı olabilir.

Standart dağıtımlar, yüksek ani artışa sahip düşük-orta hacimli iş yükleri için uygundur. Yüksek tutarlı hacimli müşteriler daha fazla gecikme süresi değişkenliği yaşayabilir.

Bölgesel Tahsis Edildi

• Koddaki SKU adı: ProvisionedManaged

Bölgesel Sağlanan dağıtımlar, bir dağıtımda ihtiyacınız olan aktarım hızı miktarını belirtmenize olanak sağlar. Hizmet daha sonra gerekli model işleme kapasitesini ayırır ve sizin için hazır olmasını sağlar. Aktarım hızı, dağıtımınız için aktarım hızının normalleştirilmiş bir yolu olan sağlanan aktarım hızı birimleri (PTU' lar) açısından tanımlanır. Her model-sürüm çifti, dağıtmak için farklı miktarda PTU gerektirir ve PTU başına farklı miktarda aktarım hızı sağlar. Minimum PTU gereksinimleri modele göre farklılık gösterir. Geçerli minimumlar ve kullanılabilir kapasite için bkz. Sağlanan aktarım hızı kavramları.

Geliştirici (ince ayarlı modeller için)

• Koddaki SKU adı: DeveloperTier

Geliştirici dağıtım türü yalnızca ince ayarlı model değerlendirmesi için tasarlanmıştır. Özel modellerin uygun maliyetli testini sağlar, ancak veri yerleşimi garantilerini veya SLA'yı içermez. Geliştirici dağıtımlarının 24 saatlik sabit bir ömrü vardır ve süre sonundan sonra otomatik olarak silinir. Geliştirici dağıtım türünü kullanma hakkında daha fazla bilgi edinmek için ince ayar kılavuzuna bakın.

Dağıtım sorunlarını giderme

Dağıtımları oluştururken veya kullanırken sık karşılaşılan sorunlar:

Sorunu	Neden	Çözünürlük
Dağıtım türü mevcut değil.	Model seçilen türü desteklemiyor	Dağıtım türüne göre model kullanılabilirliğini denetleme
Kota aşıldı	Dakika başına jeton sayısı için abonelik sınırına ulaşıldı	Azure portalında kota artışı isteme veya farklı bir bölge kullanma
Bölge kullanılamıyor	Model seçili bölgede dağıtılmıyor	Modelin kullanılabilirlik listesinden bir bölge seçin
Sağlanan kapasite kullanılamıyor	Bölgede PTU kapasitesi yok	Farklı bir bölge deneyin veya daha geniş bir kullanılabilirlik için Genel Sağlanan'i kullanın

Dağıtım türüne göre kota sınırları için bkz Foundry Modelleri kotaları ve sınırları.

Azure İlkesi ile dağıtım türlerini kısıtlama

Azure İlkesi, kuruluş standartlarını zorunlu kılmaya ve uyumluluğu büyük ölçekte değerlendirmeye yardımcı olur. Uyumluluk panosu aracılığıyla ortamın genel durumunu değerlendirebilir ve kaynak başına, ilke başına ayrıntı düzeyinde detaya gidebilirsiniz. Azure İlkesi ayrıca mevcut kaynaklar için toplu düzeltmeyi ve yeni kaynaklar için otomatik düzeltmeyi destekler. Döküm Araçları için Azure İlkesi ve belirli yerleşik denetimler hakkında daha fazla bilgi edinin.

Belirli bir Dökümhane dağıtım türüne erişimi devre dışı bırakmak için aşağıdaki ilkeyi kullanın. Kısıtlamak istediğiniz dağıtım türünün SKU adıyla GlobalStandard ifadesini değiştirin.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

İlgili içerik

• Dökümhane portalında Microsoft Foundry Modellerini Dağıt
• Microsoft Döküm Modelleri kaynağında Azure OpenAI oluşturma ve dağıtma
• Foundry modelleri doğrudan Azure tarafından satılır
• Dağıtım türüne göre bölge kullanılabilirliğini modelleme
• Microsoft Döküm Modelleri kotaları ve sınırları
• Sağlanan aktarım hızı kavramları
• Genel Toplu İşlem
• Azure OpenAI Service fiyatlandırma
• DökümHane Modelleri için veri gizliliği ve güvenliği
• Yüksek kullanılabilirlik ve olağanüstü durum kurtarma