Microsoft Foundry Modelleri için dağıtım türleri

Microsoft Foundry'de bir model dağıttığınızda şunları belirleyen bir dağıtım türü seçersiniz:

• Verilerinizin işlendiği yer (genel, veri bölgesi veya tek bölge)
• Ödeme yönteminiz (belirteç başına ödeme veya ayrılmış kapasite)
• Performans özellikleri (gecikme süresi varyansı, aktarım hızı sınırları)

Hizmet, iki ana kategori sunar: standart (belirteç başına ödeme) ve özelleştirilmiş (ayrılmış kapasite). Her kategoride, uyumluluk gereksinimlerinize göre genel, veri bölgesi veya bölgesel işlemeyi seçebilirsiniz.

Önemli

Tüm dağıtım türleri için veri yerleşimi: Beklemede depolanan veriler belirlenen Azure coğrafyasında kalır. Ancak çıkarım verileri aşağıdaki gibi işlenir:

• Genel türler: Herhangi bir Azure bölgesinde işlenebilir
• DataZone türleri: Yalnızca Microsoft tarafından belirtilen veri bölgesinde (ABD veya AB) işlenir
• Standart/Bölgesel türler: Dağıtım bölgesinde işlenir

Veri yerleşimi hakkında daha fazla bilgi edinin.

Dağıtım türü karşılaştırması

Dağıtım türü	SKU kodu	Bilgi işlem	Faturalandırma	En iyi kullanım alanı:
Genel Standart	GlobalStandard	Herhangi bir Azure bölgesi	Token başına ödeme	Genel iş yükleri, en yüksek kota
Genel Sağlandı	GlobalProvisionedManaged	Herhangi bir Azure bölgesi	Ayrılmış PTU	Tahmin edilebilir yüksek aktarım hızı
Genel Toplu İşlem	GlobalBatch	Herhangi bir Azure bölgesi	50% indirim, 24 saat	Büyük asenkron işler
Veri Bölgesi Standart	DataZoneStandard	Veri bölgesi dahilinde	Token başına ödeme	AB/ABD veri bölgesi uyumluluğu
Veri Bölgesi Sağlandı	DataZoneProvisionedManaged	Veri bölgesi dahilinde	Ayrılmış PTU	Veri bölgesi + tahmin edilebilir aktarım hızı
Veri Bölgesi Kümesi	DataZoneBatch	Veri bölgesi dahilinde	50% indirim	Veri bölgesi olan büyük zaman uyumsuz işler
Standart	Standard	Tek bölge	Token başına ödeme	Bölgesel uyumluluk, düşük hacimli
Bölgesel Tahsis Edildi	ProvisionedManaged	Tek bölge	Ayrılmış PTU	Bölgesel uyumluluk + aktarım hızı
Geliştirici	DeveloperTier	Herhangi bir Azure bölgesi	Token başına ödeme	Yalnızca ince ayarlı model değerlendirmesi

Uyarı

Tüm modeller tüm dağıtım türlerini desteklemez. Dağıtım türüne ve bölgeye göre model kullanılabilirliği için Azure'un doğrudan sattığı Döküm Modellerini kontrol edin.

Uyarı

SLA garantileri dağıtım türüne göre farklılık gösterir. Sağlanan türler garantili aktarım hızı ve daha düşük gecikme süresi varyansı sağlar. Standart türler en iyi çaba hizmetini sunar. Geliştirici dağıtımları SLA içermez. Ayrıntılar için bkz. Azure OpenAI Hizmeti için Azure SLA.

Tavsiye

Ayrıntılı fiyatlandırma için bkz. Azure OpenAI Hizmeti fiyatlandırması.

Doğru dağıtım türünü seçin

Dağıtım türünü seçmek için aşağıdaki ölçütleri kullanın:

Veri yerleşimi gereksinimine göre

• Kısıtlama yok: Genel Standart veya Genel Sağlanmış kullanın
• AB veri bölgesi: AB bölgesinde DataZone Standard veya DataZone Provisioned kullanın
• ABD veri bölgesi: Bir ABD bölgesinde DataZone Standard veya DataZone Provisioned kullanma
• Yalnızca tek bölge: Standart veya Bölgesel Sağlanmış kullanın

İş yükü düzenine göre

• Değişken, ani trafik: Standart veya Genel Standart (belirteç başına ödeme) kullanın
• Tutarlı yüksek hacim: Sağlanan türleri kullanın (rezerve kapasite)
• Büyük toplu işler (zamana duyarlı değil): Global Batch veya DataZone Batch kullanın (50% maliyet tasarrufu)
• Hassas ayarlı model değerlendirmesi: Geliştirici kullanma (SLA yok, en düşük maliyet)

Gecikme süresi gereksinimine göre

• Düşük gecikme süresi varyansı gerekiyor: Sağlanan türleri kullanma
• Gecikme süresi varyansı kabul edilebilir: Standart türleri kullanma

Veri işleme konumları

Standart dağıtımlar için üç seçenek vardır: genel, veri bölgesi ve Azure coğrafyası. Sağlanan dağıtımlar için iki seçenek vardır: küresel ve Azure coğrafyası. Genel Standart, çoğu iş yükü için ortak bir başlangıç noktasıdır.

Genel dağıtımlar

Genel dağıtımlar, trafiği kullanılabilir veri merkezlerine dinamik olarak yönlendirmek için Azure'ın genel altyapısını kullanır. Genel dağıtımlar en yüksek ilk aktarım hızı sınırlarını ve en geniş model kullanılabilirliğini sunar.

Yüksek hacimli iş yükleri için gecikme süresinin artmasıyla karşılaşabilirsiniz. Büyük ölçekte daha düşük gecikme süresi varyansı gerekiyorsa, sağlanan dağıtım türlerini kullanın.

Genel dağıtımlar önce yeni modelleri ve özellikleri alır.

Veri Bölgesi dağıtımları

Genel dağıtım türleri için istemler ve yanıtlar, modelin dağıtıldığı herhangi bir coğrafyada işlenebilir. DataZone dağıtım türleri için istemler ve yanıtlar yalnızca belirtilen veri bölgesinde işlenir:

• AMERIKA Birleşik Devletleri: ABD içinde herhangi bir yerde işlenen veriler
• Avrupa Birliği: Herhangi bir AB üyesi ülke içinde işlenen veriler

Doğrudan Azure tarafından satılan Foundry Modelleri hakkında daha fazla bilgiyi "Dağıtım Türüne Göre Bölge Kullanılabilirliği" bölümünde edinin.

Uyarı

Genel Standart ve Veri Bölgesi Standart dağıtım türlerinde birincil bölge hizmette kesinti yaşarsa başlangıçta bu bölgeye yönlendirilen tüm trafik etkilenir. Daha fazla bilgi edinmek için iş sürekliliği ve olağanüstü durum kurtarma kılavuzuna bakın.

Genel Standart

• Koddaki SKU adı: GlobalStandard

Genel Standart dağıtımlar, trafiği kullanılabilir veri merkezlerine dinamik olarak yönlendirmek için Azure'ın genel altyapısını kullanır. Bu dağıtım türü en yüksek varsayılan kotayı sağlar ve birden çok kaynak arasında yük dengeleme gereksinimini ortadan kaldırır.

Yüksek tutarlı hacimli müşteriler daha fazla gecikme süresi değişkenliği yaşayabilir. Eşik model başına ayarlanır. Daha fazla bilgi edinmek için Kotalar sayfasına bakın. Büyük iş yükü kullanımında daha düşük gecikme süresi varyansı gerektiren uygulamalar için sağlanan aktarım hızını göz önünde bulundurun.

Global Standard, kullandıkça öde temelinde daha hızlı yanıt süreleri için öncelikli işlemeyi destekler. Daha fazla bilgi edinmek için bkz Foundry modelleri için öncelik işleme (önizleme).

Genel Sağlandı

• Koddaki SKU adı: GlobalProvisionedManaged

Genel Sağlanan dağıtımlar, trafiği kullanılabilir veri merkezlerine dinamik olarak yönlendirmek için Azure'ın genel altyapısını kullanır. Bu dağıtım türü, öngörülebilir aktarım hızı için ayrılmış model işleme kapasitesi sağlar ve genel yönlendirmeyi garantili kapasiteyle birleştirir.

Sağlanan aktarım hızıyla, belirli bir işlem kapasitesi düzeyini garanti eden sabit sayıda sağlanan aktarım hızı birimi (PTU) satın alırsınız. Bu dağıtım türü, Genel Standart'tan daha düşük ve daha tutarlı bir gecikme süresi sağlar. Daha fazla bilgi edinmek için bkz. Sağlanan aktarım hızı kavramları.

Genel Toplu İşlem

• Koddaki SKU adı: GlobalBatch

Genel Batch , büyük ölçekli ve yüksek hacimli işleme görevlerini işler. Ayrı kotaya ve 24 saatlik hedef dönüşe sahip zaman uyumsuz istek gruplarını Genel Standart'tan 50% daha az maliyetle işleyebilirsiniz. Toplu işlemde, tek seferde bir istek göndermek yerine tek bir dosyada çok sayıda istek gönderirsiniz. Global Batch istekleri, çevrimiçi iş yüklerinizin kesintiye uğramasını önlemek için kendi sıralı belirteç kotasına sahiptir.

Yaygın kullanım örnekleri:

• Büyük ölçekli veri işleme: Veri kümelerini paralel olarak analiz edin.
• İçerik oluşturma: Ürün açıklamaları veya makaleler gibi büyük hacimli metinler oluşturun.
• Belge gözden geçirme ve özetleme: Uzun belgeleri işleme ve özetleme.
• Müşteri desteği otomasyonu: Aynı anda çok sayıda sorgu işleyin.
• Veri ayıklama ve analiz: Büyük miktarda yapılandırılmamış veriden bilgi ayıklayın ve analiz edin.
• Doğal dil işleme (NLP) görevleri: Büyük veri kümelerinde yaklaşım analizi veya çevirisi gerçekleştirin.

Uyarı

Toplu dağıtımlar, maliyet tasarrufu sağlamak için gerçek zamanlı yanıt verme hızını değiş tokuş eder. Toplu iş isteklerinin gerçek zamanlı SLA'sı yoktur; bunlar 24 saat içinde tamamlanmasını hedefler ancak daha uzun sürebilir.

Veri Bölgesi Standart

• Koddaki SKU adı: DataZoneStandard

Veri Bölgesi Standart dağıtımları, trafiği Microsoft tarafından tanımlanan veri bölgesi (ABD veya AB) içindeki veri merkezlerine dinamik olarak yönlendirir. Bu dağıtım türü, verileri belirtilen bölgede tutarken coğrafya tabanlı dağıtım türlerinden daha yüksek varsayılan kotalar sağlar.

Yüksek tutarlı hacimli müşteriler daha fazla gecikme süresi değişkenliği yaşayabilir. Eşik model başına ayarlanır. Daha fazla bilgi edinmek için kotalar ve sınırlar sayfasına bakın. Büyük birimde düşük gecikme süresi varyansı gerektiren iş yükleri için sağlanan dağıtım türlerini göz önünde bulundurun.

Veri Bölgesi Standart, kullandıkça öde temelinde daha hızlı yanıt süreleri için öncelik işlemeyi (önizleme) destekler. Daha fazla bilgi edinmek için bkz Foundry modelleri için öncelik işleme (önizleme).

Veri Bölgesi Sağlandı

• Koddaki SKU adı: DataZoneProvisionedManaged

Veri Bölgesi Sağlanan dağıtımlar, ayrılmış model işleme kapasitesi sağlarken Trafiği Microsoft tarafından belirtilen veri bölgesi (ABD veya AB) içinde dinamik olarak yönlendirir. Bu dağıtım türü, veri bölgesi uyumluluğunu yüksek ve öngörülebilir aktarım hızıyla birleştirir.

Veri Bölgesi Toplu İşlemi

• Koddaki SKU adı: DataZoneBatch

Veri Bölgesi Batch dağıtımları, 50% maliyet tasarrufu ve 24 saatlik geri dönüş dahil olmak üzere Genel Batch ile aynı işlevselliği sağlar. Trafik yalnızca Microsoft tarafından tanımlanan veri bölgesi (ABD veya AB) içindeki veri merkezlerine yönlendirilir.

Standart

• Koddaki SKU adı: Standard

Standart dağıtımlarda belirteç başına ödeme faturalaması kullanılır. Yalnızca tükettiğin kadar ödersin. Her bölgede kullanılabilen modeller ve aktarım hızı sınırlı olabilir.

Standart dağıtımlar, yüksek ani artışa sahip düşük-orta hacimli iş yükleri için uygundur. Yüksek tutarlı hacimli müşteriler daha fazla gecikme süresi değişkenliği yaşayabilir.

Bölgesel Olarak Tahsis Edildi

• Koddaki SKU adı: ProvisionedManaged

Bölgesel Sağlanan dağıtımlar, bir dağıtımda ihtiyacınız olan aktarım hızı miktarını belirtmenize olanak sağlar. Hizmet daha sonra gerekli model işleme kapasitesini ayırır ve sizin için hazır olmasını sağlar. Aktarım hızı, dağıtımınız için aktarım hızının normalleştirilmiş bir yolu olan sağlanan aktarım hızı birimleri (PTU' lar) açısından tanımlanır. Her model-sürüm çifti, dağıtmak için farklı miktarda PTU gerektirir ve PTU başına farklı miktarda aktarım hızı sağlar. Minimum PTU gereksinimleri modele göre farklılık gösterir. Geçerli minimumlar ve kullanılabilir kapasite için bkz. Sağlanan aktarım hızı kavramları.

Geliştirici (ince ayarlı modeller için)

• Koddaki SKU adı: DeveloperTier

Geliştirici dağıtım türü yalnızca ince ayarlı model değerlendirmesi için tasarlanmıştır. Özel modellerin uygun maliyetli testini sağlar, ancak veri yerleşimi garantilerini veya SLA'yı içermez. Geliştirici dağıtımlarının 24 saatlik sabit bir ömrü vardır ve süre sonundan sonra otomatik olarak silinir. Geliştirici dağıtım türünü kullanma hakkında daha fazla bilgi edinmek için ince ayar kılavuzuna bakın.

Dağıtım sorunlarını giderme

Dağıtımları oluştururken veya kullanırken sık karşılaşılan sorunlar:

Sorun	Nedeni	Çözüm
Dağıtım türü kullanılamıyor	Model seçilen türü desteklemiyor	Dağıtım türüne göre model kullanılabilirliğini denetleme
Kota aşıldı	Dakika başına jetonlar için abonelik sınırına ulaşıldı	Azure portalında kota artışı isteme veya farklı bir bölge kullanma
Bölge mevcut değil	Model seçili bölgede dağıtılmıyor	Modelin kullanılabilirlik listesinden bir bölge seçin
Sağlanan kapasite kullanılamıyor	Bölgede PTU kapasitesi yok	Farklı bir bölge deneyin veya daha geniş bir kullanılabilirlik için Genel Sağlanan'i kullanın

Dağıtım türüne göre kota sınırları için bkz: Foundry Models kotaları ve sınırları.

Azure İlkesi ile dağıtım türlerini kısıtlama

Azure İlkesi, kuruluş standartlarını zorunlu kılmaya ve uygun ölçekte uyumluluğu değerlendirmeye yardımcı olur. Uyumluluk panosu aracılığıyla ortamın genel durumunu değerlendirebilir ve kaynak başına, ilke başına ayrıntı düzeyinde detaya gidebilirsiniz. Azure İlkesi ayrıca mevcut kaynaklar için toplu düzeltmeyi ve yeni kaynaklar için otomatik düzeltmeyi destekler. Azure İlkesi ve Döküm Araçları için belirli yerleşik denetimler hakkında daha fazla bilgi edinin.

Belirli bir Dökümhane dağıtım türüne erişimi devre dışı bırakmak için aşağıdaki ilkeyi kullanın. GlobalStandard ifadesini, kısıtlamak istediğiniz dağıtım türünün SKU adıyla değiştirin.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

İlgili içerik

• Dökümhane portalında Microsoft Foundry Modellerini dağıtma
• Microsoft Foundry Models kaynağında Azure OpenAI oluşturma ve dağıtma
• Azure tarafından doğrudan satılan Foundry Modelleri
• Dağıtım türüne göre bölge kullanılabilirliğini modelleme
• Microsoft Foundry Model kotaları ve sınırları
• Sağlanan aktarım hızı kavramları
• Genel Toplu İşlem
• Azure OpenAI Hizmeti fiyatlandırması
• DökümHane Modelleri için veri gizliliği ve güvenliği
• İş sürekliliği ve olağanüstü durum kurtarma