Azure OpenAI dağıtım türleri

Makale
05/22/2024

Azure OpenAI, müşterilere işletme ve kullanım düzenlerine uygun barındırma yapısıyla ilgili seçenekler sunar. Hizmet iki ana dağıtım türü sunar: standart ve sağlanmış. Standart, daha yüksek aktarım hızı sağlamak için trafiği genel olarak yönlendiren genel bir dağıtım seçeneğiyle sunulur. Tüm dağıtımlar tam olarak aynı çıkarım işlemlerini gerçekleştirebilir, ancak faturalama, ölçek ve performans önemli ölçüde farklıdır. Çözüm tasarımınızın bir parçası olarak iki önemli karar vermeniz gerekir:

Veri yerleşimi gereksinimleri: genel ve bölgesel kaynaklar
Çağrı hacmi: standart ve sağlanan

Genel ve bölgesel dağıtım türleri

Standart dağıtımlar için kaynağınızda genel veya bölgesel olmak üzere iki tür yapılandırma seçeneği vardır. Genel standart, geliştirme ve deneme için önerilen başlangıç noktasıdır. Genel dağıtımlar Azure'ın genel altyapısından yararlanarak müşteri trafiğini veri merkezine dinamik olarak yönlendirir ve müşterinin çıkarım istekleri için en iyi kullanılabilirliği sağlar. Genel dağıtımlarda ilk aktarım hızı sınırları daha yüksek olsa da gecikme süreniz yüksek kullanım düzeylerinde farklılık gösterebilir. Büyük iş yükü kullanımında daha düşük gecikme süresi varyansı gerektiren müşteriler için sağlanan aktarım hızı satın almanızı öneririz.

Genel dağıtımlarımız tüm yeni modeller ve özellikler için ilk konum olacaktır. Çok büyük aktarım hızı gereksinimleri olan müşteriler, sağlanan dağıtım teklifimizi dikkate almalıdır.

Dağıtım türleri

Azure OpenAI üç tür dağıtım sunar. Bunlar, aktarım hızı, SLA'lar ve fiyat konusunda denge sağlayan çeşitli özellikler sunar. Aşağıda seçeneklerin özeti ve ardından bunların daha ayrıntılı bir açıklaması yer almaktadır.

Sunan	Genel-Standart¹	Standart	Sağlanan
En uygun	Veri yerleşimi gerektirmeyen uygulamalar. Müşteriler için önerilen başlangıç yeri.	Veri yerleşimi gereksinimleri olan müşteriler için. Düşük ve orta hacim için iyileştirilmiştir.	Büyük tutarlı hacim için gerçek zamanlı puanlama. En yüksek taahhütleri ve sınırları içerir.
Nasıl çalışır?	Trafik dünyanın herhangi bir yerine yönlendirilebilir
Başlarken	Model dağıtımı	Model dağıtımı	Sağlanan ekleme
Maliyet	Temel	Bölgesel Fiyatlandırma	Tutarlı kullanım için maliyet tasarrufuyla karşılaşabilir
Ne elde edersiniz?	En yüksek varsayılan arama başına ödeme sınırlarına sahip tüm yeni modellere kolay erişim. Yüksek hacimli kullanımı olan müşteriler daha yüksek gecikme süresi değişkenliği görebilir	Kullanılabilirlik durumuna göre SLA ile kolay erişim. Yüksek ani artışa sahip düşük ve orta hacimli iş yükleri için iyileştirilmiştir. Yüksek tutarlı hacimli müşteriler daha fazla gecikme süresi değişkenliği yaşayabilir.	Çok yüksek ve öngörülebilir aktarım hızıyla bölgesel erişim. Sağlanan kapasite hesaplayıcısını kullanarak PTU başına aktarım hızını belirleme
Elde etmediğiniz şeyler	❌Veri yerleşimi garantileri	❌Yüksek hacimli w/tutarlı düşük gecikme süresi	❌Arama başına ödeme esnekliği
Çağrı Başına Gecikme Süresi	Gerçek zamanlı arama ve düşük ve orta hacimli kullanım için iyileştirilmiştir. Yüksek hacimli kullanımı olan müşteriler daha yüksek gecikme süresi değişkenliği görebilir. Model başına eşik kümesi	Gerçek zamanlı arama ve düşük ve orta hacimli kullanım için iyileştirilmiştir. Yüksek hacimli kullanımı olan müşteriler daha yüksek gecikme süresi değişkenliği görebilir. Model başına eşik kümesi	Gerçek zamanlı olarak iyileştirilmiştir.
Koddaki Sku Adı	`GlobalStandard`	`Standard`	`ProvisionedManaged`
Faturalama modeli	Belirteç başına ödeme	Belirteç başına ödeme	Aylık Taahhütler

¹ Genel Standart dağıtım türü şu anda önizleme aşamasındadır.

Sağlanan

Sağlanan dağıtımlar, bir dağıtımda ihtiyacınız olan aktarım hızı miktarını belirtmenize olanak sağlar. Hizmet daha sonra gerekli model işleme kapasitesini ayırır ve sizin için hazır olmasını sağlar. Aktarım hızı, dağıtımınız için aktarım hızının normalleştirilmiş bir yolu olan sağlanan aktarım hızı birimleri (PTU) açısından tanımlanır. Her model-sürüm çifti, PTU başına farklı miktarda aktarım hızı dağıtmak ve sağlamak için farklı miktarlarda PTU gerektirir. Sağlanan aktarım hızı kavramları makalemizden daha fazla bilgi edinin.

Standart

Standart dağıtımlar, seçilen modelde arama başına ödeme faturalama modeli sağlar. Yalnızca tükettiğiniz kadar ödeme yaptığınız için en hızlı başlangıç yolunu sağlar. Her bölgede kullanılabilen modeller ve aktarım hızı sınırlı olabilir.

Standart dağıtımlar, yüksek ani artışa sahip düşük ve orta hacimli iş yükleri için iyileştirilmiştir. Yüksek tutarlı hacimli müşteriler daha fazla gecikme süresi değişkenliği yaşayabilir.

Genel standart (önizleme)

Genel dağıtımlar, genel olmayan tekliflerle aynı Azure OpenAI kaynaklarında kullanılabilir ancak trafiği her istek için en iyi kullanılabilirlikle veri merkezine dinamik olarak yönlendirmek için Azure'ın genel altyapısından yararlanmanıza olanak sağlar. Genel standart, yeni modeller için en yüksek varsayılan kotayı sağlar ve birden çok kaynak arasında yük dengeleme gereksinimini ortadan kaldırır.

Dağıtım türü, yüksek ani artışa sahip düşük ve orta hacimli iş yükleri için iyileştirilmiştir. Yüksek tutarlı hacimli müşteriler daha fazla gecikme süresi değişkenliği yaşayabilir. Eşik model başına ayarlanır. Daha fazla bilgi edinmek için kotalar sayfasına bakın.

Büyük iş yükü kullanımında daha düşük gecikme süresi varyansı gerektiren müşteriler için sağlanan aktarım hızı satın almanızı öneririz.

Aboneliğinizdeki genel dağıtımlara erişimi devre dışı bırakma

Azure İlkesi, kuruluş standartlarının uygulanmasına ve büyük ölçekte uyumluluk değerlendirmesi yapılmasına yardımcı olur. Uyumluluk panosu aracılığıyla, ortamın genel durumunu değerlendirmek için toplu bir görünüm sağlar; ayrıca tek tek her kaynak ve her ilke için detaya gitmeye de olanak tanır. Bu pano mevcut kaynaklar için toplu düzeltme, yeni kaynaklar için de otomatik düzeltme eylemleriyle kaynaklarınızı uyumlu hale getirmenize de yardımcı olur. yapay zeka hizmetleri için Azure İlkesi ve belirli yerleşik denetimler hakkında daha fazla bilgi edinin.

Azure OpenAI genel standart dağıtımlarına erişimi devre dışı bırakmak için aşağıdaki ilkeyi kullanabilirsiniz.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Modelleri dağıtma

Kaynak oluşturma ve modelleri dağıtma hakkında bilgi edinmek için kaynak oluşturma kılavuzuna bakın.

Aracılığıyla paylaş