Aracılığıyla paylaş

Azure OpenAI Hizmeti üzerinde Azure Well-Architected Framework perspektifi

  • Makale

Azure OpenAI Hizmeti, Azure ağ ve güvenlik özellikleri ekleyerek OpenAI büyük dil modellerine (LLM) REST API erişimi sağlar. Bu makalede, iş yükünüzün mimarisinin bir parçası olarak Azure OpenAI kullanırken bilinçli kararlar vermenize yardımcı olacak mimari öneriler sağlanır. Kılavuz, Azure Well-Architected Framework yapılarını temel alır.

Önemli

Bu kılavuz nasıl kullanılır?

Her bölümde, teknoloji kapsamına yerelleştirilmiş tasarım stratejilerinin yanı sıra ilgili mimari alanları sunan bir tasarım denetim listesi vardır.

Ayrıca, bu stratejilerin gerçekleştirilmesine yardımcı olabilecek teknoloji özelliklerine yönelik öneriler de vardır. Öneriler, Azure OpenAI ve bağımlılıkları için kullanılabilen tüm yapılandırmaların kapsamlı bir listesini temsil etmez. Bunun yerine, tasarım perspektiflerine eşlenen önemli önerileri listeler. Kavram kanıtınızı oluşturmak veya mevcut ortamlarınızı iyileştirmek için önerileri kullanın.

Temel önerileri gösteren temel mimari: Temel OpenAI uçtan uca sohbet başvuru mimarisi.

Teknoloji kapsamı

Bu inceleme yalnızca Azure OpenAI'ye odaklanır.

Güvenilirlik

Güvenilirlik sütununun amacı , yeterli dayanıklılık ve hatalardan hızlı bir şekilde kurtulma olanağı oluşturarak sürekli işlevsellik sağlamaktır.

Güvenilirlik tasarım ilkeleri, tek tek bileşenler, sistem akışları ve bir bütün olarak sistem için uygulanan üst düzey bir tasarım stratejisi sağlar.

Tasarım denetim listesi

Güvenilirlik için tasarım gözden geçirme denetim listesine göre tasarım stratejinizi başlatın. İş gereksinimlerinizle ilgili olup olmadığını belirleyin. Gerektiğinde daha fazla yaklaşım içerecek şekilde stratejiyi genişletin.

  • Dayanıklılık: Kullanım örneğiniz temelinde kullandıkça öde veya sağlanan aktarım hızı için uygun dağıtım seçeneğini belirleyin. Ayrılmış kapasite dayanıklılığı artırdığından üretim çözümleri için sağlanan aktarım hızını seçin. Kullandıkça öde yaklaşımı geliştirme ve test ortamları için idealdir.

  • Yedeklilik: Azure OpenAI dağıtımlarınızın önüne uygun ağ geçitlerini ekleyin. Ağ geçidinin azaltma gibi geçici hatalara dayanabilir ve ayrıca birden çok Azure OpenAI örneğine yönlendirebilmesi gerekir. Bölgesel yedeklilik oluşturmak için farklı bölgelerdeki örneklere yönlendirmeyi göz önünde bulundurun.

  • Dayanıklılık: Sağlanan aktarım hızını kullanıyorsanız, taşmayı işlemek için kullandıkça öde örneği dağıtmayı da göz önünde bulundurun. Sağlanan aktarım hızı modeliniz kısıtlandığında çağrıları ağ geçidiniz aracılığıyla kullandıkça öde örneğine yönlendirebilirsiniz. Modelin ne zaman azaltılacağını tahmin etmek ve çağrıları kullandıkça öde örneğine önceden yönlendirmek için izleme özelliğini de kullanabilirsiniz.

  • Dayanıklılık: Aktarım hızı sınırlarını aşmadığınızdan emin olmak için kapasite kullanımını izleyin. Daha doğru tahmin elde etmek ve kapasite kısıtlamaları nedeniyle hizmet kesintilerini önlemeye yardımcı olmak için kapasite kullanımını düzenli olarak gözden geçirin.

  • Dayanıklılık: Büyük veri dosyaları için yönergeleri izleyin ve verileri bir Azure blob deposundan içeri aktarın. İstekler atomik olduğundan ve yeniden denenemediği veya sürdürülemediğinden, 100 MB veya daha büyük büyük dosyalar çok parçalı formlar aracılığıyla karşıya yüklendiğinde kararsız hale gelebilir.

  • Kurtarma: İyi ayarlanmış modeller ve Azure OpenAI'ye yüklenen eğitim verileri için kurtarma planı içeren bir kurtarma stratejisi tanımlayın. Azure OpenAI'de otomatik yük devretme olmadığından, tüm hizmeti ve eğitim verilerini içeren depolama alanı gibi tüm bağımlılıkları kapsayan bir strateji tasarlamanız gerekir.

Öneriler

Öneri Avantaj
Kullandıkça öde için hız sınırlarını izleme: Kullandıkça öde yaklaşımını kullanıyorsanız, model dağıtımlarınız için hız sınırlarını yönetin ve dakika başına belirteç (TPM) ve dakika başına istek (RPM) başına belirteç kullanımını izleyin . Bu önemli aktarım hızı bilgileri, dağıtımlarınızın talebini karşılamak için kotanızdan yeterli TPM atadığınızdan emin olmak için gereken bilgileri sağlar.

Yeterli kota atamak, dağıtılan modellerinize yapılan çağrıların azaltılmasını önler.
Sağlanan aktarım hızı için sağlanan yönetilen kullanımı izleme: Sağlanan aktarım hızı ödeme modelini kullanıyorsanız, sağlanan yönetilen kullanımı izleyin. Dağıtılan modellerinize yönelik çağrıların azaltılmasını önlemek için sağlamayla yönetilen kullanımın %100'ü aşmadığından emin olmak için izlenmesi önemlidir.
Dinamik kota özelliğini etkinleştirin: İş yükü bütçeniz destekliyorsa, model dağıtımlarında dinamik kotayı etkinleştirerek fazla sağlama gerçekleştirin. Dinamik kota, Azure perspektifinden kullanılabilir kapasite olduğu sürece dağıtımınızın normalde kotanızdan daha fazla kapasite tüketmesine olanak tanır. Ek kota kapasitesi istenmeyen azaltmayı engelleyebilir.
İçerik filtrelerini ayarlama: Aşırı agresif filtrelerden gelen hatalı pozitif sonuçları en aza indirmek için içerik filtrelerini ayarlayın. İçerik filtreleri, opak risk analizine göre istemleri veya tamamlamaları engeller. İçerik filtrelerinin iş yükünüz için beklenen kullanıma izin verecek şekilde ayarlandığından emin olun.

Güvenlik

Güvenlik sütununun amacı iş yüküne gizlilik, bütünlük ve kullanılabilirlik garantileri sağlamaktır.

Güvenlik tasarımı ilkeleri, Azure OpenAI çevresindeki teknik tasarıma yaklaşımlar uygulayarak bu hedeflere ulaşmak için üst düzey bir tasarım stratejisi sağlar.

Tasarım denetim listesi

Tasarım stratejinizi Güvenlik için tasarım gözden geçirme denetim listesine göre başlatın ve güvenlik duruşunu geliştirmek için güvenlik açıklarını ve denetimlerini belirleyin. Ardından Azure OpenAI için Azure güvenlik temelini gözden geçirin. Son olarak, stratejiyi gerektiğinde daha fazla yaklaşım içerecek şekilde genişletin.

  • Gizliliği koruma: Eğitim verilerini Azure OpenAI'ye yüklerseniz, veri şifrelemesi için müşteri tarafından yönetilen anahtarları kullanın, anahtar döndürme stratejisi uygulayın ve eğitim, doğrulama ve eğitim sonuçları verilerini silin. Eğitim verileri için bir dış veri deposu kullanıyorsanız, bu depo için en iyi güvenlik uygulamalarını izleyin. Örneğin, Azure Blob Depolama için şifreleme için müşteri tarafından yönetilen anahtarları kullanın ve bir anahtar döndürme stratejisi uygulayın. Yönetilen kimlik tabanlı erişimi kullanın, özel uç noktaları kullanarak bir ağ çevresi uygulayın ve erişim günlüklerini etkinleştirin.

  • Gizliliği koruma: Azure OpenAI kaynaklarının erişebileceği giden URL'leri sınırlayarak veri sızdırmaya karşı koruma sağlayın.

  • Bütünlüğü koruma: En düşük ayrıcalık ilkesini kullanarak ve anahtarlar yerine tek tek kimlikleri kullanarak kullanıcının sistem erişiminin kimliğini doğrulamak ve yetkilendirmek için erişim denetimleri uygulayın.

  • Bütünlüğü koruma: Dil modeli dağıtımlarınızı istem ekleme saldırılarına karşı korumak için jailbreak risk algılamasını uygulayın.

  • Kullanılabilirliği koruma: Model kullanım kotalarını tüketebilecek saldırıları önlemek için güvenlik denetimlerini kullanın. Bir ağdaki hizmeti yalıtmak için denetimleri yapılandırabilirsiniz. Hizmete İnternet'ten erişilebilir olması gerekiyorsa yönlendirme veya azaltma kullanarak şüpheli kötüye kullanımı engellemek için bir ağ geçidi kullanmayı göz önünde bulundurun.

Öneriler

Öneri Avantaj
Güvenli anahtarlar: Mimariniz Azure OpenAI anahtar tabanlı kimlik doğrulaması gerektiriyorsa, bu anahtarları uygulama kodunda değil Azure Key Vault'de depolayın. Gizli dizileri Key Vault depolayarak koddan ayırmak, gizli dizilerin sızdırılma olasılığını azaltır. Ayrım ayrıca gizli dizilerin merkezi yönetimini kolaylaştırarak anahtar döndürme gibi sorumlulukları kolaylaştırır.
Erişimi kısıtlama: İş yükünüz gerektirmediği sürece Azure OpenAI'ye genel erişimi devre dışı bırakın . Azure sanal ağındaki tüketicilerden bağlanıyorsanız özel uç noktalar oluşturun. Azure OpenAI'ye erişimi denetlemek, yetkisiz kullanıcıların saldırılarını önlemeye yardımcı olur. Özel uç noktaların kullanılması, ağ trafiğinin uygulama ve platform arasında özel kalmasını sağlar.
Microsoft Entra ID: Kimlik doğrulaması için Microsoft Entra ID kullanın ve rol tabanlı erişim denetimi (RBAC) kullanarak Azure OpenAI'ye erişim yetkisi verin. Azure AI Hizmetleri'nde yerel kimlik doğrulamasını devre dışı bırakın ve olarak trueayarlayındisableLocalAuth. Tamamlamaları veya görüntü oluşturmayı gerçekleştiren kimliklere Bilişsel Hizmetler OpenAI Kullanıcı rolü verin. Model otomasyonu işlem hatlarına ve geçici veri bilimi erişimine Bilişsel Hizmetler OpenAI Katkıda Bulunanı gibi bir rol verin. Microsoft Entra ID kullanılması, kimlik yönetimi bileşenini merkezileştirir ve API anahtarlarının kullanımını ortadan kaldırır. RBAC'nin Microsoft Entra ID ile kullanılması, kullanıcıların veya grupların işlerini yapmak için tam olarak ihtiyaç duydukları izinlere sahip olmasını sağlar. Azure OpenAI API anahtarlarıyla bu tür ayrıntılı erişim denetimi mümkün değildir.
Müşteri tarafından yönetilen anahtarları kullanma: Azure OpenAI'ye yüklenen ince ayarlı modeller ve eğitim verileri için müşteri tarafından yönetilen anahtarları kullanın . Müşteri tarafından yönetilen anahtarları kullanmak, erişim denetimleri oluşturma, döndürme, devre dışı bırakma ve iptal etme esnekliğini artırmanızı sağlar.
Jailbreak saldırılarına karşı koruma: Jailbreak risklerini algılamak için Azure Yapay Zeka İçerik Güvenliği Studio kullanın. Azure OpenAI dağıtımlarınızın güvenlik mekanizmalarını atlayan istemleri tanımlamak ve engellemek için jailbreak girişimlerini algılayın.

Maliyet İyileştirmesi

Maliyet İyileştirme , harcama düzenlerini algılamaya, kritik alanlara yapılan yatırımlara öncelik vermeye ve iş gereksinimlerini karşılarken diğer kişilerin kuruluşun bütçesini karşılayacak şekilde iyileştirmeye odaklanır.

Azure OpenAI ile ilgili teknik tasarım seçimlerinde bu hedeflere ulaşma yaklaşımları ve gerekli dezavantajlar hakkında bilgi edinmek için Maliyet İyileştirme tasarım ilkelerini okuyun.

Tasarım denetim listesi

Yatırımlar için Maliyet İyileştirme için tasarım gözden geçirme denetim listesini temel alarak tasarım stratejinizi başlatın. İş yükünün ayrılmış bütçesiyle uyumlu olması için tasarımda ince ayar yapın. Tasarımınız uygun Azure özelliklerini kullanmalı, yatırımları izlemeli ve zaman içinde iyileştirme fırsatları bulmalıdır.

  • Maliyet yönetimi: İstem boyutlarını göz önünde bulundurarak maliyet modelinizi geliştirin. İstem girişi ve yanıt boyutlarının anlaşılması ve metnin belirteçlere nasıl çevrildiği, uygun bir maliyet modeli oluşturmanıza yardımcı olur.

  • Kullanım iyileştirmesi: Belirteç kullanımınız tahmin edilebilir olana kadar Azure OpenAI için kullandıkça öde fiyatlandırmasıyla başlayın.

  • Hız iyileştirmesi: Belirteç kullanımınız belirli bir süre boyunca yeterince yüksek ve öngörülebilir olduğunda, daha iyi maliyet iyileştirmesi için sağlanan aktarım hızı fiyatlandırma modelini kullanın.

  • Kullanım iyileştirmesi: Modelleri seçerken model fiyatlandırması ve özelliklerini göz önünde bulundurun. Metin oluşturma veya tamamlama görevleri gibi daha az karmaşık görevler için daha az maliyetli modellerle başlayın. Dil çevirisi veya içerik anlama gibi daha karmaşık görevler için daha gelişmiş modeller kullanmayı göz önünde bulundurun. Metin ekleme, görüntü oluşturma veya transkripsiyon senaryoları gibi kullanım örneklerine uygun bir model seçtiğinizde farklı model özelliklerini ve maksimum belirteç kullanım sınırlarını göz önünde bulundurun. İhtiyaçlarınıza en uygun modeli dikkatle seçerek, istenen uygulama performansını elde ederken maliyetleri iyileştirebilirsiniz.

  • Kullanım iyileştirmesi: Oluşturulacak tamamlanma sayısını gösteren ve ngibi max_tokens API çağrıları tarafından sunulan belirteç sınırlama kısıtlamalarını kullanın.

  • Kullanım iyileştirmesi: Görüntü oluşturma gibi ince ayarlamalar ve model kesme noktaları gibi Azure OpenAI fiyat kesme noktalarını en üst düzeye çıkarın. İnce ayarlama saatlik olarak ücretlendirildiğinden, bir sonraki faturalama dönemine kaymayı önlerken ince ayarlama sonuçlarını iyileştirmek için saat başına kullandığınız kadar zaman kullanın. Benzer şekilde, 100 görüntü oluşturma maliyeti, 1 görüntünün maliyetiyle aynıdır. Fiyat kesme noktalarını kendi yararınıza en üst düzeye çıkarın.

  • Kullanım iyileştirmesi: Sürekli barındırma ücreti ödememek için kullanılmayan ince ayarlı modelleri artık kullanılmadığında kaldırın.

  • Kullanımı ayarlama: İstem girişini ve yanıt uzunluğunu iyileştirin. Daha uzun istemler, daha fazla belirteç tüketerek maliyetleri yükseltir. Ancak, yeterli bağlamı eksik olan istemler modellerin iyi sonuçlar vermesine yardımcı olmaz. Modelin yararlı bir yanıt oluşturması için yeterli bağlam sağlayan kısa istemler oluşturun. Ayrıca yanıt uzunluğu sınırını iyileştirdiğinizden emin olun.

  • Maliyet verimliliği: Toplu iş istekleri çağrı başına ek yükü en aza indirerek genel maliyetleri azaltabilir. Toplu iş boyutunu iyileştirdiğinizden emin olun.

  • Maliyet verimliliği: Modellerin farklı ince ayar maliyetleri olduğundan, çözümünüz ince ayar gerektiriyorsa bu maliyetleri göz önünde bulundurun.

  • İzleme ve iyileştirme: Model kullanımını izleyen bir maliyet izleme sistemi ayarlayın. Model seçimlerini ve istem boyutlarını bilgilendirmeye yardımcı olması için bu bilgileri kullanın.

Öneriler

Öneri Avantaj
Sınırları ayarlamak için istemci kodu tasarlama: Özel istemcileriniz Azure OpenAI tamamlamaları API'sinin sınır özelliklerini kullanmalıdır; örneğin model başına belirteç sayısı üst sınırı () veya oluşturma işleminin tamamlanma sayısı (max_tokensn). Sınırların ayarlanması, sunucunun istemcinin ihtiyaç duyduğundan daha fazlasını üretmemesini sağlar. Kullanımı kısıtlamak için API özelliklerini kullanmak, hizmet tüketimini istemci gereksinimlerine göre ayarlar. Bu, modelin gereğinden fazla belirteç tüketen fazla uzun bir yanıt oluşturmamasını sağlayarak tasarruf sağlar.
Kullandıkça öde kullanımını izleme: Kullandıkça öde yaklaşımını kullanıyorsanız TPM ve RPM kullanımını izleyin . Hangi modellerin kullanılacağı gibi mimari tasarım kararlarını bilgilendirmek ve istem boyutlarını iyileştirmek için bu bilgileri kullanın. TPM ve RPM'yi sürekli izlemek, Azure OpenAI modellerinin maliyetini iyileştirmek için ilgili ölçümleri sağlar. Model kullanımını iyileştirmek için bu izlemeyi model özellikleri ve model fiyatlandırmasıyla birleştirebilirsiniz. Bu izlemeyi, istem boyutlarını iyileştirmek için de kullanabilirsiniz.
Sağlanan aktarım hızı kullanımını izleme: Sağlanan aktarım hızını kullanıyorsanız, satın aldığınız sağlanan aktarım hızını az kullanmadığınızdan emin olmak için sağlanan yönetilen kullanımı izleyin. Sağlamayla yönetilen kullanımı sürekli izlemek, sağlanan aktarım hızınızı az kullanıyorsanız anlamanız gereken bilgileri sağlar.
Maliyet yönetimi: OpenAI ile maliyet yönetimi özelliklerini kullanarak maliyetleri izleyin, maliyetleri yönetmek için bütçe ayarlayın ve proje katılımcılarını riskleri veya anomalileri bildirmek için uyarılar oluşturun. Maliyet izleme, bütçeleri ayarlama ve uyarıları ayarlama, uygun sorumluluk süreçleriyle idare sağlar.

İşlem Mükemmelliği

Operasyonel Mükemmellik öncelikli olarak geliştirme uygulamaları, gözlemlenebilirlik ve sürüm yönetimi yordamlarına odaklanır.

Operasyonel Mükemmellik tasarım ilkeleri, iş yükünün operasyonel gereksinimlerine yönelik bu hedeflere ulaşmak için üst düzey bir tasarım stratejisi sağlar.

Tasarım denetim listesi

Operasyonel Mükemmellik için tasarım gözden geçirme denetim listesini temel alarak tasarım stratejinizi başlatın. Bu denetim listesi, Azure OpenAI ile ilgili gözlemlenebilirlik, test ve dağıtım süreçlerini tanımlar.

  • Azure DevOps kültürü: Geliştirme, test ve üretim gibi çeşitli ortamlarınızda Azure OpenAI örneklerinin dağıtılmasını sağlayın. Geliştirme döngüsü boyunca sürekli öğrenmeyi ve denemeleri destekleyecek ortamlara sahip olduğunuzdan emin olun.

  • Gözlemlenebilirlik: Uygun ölçümleri izleme, toplama ve görselleştirme.

  • Gözlemlenebilirlik: Azure OpenAI tanılamaları gereksinimleriniz için yetersizse, izin verilen yerlerde hem gelen istemleri hem de giden yanıtları günlüğe kaydetmek için Azure OpenAI'nin önünde Azure API Management gibi bir ağ geçidi kullanmayı göz önünde bulundurun. Bu bilgiler, modelin gelen istemler için etkinliğini anlamanıza yardımcı olabilir.

  • Güvenle dağıtın: Azure OpenAI'yi, model dağıtımlarını ve ince ayar modelleri için gereken diğer altyapıyı dağıtmak için kod olarak altyapıyı (IaC) kullanın.

  • Güvenle dağıtın: Dağıtım, ince ayarlama ve istem mühendisliği dahil olmak üzere Azure OpenAI LLM'lerinizin yönetimini kullanıma hazır hale getirmek için büyük dil modeli işlemleri (LLMOps) uygulamalarını izleyin.

  • Verimlilik için otomatikleştirme: Anahtar tabanlı kimlik doğrulaması kullanıyorsanız otomatik bir anahtar döndürme stratejisi uygulayın.

Öneriler

Öneri Avantaj
Azure Tanılama etkinleştirme ve yapılandırma: Azure OpenAI Hizmeti için Tanılamayı etkinleştirin ve yapılandırın. Tanılama, ölçümleri ve günlükleri toplayıp analiz ederek Azure OpenAI'nin kullanılabilirliğini, performansını ve çalışmasını izlemenize yardımcı olur.

Performans Verimliliği

Performans Verimliliği, kapasiteyi yöneterek yükte artış olduğunda bile kullanıcı deneyimini korumakla ilgilidir. Strateji, kaynakları ölçeklendirmeyi, olası performans sorunlarını tanımlamayı ve iyileştirmeyi ve en yüksek performansı iyileştirmeyi içerir.

Performans Verimliliği tasarım ilkeleri, beklenen kullanıma karşı kapasite hedeflerine ulaşmak için üst düzey bir tasarım stratejisi sağlar.

Tasarım denetim listesi

Azure OpenAI iş yükleri için temel performans göstergelerini temel alan bir temel tanımlamaya yönelik Performans Verimliliği için tasarım gözden geçirme denetim listesini temel alarak tasarım stratejinizi başlatın.

  • Kapasite: Tüketicilerin esneklik taleplerini tahmin edin. Zaman uyumlu yanıtlar gerektiren yüksek öncelikli trafiği ve zaman uyumsuz ve toplu işlenebilir düşük öncelikli trafiği belirleyin.

  • Kapasite: Tüketicilerin tahmini taleplerine göre belirteç tüketimi gereksinimlerini karşılaştırma. Sağlanan aktarım hızı birimi (PTU) dağıtımlarını kullanıyorsanız aktarım hızını doğrulamanıza yardımcı olması için Azure OpenAI karşılaştırma aracını kullanmayı göz önünde bulundurun.

  • Kapasite: Üretim iş yükleri için sağlanan aktarım hızını kullanın. Sağlanan aktarım hızı, belirtilen model sürümü için ayrılmış bellek ve işlem, ayrılmış kapasite ve tutarlı maksimum gecikme süresi sunar. Kullandıkça öde teklifi, yoğun kullanım altındaki bölgelerde artan gecikme süresi ve azaltma gibi gürültülü komşu sorunlarıyla karşılaşabilir. Ayrıca kullandıkça öde yaklaşımı garantili kapasite sunmaz.

  • Kapasite: Azure OpenAI dağıtımlarınızın önüne uygun ağ geçitlerini ekleyin. Ağ geçidinin aynı veya farklı bölgelerdeki birden çok örneğe yönlendirebildiğinden emin olun.

  • Kapasite: Tahmini kullanımınızı kapsayacak şekilde PTU'lar ayırın ve bu sınırın üzerindeki esnekliği işlemek için bu PTU'ları bir TPM dağıtımıyla tamamlayın. Bu yaklaşım, verimlilik için temel aktarım hızını elastik aktarım hızıyla birleştirir. Diğer önemli noktalar gibi, bu yaklaşım da PTU sınırlarına ulaşıldığında istekleri TPM dağıtımına yönlendirmek için özel bir ağ geçidi uygulaması gerektirir.

  • Kapasite: Yüksek öncelikli istekleri zaman uyumlu olarak gönderin. Düşük öncelikli istekleri sıraya alın ve talep düşük olduğunda bunları toplu olarak gönderin.

  • Kapasite: Hız ve çıkış karmaşıklığı arasındaki dengeyi göz önünde bulundurarak performans gereksinimlerinize uygun bir model seçin. Model performansı, seçilen model türüne göre önemli ölçüde farklılık gösterebilir. Hız için tasarlanmış modeller daha hızlı yanıt süreleri sunar ve bu da hızlı etkileşim gerektiren uygulamalar için yararlı olabilir. Buna karşılık, daha gelişmiş modeller daha yüksek yanıt süresi pahasına daha yüksek kaliteli çıkışlar sunabilir.

  • Performans elde etme: Sohbet botları veya konuşma arabirimleri gibi uygulamalar için akış uygulamayı göz önünde bulundurun. Akış, kullanıcılara artımlı bir şekilde yanıtlar sunarak Azure OpenAI uygulamalarının algılanan performansını geliştirebilir ve kullanıcı deneyimini geliştirebilir.

  • Performans elde etme: hassas ayarlamayı işlemeden önce ince ayarlamanın ne zaman kullanılacağını belirleyin . Modeli yönlendirmek için gereken bilgilerin isteme sığmayacak kadar uzun veya karmaşık olması gibi hassas ayarlamalar için iyi kullanım örnekleri olsa da, istem mühendisliği ve alma artırılmış nesil (RAG) yaklaşımlarının çalışmadığından veya daha pahalı olduğundan emin olun.

  • Performans elde etme: Tüketici gruplarınız arasında gürültülü komşuları önlemeye yardımcı olabilecek model başına kullanım yalıtımı sağlamak için tüketici grubu başına ayrılmış model dağıtımları kullanmayı göz önünde bulundurun.

Öneriler

Azure OpenAI için Performans Verimliliği için önerilen yapılandırma yoktur.

Azure İlkesi

Azure, Azure OpenAI ve bağımlılıklarıyla ilgili kapsamlı bir yerleşik ilke kümesi sağlar. Önceki önerilerden bazıları Azure İlkesi aracılığıyla denetlenebilir. Aşağıdaki ilke tanımlarını göz önünde bulundurun:

Bu Azure İlkesi tanımları aynı zamanda Azure OpenAI için Azure Danışmanı güvenlik en iyi uygulama önerileridir.

Sonraki adımlar

Aşağıdaki makaleleri, bu makalede vurgulanan önerileri gösteren kaynaklar olarak düşünün.