Birden çok Azure OpenAI dağıtımının veya örneğinin önünde ağ geçidi kullanma

Azure OpenAI Hizmeti içeren iş yükü mimarileri, doğrudan tek bir Azure OpenAI modeli dağıtımı kullanan bir veya daha fazla istemci uygulaması kadar basit olabilir, ancak tüm iş yükleri bu basitlikle tasarlanamaz. Daha karmaşık senaryolar arasında birden çok istemciye sahip topolojiler, birden çok Azure OpenAI dağıtımı veya birden çok Azure OpenAI örneği bulunur. Bu gibi durumlarda, Azure OpenAI'nin önüne bir ağ geçidi eklemek, iş yükünün tasarımı için yararlı olabilir.

Birden çok Azure OpenAI örneği veya model dağıtımı, bir iş yükü mimarisindeki belirli gereksinimleri çözer. Dört temel topolojide sınıflandırılabilir.

• Tek bir Azure OpenAI örneğinde birden çok model dağıtımı
• Tek bir bölgede ve tek abonelikte birden çok Azure OpenAI örneği
• Birden çok abonelik arasında tek bir bölgede birden çok Azure OpenAI örneği
• Birden çok bölgede birden çok Azure OpenAI örneği

Bu topolojiler kendi başlarına bir ağ geçidi kullanımını gerekli kılmaz. Ağ geçidi seçimi, iş yükünün mimariye dahil edilmesinden yararlanıp yararlanmayacağına bağlıdır. Bu makalede, dört topolojinin her birinin ele aldığı zorluklar ve her topolojiye bir ağ geçidi eklemenin avantajları ve maliyetleri açıklanmaktadır.

Tek bir Azure OpenAI örneğinde birden çok model dağıtımı

Birden çok model dağıtımı için topoloji ayrıntıları

• Azure OpenAI model dağıtımları: birden çok
• Azure OpenAI örnekleri: bir
• Abonelikler: bir
• Bölgeler: bir

Birden çok model dağıtımı için topoloji kullanım örnekleri

Tek bir Azure OpenAI örneği içeren ancak eşzamanlı olarak dağıtılan birden fazla model içeren bir topoloji aşağıdaki kullanım örneklerini destekler:

• , gpt-4, ve özel ince ayarlanmış modeller gibi gpt-35-turbofarklı model özelliklerini kullanıma sunma.

• İş yükü evrimi veya mavi-yeşil dağıtımları desteklemek için , 1106ve gibi 0613farklı model sürümlerini ve özel ince ayarlı modelleri kullanıma sunma.

• Birden çok istemcide tüketim azaltmayı desteklemek için atanan farklı kotaları (30.000 Dakika Başına Belirteç (TPM), 60.000 TPM) kullanıma sunma.

Birden çok model dağıtımı için bir ağ geçidi tanıtma

Bu topolojiye bir ağ geçidi eklemek öncelikli olarak istemcileri, örnekteki kullanılabilir dağıtımlar arasında belirli bir model örneğini kendi kendine seçmeden soyutlama amaçlıdır. Ağ geçidi, sunucu tarafı denetiminin istemci kodunu yeniden dağıtmaya veya istemci yapılandırmasını değiştirmeye gerek kalmadan istemci isteğini belirli bir modele yönlendirmesine olanak tanır.

Ağ geçidi özellikle istemci kodunu denetlemediğinizde faydalıdır. Ayrıca, istemci yapılandırmasını dağıtmak, değişiklikleri bir ağ geçidi yönlendirme yapılandırmasına dağıtmaktan daha karmaşık veya riskli olduğunda da yararlıdır. İstemcinin işaret ettiği modeli model sürümlerinizin mavi-yeşil kullanıma sunma stratejisine göre değiştirebilirsiniz; örneğin, yeni bir ince ayarlı model dağıtma veya X sürümünden aynı modelin X+1 sürümüne gitme.

Ağ geçidi, ağ geçidinin istemciyi tanımlamasını sağlayan tek bir API giriş noktası olarak da kullanılabilir. Daha sonra, istemcinin kimliğine veya HTTP isteğindeki diğer bilgilere göre istem sunmak için hangi model dağıtımının kullanıldığını belirleyebilir. Örneğin, çok kiracılı bir çözümde kiracılar belirli aktarım hızıyla sınırlı olabilir ve mimarinin uygulanması belirli kotalara sahip kiracı başına bir model dağıtımıdır. Bu durumda kiracının modeline yönlendirme, HTTP isteğindeki bilgilere göre ağ geçidinin sorumluluğunda olacaktır.

Bu topolojide bir ağ geçidi kullanmak, istemci tabanlı kullanım izlemesine olanak tanır. İstemciler ayrı Microsoft Entra hizmet sorumluları kullanmıyorsa, Azure OpenAI erişim günlükleri birden çok istemciyi ayırt edemeyecektir. Dağıtımın önünde bir ağ geçidi olması, iş yükünüz için geri ödeme veya geri ödeme modellerini desteklemek üzere çeşitli kullanılabilir model dağıtımlarında istemci başına kullanımı izleme fırsatı verir.

Birden çok model dağıtımı topolojisi için ipuçları

• Ağ geçidi, kullanılan modeli (örneğin gpt-35-turbogpt-4, olarak) tamamen değiştirecek bir konumda olsa da, bu değişiklik büyük olasılıkla istemcide hataya neden olan bir değişiklik olarak kabul edilir. Ağ geçidinin yeni işlevsel özelliklerinin bu iş yükü için her zaman güvenli dağıtım uygulamaları gerçekleştirmesini engelleyin.

• Bu topoloji genellikle özel kod çözümü yerine Azure API Management ilkesi aracılığıyla uygulanacak kadar basittir.

• Yayımlanan Azure OpenAI API'leri belirtimleriyle yerel SDK kullanımını desteklemek için Azure OpenAI API'siyle API uyumluluğunu koruyun. Ekibiniz tüm iş yükü istemcilerinizin kodunu yazmadığında bu durum daha büyük bir sorundur. Ağ geçidi için HTTP API'sini tasarlamaya karar verirken, Azure OpenAI HTTP API uyumluluğunu korumanın avantajlarını göz önünde bulundurun.

• Bu topoloji, Azure OpenAI örneği için doğrudan istemci kimlik bilgilerini (erişim belirteçleri veya API anahtarı) teknik olarak desteklese de, kimlik bilgisi sonlandırmayı ve yeniden oluşturmayı kesinlikle göz önünde bulundurun. Bu şekilde istemci ağ geçidinde yetkilendirilmiş olur ve ardından ağ geçidi Azure RBAC aracılığıyla Azure OpenAI örneğine yetkilendirilmiş olur.

• Ağ geçidi geçiş kimlik bilgilerini kullanacak şekilde tasarlandıysa, istemcilerin ağ geçidini veya istemciye bağlı model kısıtlamalarını atlayamadığından emin olun.

• Ağ geçidinizi Azure OpenAI örneğiyle aynı bölgede dağıtın.

• Ağ geçidini abonelikte Azure OpenAI örneğinden ayrı bir ayrılmış kaynak grubuna dağıtın. Aboneliği arka uçlardan yalıtma, endişe ayrımları aracılığıyla APIOps yaklaşımını yönlendirmeye yardımcı olabilir.

• Ağ geçidini Azure OpenAI örneğinin Azure Özel Bağlantı özel uç noktası için bir alt ağ içeren bir sanal ağa dağıtın. Ağ geçidinin yalnızca bu özel uç noktaya erişimine izin vermek için bu alt ağa ağ güvenlik grubu (NSG) kuralları uygulayın. Azure OpenAI örneklerine diğer tüm veri düzlemi erişimine izin verilmemelidir.

Birden çok model dağıtımı için ağ geçidinden kaçınma nedenleri

İstemcilerinizin yapılandırmasını denetlemek, ağ geçidi düzeyinde yönlendirmeyi denetlemek kadar kolay veya daha kolaysa, ağ geçidinin eklenen güvenilirlik, güvenlik, maliyet, bakım ve performans etkisi eklenen mimari bileşene değmeyebilir.

Ayrıca, bazı iş yükü senaryoları birden çok model dağıtım yaklaşımından birden çok Azure OpenAI örneği dağıtım yaklaşımına geçişten yararlanabilir. Örneğin, modeline erişmek için farklı RBAC veya erişim anahtarları kullanan birden çok istemciniz varsa, birden çok Azure OpenAI örneğini göz önünde bulundurun. Tek bir Azure OpenAI örneğinde birden çok dağıtım kullanmak ve ağ geçidi düzeyinde mantıksal kimlik segmentasyonunu işlemek mümkündür, ancak farklı Azure OpenAI örnekleri kullanılarak fiziksel bir RBAC segmentasyonu yaklaşımı kullanılabilir olduğunda aşırı olabilir.

Tek bir bölgede ve tek abonelikte birden çok Azure OpenAI örneği

Tek bir bölgede ve tek abonelikte birden çok örnek için topoloji ayrıntıları

• Azure OpenAI modeli dağıtımları: bir veya daha fazla
• Azure OpenAI örnekleri: birden çok
• Abonelikler: bir
• Bölgeler: bir

Tek bir bölgede ve tek abonelikte birden çok örnek için topoloji kullanım örnekleri

Tek bir bölgede ve tek bir abonelikte birden çok Azure OpenAI örneği içeren bir topoloji aşağıdaki kullanım örneklerini destekler:

• İstemci başına anahtar veya RBAC gibi güvenlik segmentasyonu sınırlarını etkinleştirir

• Farklı istemciler için kolay bir geri ödeme modeli sağlar

• Belirli bir örneği etkileyen bir platform kesintisi, ağ yanlış yapılandırması veya yanlışlıkla silinen dağıtım gibi Azure OpenAI kullanılabilirliği için yük devretme stratejisini etkinleştirir

• Hem PTU tabanlı örneği hem de taşma için tüketim tabanlı örneği eşleştirme gibi Azure OpenAI kota kullanılabilirliği için yük devretme stratejisini etkinleştirir

Tek bir bölgede ve abonelikte birden çok örnek için ağ geçidi tanıtma

Modelin istemci tarafından erişilebilir olmamasının çeşitli nedenleri olabilir. Bu nedenler Arasında Azure OpenAI Hizmeti'ndeki kesintiler, Azure OpenAI azaltma istekleri veya ağ yanlış yapılandırması veya bir model dağıtımının yanlışlıkla silinmesi gibi iş yükü işlemleriyle ilgili sorunlar yer alır. Bu zorlukları gidermek için yeniden deneme ve devre kesme mantığını uygulamanız gerekir.

Bu mantık bir ağ geçidindeki istemcilerde veya sunucu tarafında uygulanabilir. Bir ağ geçidinde mantığın uygulanması, mantığı istemcilerden soyutlar ve yinelenen kod olmaması ve mantığı test etmek için tek bir yer elde eder. İstemci kodunun sahibi olup olmadığınız fark etmez, bu değişiklik iş yükünün güvenilirliğini artırabilir.

Tek bir bölgede ve abonelikte birden çok Azure OpenAI örneğine sahip bir ağ geçidi kullanmak, tüm arka uçları etkin-etkin dağıtımlar olarak ele almanızı ve bunları yalnızca etkin-pasif yük devretmelerde kullanmamanızı sağlar. Aynı PTU tabanlı modeli birden çok Azure OpenAI örneğine dağıtabilir ve bunlar arasında yük dengelemesi yapmak için ağ geçidini kullanabilirsiniz.

Azure OpenAI sağlarken iş yükü ekibinin sahip olduğu bir seçenek, faturalama ve aktarım hızı modelinin PTU tabanlı mı yoksa tüketim tabanlı mı olduğuna karar vermektir. Kullanılmayan PTU aracılığıyla israfı önlemeye yönelik bir maliyet iyileştirme stratejisi, PTU örneğini biraz sağlamak ve bunun yanı sıra tüketim tabanlı bir örnek dağıtmaktır. Bu topolojinin amacı, istemcilerin önce tüm kullanılabilir PTU'ları tüketmesini ve ardından fazla kullanımlar için tüketim tabanlı dağıtıma "ani artış" sağlamasını sağlamaktır. Bu planlı yük devretme biçimi, bu bölümün açılış paragrafında belirtilen nedenden yararlanır: bu karmaşıklığı istemci kodunun dışında tutma.

Bir ağ geçidi söz konusu olduğunda, istemcilerin etkileşimde bulunduğu tüm model dağıtımlarıyla ilgili ayrıntıları yakalamak benzersiz bir konumda olur. Azure OpenAI'nin her örneği kendi telemetrisini yakalayabilir ancak bunu ağ geçidi içinde yapmak, iş yükü ekibinin tüm tüketilen modellerde tek bir depoda telemetri ve hata yanıtları yayımlamasına olanak tanır ve bu da birleşik pano oluşturma ve uyarı oluşturmayı kolaylaştırır.

Tek bir bölgede ve abonelik topolojisinde birden çok örnek için ipuçları

• Ağ geçidinde yük devretme senaryolarını desteklerken ağ geçidinin Azure OpenAI'den http yanıtında sağlanan bilgileri kullandığından Retry-After emin olun. Devre kesici uygulamanızı denetlemek için bu yetkili bilgileri kullanın. döndüren 429 Too Many Requestsbir uç noktaya sürekli olarak isabet etmeyin. Bunun yerine, bu model örneğinin bağlantı hattını kesebilirsiniz.

• Önceki istekler aracılığıyla model tüketimini izleyerek azaltma olaylarını gerçekleşmeden önce tahmin etmeye çalışmak ağ geçidinde mümkündür, ancak uç durumlarla doludur. Çoğu durumda en iyisi tahminde bulunurken http yanıt kodlarını kullanarak gelecekteki yönlendirme kararlarını yönlendirmektir.

• PTU'yu tüketime geçirme de dahil olmak üzere farklı bir uç noktaya hepsini bir kez deneme veya yük devretme sırasında, her zaman bu uç noktaların aynı sürümde aynı modeli kullandığından emin olun. Örneğin, X sürümünden gpt-4 X+1 sürümüne veya gpt-35-turbo sürümünden yük devretme işlemi yapmayın veya bunlar arasında yük dengelemesi yapmayın. Bu sürüm değişikliği istemcilerde beklenmeyen davranışlara neden olabilir.

• Yük dengeleme ve yük devretme mantığı Azure API Management ilkeleri içinde uygulanabilir. Kod tabanlı bir ağ geçidi çözümü kullanarak daha gelişmiş bir yaklaşım sağlayabilirsiniz, ancak API Management bu kullanım örneği için yeterlidir.

• Ağ geçidinizi Azure OpenAI örneğiyle aynı bölgede dağıtın.

• Ağ geçidini abonelikte Azure OpenAI örneklerinden ayrı bir ayrılmış kaynak grubuna dağıtın. Ağ geçidinin arka uçlardan yalıtılmış olması, sorun ayrımları aracılığıyla APIOps yaklaşımını yönlendirmeye yardımcı olabilir.

• Özel uç noktaları Özel Bağlantı tüm Azure OpenAI örneklerini ağ geçidinin sanal ağındaki tek bir alt ağda birlikte yerleştirin. Ağ geçidinin yalnızca bu özel uç noktalara erişimine izin vermek için bu alt ağa NSG kuralları uygulayın. Azure OpenAI örneklerine diğer tüm veri düzlemi erişimine izin verilmemelidir.

• Ağ geçidi yönlendirme kodunuzdaki mantığı basitleştirmek için, HTTP yolları arasındaki farkı en aza indirmek için aynı model dağıtım adını kullanın. Örneğin, model adı gpt4-v1 ister tüketim tabanlı ister PTU tabanlı olsun tüm yük dengeli veya taşma örneklerinde kullanılabilir.

Tek bir bölgede ve abonelikte birden çok örnek için ağ geçidinden kaçınma nedenleri

Ağ geçidinin kendisi, bu özel topoloji için farklı istemcilere yönelik modelleri geri ödeme özelliğini geliştirmez. Bu topolojide istemcilere kendi ayrılmış Azure OpenAI örneklerine erişim verilebilir ve bu da iş yükü ekibinizin geri ödeme veya geri ödeme gerçekleştirme becerisini destekler. Bu model benzersiz kimliği ve ağ çevrelerini desteklediği için bir ağ geçidinin segmentlere ayırma için özel olarak tanıtılması gerekmez.

Kodu denetlediğiniz alanda birkaç istemciniz varsa ve istemciler kolayca güncelleştirilebilirse, ağ geçidinde oluşturmanız gereken mantık doğrudan koda eklenebilir. Yük devretme veya yük dengeleme için öncelikle istemci kodunun sahibi olmadığınız veya istemcilerin işleyemeyecek kadar karmaşık olduğu durumlarda ağ geçidi yaklaşımını kullanmayı göz önünde bulundurun.

Birden çok abonelik arasında tek bir bölgede birden çok Azure OpenAI örneği

Birden çok abonelikte tek bir bölgedeki birden çok Azure OpenAI örneğinin topoloji ayrıntıları

• Azure OpenAI modeli dağıtımları: bir veya daha fazla
• Azure OpenAI örnekleri: birden çok
• Abonelikler: birden çok
• Bölgeler: bir

Birden çok abonelikte tek bir bölgede birden çok Azure OpenAI örneği için topoloji kullanım örnekleri

Birden çok abonelikte tek bir bölgede birden çok Azure OpenAI örneği içeren bir topoloji aşağıdaki kullanım örneklerini destekler:

• Tek bir bölgede ve tek bir abonelikte birden çok Azure OpenAI örneği için listelenen tüm kullanım örneklerini içerir.

• Abonelik sınırı tüketim modeli için kullanılabilir bir faktör olduğundan daha fazla tüketim tabanlı kota elde etmenize olanak tanır. Yüksek oranda eşzamanlı tüketimi desteklemek için bu ek kotayı kullanabilirsiniz.

Tek bir bölgede ve birden çok abonelikte birden çok örnek için ağ geçidi tanıtma

Tek bir bölgede ve abonelikte birden çok örnek için ağ geçidini tanıtma bölümünde açıklanan nedenlerle aynı nedenler bu topoloji için geçerlidir.

Bu nedenlere ek olarak, bu topolojiye bir ağ geçidi eklemek, kuruluşu için "Hizmet olarak Azure OpenAI" modeli sağlayan merkezi bir ekibi de destekler. Tüketim tabanlı kota aboneliğe bağlı olduğundan, tüketim tabanlı modeli kullanan Azure OpenAI hizmetlerini sağlayan merkezi bir ekibin, gerekli kotayı elde etmek için Azure OpenAI örneklerini birden çok aboneliğe dağıtması gerekir. Ağ geçidi mantığı büyük ölçüde aynı kalır.

Tek bir bölgedeki birden çok örnek ve birden çok abonelik topolojisi için ipuçları

• İdeal olarak, Azure RBAC ve Azure İlkesi tutarlılığını desteklemek için aboneliklerin tümü aynı Microsoft Entra kiracısıyla desteklenmelidir.

• Ağ geçidinizi Azure OpenAI örneğiyle aynı bölgede dağıtın.

• Ağ geçidini Azure OpenAI örneklerinden ayrı bir ayrılmış aboneliğe dağıtın. Bu, Azure OpenAI örneklerinin ele alınmasında tutarlılığın uygulanmasına yardımcı olur ve Azure OpenAI dağıtımları ile bunların yönlendirmesi arasında mantıksal bir görev segmentasyonu sağlar.

• Ağ geçidinizden gelen istekleri abonelikler arasında yönlendirirken özel uç noktaların erişilebilir olduğundan emin olun. İlgili uçlarda arka uçlar için merkez üzerinden özel uç noktalara geçişli yönlendirmeyi kullanabilirsiniz. Abonelikler arasında Özel Bağlantı bağlantıları kullanarak doğrudan ağ geçidi aboneliğinde Azure OpenAI hizmetleri için özel uç noktaları kullanıma sunabilirsiniz. Mimariniz ve kuruluşunuz bu yaklaşımı destekliyorsa abonelikler arası Özel Bağlantı bağlantıları tercih edilir.

Tek bir bölgede ve birden çok abonelikte birden çok örnek için ağ geçidinden kaçınma nedenleri

Tek bir bölgede ve abonelikte birden çok örnek için ağ geçidinden kaçınmanın tüm nedenleri bu topoloji için geçerlidir.

Birden çok bölgede birden çok Azure OpenAI örneği

Birden çok bölgede birden çok Azure OpenAI örneği için topoloji ayrıntıları

• Azure OpenAI model dağıtımları: birden çok
• Azure OpenAI örnekleri: birden çok
• Abonelikler: bir veya daha fazla
• Bölgeler: birden çok

Birden çok bölgede birden çok Azure OpenAI örneği için topoloji kullanım örnekleri

İki veya daha fazla Azure bölgesine yayılmış birden çok Azure OpenAI örneği içeren bir topoloji aşağıdaki kullanım örneklerini destekler:

• Birden çok abonelikte tek bir bölgedeki birden çok Azure OpenAI örneği için listelenen tüm kullanım örneklerini içerir.

• Bölgeler arası çiftleri kullanma gibi hizmet kullanılabilirliği için bir yük devretme stratejisini etkinleştirir.

• Veri yerleşimi ve uyumluluk tasarımını etkinleştirir.

• Karma model kullanılabilirliğini etkinleştirir. Bazı bölgelerin farklı modelleri ve farklı kotaları vardır.

Teknik olarak farklı Azure bölgeleri olmasa da bu topoloji, şirket içi veya başka bir bulut gibi çapraz ön yükleme durumunda kullanıma sunulan bir yapay zeka modeliniz olduğunda da geçerlidir.

Birden çok bölgede birden çok örnek için ağ geçidi tanıtma

Tam bir bölgesel kesintiden kurtulması gereken iş açısından kritik mimariler için genel, birleşik bir ağ geçidi, istemci kodundan yük devretme mantığını ortadan kaldırmaya yardımcı olur. Bu uygulama, ağ geçidinin bölgesel bir kesintiden etkilenmeden kalmasını gerektirir.

Bölgeler arasında yük dengeleme tipik değildir, ancak bölgeler arasında tüketim tabanlı dağıtımlarda kullanılabilir kotaları birleştirmek için stratejik olarak kullanılabilir. Bu senaryo, ağ geçidinin bölgesel bir kesintiden etkilenmeden kalmasını gerektirmez, ancak en yüksek iş yükü güvenilirliği için bunu öneririz.

Azure API Management'ı kullanma (Tek bölgeli dağıtım)

Bu topolojide, Azure API Management özellikle ağ geçidi teknolojisi için kullanılır. Burada API Management tek bir bölgeye dağıtılır. Bu ağ geçidi örneğinden, bölgeler arasında etkin-etkin yük dengeleme gerçekleştirirsiniz. Ağ geçidinizdeki ilkeler tüm Azure OpenAI örneklerine başvurur. Ağ geçidi, bölgeler arası sanal ağ eşlemesi veya özel uç noktalar aracılığıyla bölgeler arasında her arka uca ağ görüş hattı gerektirir. Bu ağ geçidinden başka bir bölgedeki Azure OpenAI örneğine yapılan çağrılar daha fazla ağ gecikme süresi ve çıkış ücretine neden olur.

Ağ geçidinizin Azure OpenAI örneklerinden gelen azaltma ve kullanılabilirlik sinyallerini kabul etmesi ve hatalı veya kısıtlanmış Azure OpenAI örneğini okuması güvenli olana kadar hataya neden olan arka uçları havuzdan kaldırması gerekir. Ağ geçidi, bir ağ geçidi hatası döndürmeye geri dönmeden önce hata oluştuğunda havuzdaki başka bir arka uç örneğine karşı geçerli isteği yeniden denemelidir. Ağ geçidinin sistem durumu denetimi, kullanılabilir arka uç Azure OpenAI örneği olmadığında iyi durumda olmadığının sinyalini vermelidir.

Bu topoloji tek bir hata noktası (ağ geçidi) sağladığından, bu özel mimarinin yardımcı programı oldukça sınırlıdır. Bu model, PTU ayırmanın çok zor olabileceğini tahmin ederken Azure OpenAI'de tüketime dayalı faturalamaya iyi bir şekilde yardımcı olur.

Aktif-pasif değişken

Bu model, yalnızca Azure OpenAI'nin bölgesel hatasını özellikle işlemek için etkin-pasif bir yaklaşım sağlamak için de kullanılabilir. Bu modda trafik normalde ağ geçidinden API management hizmetiyle aynı bölgedeki Azure OpenAI örneğine akar. Bu Azure OpenAI örneği, bölgesel hatalar oluşmadan beklenen tüm trafik akışını işleyebilir. Tercih ettiğiniz faturalama modeline bağlı olarak PTU tabanlı veya tüketim tabanlı olabilir. Yalnızca Azure OpenAI'nin bölgesel olarak başarısız olması durumunda, azure OpenAI zaten tüketim modunda dağıtılmış durumda olan ağ geçidi trafiği başka bir bölgeye yönlendirebilir.

Azure API Management'ı kullanma (Çok bölgeli dağıtım)

API Management, önceki Azure API Management tabanlı mimarinin güvenilirliğini artırmak için bir örneğin birden çok Azure bölgesine dağıtılmasına yardımcı olur. Bu dağıtım seçeneği, tek bir API Management örneği aracılığıyla tek bir denetim düzlemi sağlar, ancak seçtiğiniz bölgelerde çoğaltılmış ağ geçitleri sağlar. Bu topolojide, ağ geçidi bileşenlerini etkin-etkin ağ geçidi mimarisi sağlayan Azure OpenAI örneklerini içeren her bölgeye dağıtacaksınız.

Yönlendirme ve istek işleme mantığı gibi ilkeler her ağ geçidine çoğaltılır. Geçerli ağ geçidiyle aynı bölgedeki Azure OpenAI örneklerini çağırdığınızdan emin olmak için tüm ilke mantığının ilkede koşullu mantığı olmalıdır. Daha fazla bilgi için bkz . API çağrılarını bölgesel arka uç hizmetlerine yönlendirme. Ağ geçidi bileşeni daha sonra, genellikle özel uç noktalar aracılığıyla yalnızca kendi bölgesindeki Azure OpenAI örnekleri için ağ görüş hattı gerektirir.

API Management, en düşük gecikme süresine göre kullanıma açık genel tam etki alanı adı (FQDN) yönlendirmesi sunar. Etkin-etkin ağ geçidi dağıtımları için bu yerleşik performans tabanlı işlevselliği kullanın. Bu yerleşik işlevsellik, performansın giderilmesine yardımcı olur ve bölgesel ağ geçidi kesintilerini işler. Yerleşik genel yönlendirici, bölgeler tek tek ağ geçitleri devre dışı bırakıldığı için simülasyonu yapılaabildiği için olağanüstü durum kurtarma testini de destekler. İstemcilerin FQDN'de yaşam süresine (TTL) uygun olduğundan ve son DNS yük devretmesini işlemek için uygun yeniden deneme mantığına sahip olduğundan emin olun.

Bu mimariye bir web uygulaması güvenlik duvarı eklemeniz gerekiyorsa, web uygulaması güvenlik duvarı uygulayan genel yönlendiricinizin arka uç kaynağı olarak yerleşik FQDN yönlendirme çözümünü kullanmaya devam edebilirsiniz. Genel yönlendirici, yük devretme sorumluluğunu API Management'a devredecek. Alternatif olarak, arka uç havuzu üyeleri olarak bölgesel ağ geçidi FQDN'lerini kullanabilirsiniz. Bu ikinci mimaride /status-0123456789abcdef , bölgesel yük devretmeyi desteklemek için her bölgesel ağ geçidinde yerleşik uç noktayı veya başka bir özel sistem durumu API'sinin uç noktasını kullanın. Emin değilseniz, tek çıkışlı arka uç FQDN yaklaşımıyla başlayın.

Bu mimari, bölgeleri tam olarak kullanılabilir veya tamamen kullanılamaz olarak değerlendirebiliyorsanız en iyi şekilde çalışır. Bu, API Management ağ geçidi veya Azure OpenAI örneği kullanılamıyorsa istemci trafiğinin artık bu bölgedeki API Management ağ geçidine yönlendirilmesini istemediğiniz anlamına gelir. Başka bir sağlama yapılmadığı sürece bölgesel ağ geçidi Azure OpenAI kullanılamaz durumdayken trafiği kabul ederse hatanın istemciye yayılması gerekir. İstemci hatasını önlemek için Etkin-etkin ağ geçidi ve etkin-pasif Azure OpenAI değişkeninde geliştirilmiş bir yaklaşıma bakın.

Bir bölgede API Management ağ geçidi kesintisi yaşanıyorsa veya iyi durumda değil olarak işaretleniyorsa, kalan kullanılabilir bölgelerin bu diğer bölgelerden gelen trafiğin %100'ünün emilmesi gerekir. Bu, yeni trafik artışını işlemek için PTU tabanlı Azure OpenAI örneklerini aşırı sağlamanız veya yük devretme için etkin-pasif bir yaklaşım kullanmanız gerektiği anlamına gelir. Kapasite planlaması için Azure OpenAI Kapasite hesaplayıcısını kullanın.

Ağ geçitlerinizin kaynak sağlayıcısına erişme becerinizi etkileyen ilgili bölgesel kesintinin patlama yarıçapını azaltmak için Azure API Management içeren kaynak grubunun API Management örneğinin kendisiyle aynı konumda olduğundan emin olun.

Etkin-etkin ağ geçidi artı etkin-pasif Azure OpenAI değişkeni

Önceki bölümde, etkin-etkin bir ağ geçidi topolojisi sağlayarak ağ geçidinin kullanılabilirliği ele alır. Bu topoloji, etkin-etkin ağ geçidini uygun maliyetli bir etkin-pasif Azure OpenAI topolojisi ile birleştirir. PTU tabanlı bir dağıtımdan tüketim tabanlı Azure OpenAI dağıtımına yük devretmek için ağ geçidine etkin-pasif mantık eklemek, iş yükünün güvenilirliğini önemli ölçüde artırabilir. Bu model, istemcilerin performans tabanlı yönlendirme için API Management yerleşik FQDN yönlendirme çözümünü kullanmasına izin verir.

Özel kodlanmış ağ geçidi kullanma

Ağ geçidi başına yönlendirme kurallarınız ekibinizin API Management ilkeleri olarak makul düşünemeyecek kadar karmaşıksa kendi çözümünüzü dağıtmanız ve yönetmeniz gerekir. Bu mimari, ağ geçidinizin çok bölgeli bir dağıtımı olmalı ve bölge başına bir yüksek oranda kullanılabilir ölçek birimi olmalıdır. Azure Front Door (Anycast) veya Azure Traffic Manager (DNS) ile bu dağıtımların önüne normalde gecikme süresi tabanlı yönlendirme ve ağ geçidi kullanılabilirliği için uygun sistem durumu denetimlerini kullanarak geçmelisiniz.

Web uygulaması güvenlik duvarı ve genel İnternet erişimine ihtiyacınız varsa Azure Front Door'ı kullanın. Web uygulaması güvenlik duvarına ihtiyacınız yoksa ve DNS TTL yeterliyse Traffic Manager'ı kullanın. Azure Front Door (veya herhangi bir ters ara sunucu) ile ağ geçidi örneklerinizin önüne geçtiğinizde ağ geçidinin atlanmadığından emin olun. Ağ geçidi örneklerini yalnızca Azure Front Door kullanırken özel uç nokta üzerinden kullanılabilir hale getirin ve ağ geçidi uygulamanıza HTTP üst bilgisinin doğrulamasını X_AZURE_FDID ekleyin.

Özel ağ geçidinizde kullanılan bölge başına kaynakları bölge başına kaynak gruplarına yerleştirin. Bunun yapılması, ilgili bölgesel kesintinin patlama yarıçapını azaltarak bu bölgedeki ağ geçidi kaynaklarınız için kaynak sağlayıcısına erişme becerinizi etkiler.

AYRıCA API Management'ın TLS, kimlik doğrulaması, sistem durumu denetimi veya hepsini bir kez deneme yük dengeleme gibi diğer avantajları için API Management ile ağ geçidi mantığı uygulamanızı öne almayı da düşünebilirsiniz. Bunun yapılması, yaygın API endişelerini ağ geçidinizdeki özel kodun dışına taşır ve ağ geçidinizin özel olarak Azure OpenAI örneği ve model dağıtım yönlendirmesini ele almalarını sağlar.

Veri yerleşimi uyumluluğu için her jeopolitik sınırın bu mimarinin kendi yalıtılmış dağıtımına sahip olduğundan ve istemcilerin yalnızca yetkili uç noktalarına ulaşadığından emin olun.

Birden çok bölgede birden çok örnek için ağ geçidinden kaçınma nedenleri

Veri yerleşimi ve uyumluluk gerektiğinde jeopolitik bölgeler arasında birleşik bir ağ geçidi uygulamayın. Bunun yapılması veri yerleşimi gereksinimlerini ihlal eder. Bölge başına tek tek adreslenebilir ağ geçitleri kullanın ve önceki bölümlerden birinde yer alan yönergeleri izleyin.

İstemcilerin bölgeler arasında yük devretmesi beklenmiyorsa ve istemcilerin kullanması için belirli bir ağ geçidi verme olanağınız varsa, bunun yerine bölge başına bir tane olmak üzere birden çok ağ geçidi kullanın ve önceki bölümlerden birinde yer alan yönergeleri izleyin. Diğer bölgelerin kullanılabilirliğini ağ geçidinizi içeren bölgeye tek bir hata noktası olarak bağlamayın.

Modeliniz ve sürümünüz ağ geçidi tarafından kullanıma sunulan tüm bölgelerde kullanılamıyorsa birleşik ağ geçidi uygulamayın. İstemcilerin aynı modele ve aynı model sürümüne yönlendirilmesi gerekir. Çok bölgeli yük dengeli ve yük devretme ağ geçitleri için tüm ilgili bölgelerde kullanılabilen ortak bir model ve model sürümü seçmeniz gerekir. Daha fazla bilgi için bkz . Model kullanılabilirliği. Model ve model sürümünde standartlaştıramıyorsanız ağ geçidinin avantajı sınırlıdır.

Genel öneriler

İş yükünüzün hangi topolojiye ihtiyacı olursa olsun, ağ geçidi çözümünüzü oluştururken göz önünde bulundurmanız gereken birkaç çapraz kesme önerisi vardır.

Durum bilgisi olan etkileşimler

İstemciler Azure OpenAI'nin Yardımcılar API'si gibi durum bilgisi olan özelliklerini kullandığında, ağ geçidinizi bu etkileşim sırasında bir istemciyi belirli bir arka uca sabitlemek için yapılandırmanız gerekir. Bunu yapmak, örnek verilerini bir tanımlama bilgisinde depolayarak gerçekleştirilebilir. Bu senaryolarda, bunu farklı bir Azure OpenAI örneğine yönlendirmek yerine sabitlenmiş bir istemciye gibi 429 bir Azure OpenAI API yanıtı döndürmeyi göz önünde bulundurun. Bunu yapmak, istemcinin ani kullanım dışılığı gizlemeye ve geçmişi olmayan bir model örneğine yönlendirilmeye karşı açıkça işlemesine olanak tanır.

Ağ geçidi sistem durumu denetimleri

Topolojiden bağımsız olarak dikkate alınması gereken iki durum denetimi perspektifi vardır.

Ağ geçidiniz hepsini bir kez deneme veya tam olarak hizmet kullanılabilirliği yük devretmesi gerçekleştirmek için oluşturulduysa, Azure OpenAI örneğini (veya modelini) kullanılabilirlik durumundan çıkarmanın bir yolunu istersiniz. Azure OpenAI, istekleri işlemek için kullanılabilir olup olmadığını önceden bilmek için herhangi bir sistem durumu denetimi uç noktası sağlamaz. yapay geçişler gönderebilirsiniz, ancak bu model kapasitesini kullanır. Azure OpenAI örneği ve model kullanılabilirliği için başka bir güvenilir sinyal kaynağınız olmadığı sürece, ağ geçidiniz büyük olasılıkla Azure OpenAI örneğinin açık olduğunu varsaymalı ve ardından , 500503 HTTP durum kodlarını bir süre söz konusu örnek veya modeldeki gelecekteki istekler için devre dışı kalma sinyali olarak işlemelidir429. Azaltma durumları için, bağlantı hattı kesme mantığınızdaki yanıt kodları için 429 Azure OpenAI API yanıtlarında bulunan üst bilgideki verilere Retry-After her zaman uygun olun. Azure API Management kullanıyorsanız, yerleşik devre kesici işlevini kullanarak değerlendirin.

İstemcileriniz veya iş yükü operasyonları ekibiniz kendi yönlendirme veya iç gözlem amaçları doğrultusunda ağ geçidinizde bir sistem durumu denetimi kullanıma sunulmak isteyebilir. API Management kullanıyorsanız, arka uçlarınızı değil çoğunlukla API Management ağ geçidi örneğini ele alan varsayılan değer /status-0123456789abcdef yeterince ayrıntılı olmayabilir. İstemcilere veya ağ geçidindeki belirli yolların kullanılabilirliği konusunda istemcilere veya gözlemlenebilirlik sistemlerine anlamlı veriler döndürebilen ayrılmış bir sistem durumu denetimi API'sini eklemeyi göz önünde bulundurun.

Güvenli dağıtım uygulamaları

Güncelleştirilmiş modellerin mavi-yeşil dağıtımlarını yönetmek için ağ geçidi uygulamalarını kullanabilirsiniz. Azure OpenAI modelleri yeni model sürümleri ve yeni modellerle güncelleştirilir ve yeni ince ayarlı modelleriniz olabilir.

Üretim öncesi bir değişikliğin etkilerini test ettikten sonra, üretim istemcilerinin yeni model sürümüne "kesilmesini" veya bunun yerine trafiği kaydırmayı değerlendirin. Daha önce açıklanan ağ geçidi deseni, arka ucun her iki modelin de eşzamanlı olarak dağıtılmasını sağlar. Modellerin eşzamanlı olarak dağıtılması, iş yükü ekibinin artımlı dağıtıma yönelik güvenli dağıtım uygulamasına göre trafiği yeniden yönlendirmek için ağ geçidine güç verir.

Mavi-yeşil dağıtımları kullanmasanız bile iş yükünüzün APIOps yaklaşımının tanımlanması ve arka uç örneğinizin ve model dağıtımlarınızın değişim hızıyla yeterince otomatikleştirilmiş olması gerekir.

Yeterli uygulama

Bu makalede sunulan senaryoların çoğu, istemci karmaşıklığını azaltarak ve güvenilir kendini koruma teknikleri uygulayarak iş yükünüzün olası hizmet düzeyi hedefini (SLO) artırmaya yardımcı olur. Diğerleri, erişim denetimlerini belirli modellere Azure OpenAI'den uzaklaştırarak iş yükünün güvenliğini artırır. Ağ geçidinin kullanıma sunulmasının bu hedeflere karşı çalışmadığından emin olun. Ağ geçidindeki hizmet hataları veya insan kaynaklı yapılandırma sorunları, karmaşık yönlendirme mantığı veya yetkisiz istemcilere hedeflenenden daha fazla model sunma riskleri aracılığıyla yeni bir tek hata noktası eklemenin risklerini anlayın.

Veri egemenliği

Çeşitli etkin-etkin ve aktif-pasif yaklaşımların iş yükünüz için veri yerleşimi uyumluluğu perspektifinden değerlendirilmesi gerekir. Bu desenlerin çoğu, söz konusu bölgeler jeopolitik sınır içinde kalırsa iş yükünüzün mimarisi için geçerli olacaktır. Bu senaryoyu desteklemek için jeopolitik sınırları yalıtılmış damga damgaları olarak ele almanız ve etkin-aktif veya aktif-pasif işlemeyi yalnızca bu damganın içinde uygulamanız gerekir.

Özellikle, performans tabanlı yönlendirmelerin veri hakimiyeti uyumluluğu için yüksek düzeyde denetlenmesi gerekir. Veri hakimiyeti senaryolarında, istemcilere başka bir coğrafyayla hizmet sağlayamaz ve uyumlu kalamazsınız. Veri yerleşimi içeren tüm ağ geçidi mimarileri, istemcilerin yalnızca jeopolitik bölgelerindeki uç noktaları kullanmasını zorunlu kılmalıdır. İstemcilerin diğer ağ geçidi uç noktalarını kullanmaları engellenmelidir ve ağ geçidinin kendisi jeopolitik çapraz istekte bulunarak istemcinin güvenini ihlal etmez. Bu segmentasyonu uygulamanın en güvenilir yolu, mimarinizi jeopolitik bölge başına tamamen bağımsız ve yüksek oranda kullanılabilir bir ağ geçidi etrafında oluşturmaktır.

Azure OpenAI yetkilendirmesi

Ağ geçidinin, arabirimini yaptığı tüm Azure OpenAI örnekleriyle kimlik doğrulaması yapması gerekir. Ağ geçidini doğrudan kimlik doğrulaması yapacak şekilde tasarlanmamışsa, ağ geçidinin kimlik bilgileri için yönetilen kimlik kullanması gerekir. Bu nedenle her Azure OpenAI örneğinin ağ geçitlerinin yönetilen kimlikleri için en az ayrıcalıklı RBAC yapılandırması gerekir. Etkin-etkin ve yük devretme mimarileri için, ağ geçidi kimliğinin tüm ilgili Azure OpenAI örneklerinde eşdeğer izinlere sahip olduğundan emin olun.

Azure İlkesi

Model dağıtımları ile Azure OpenAI örnekleri arasındaki tutarlılık, etkin-etkin veya etkin-pasif durumlarda önemlidir. Çeşitli Azure OpenAI örnekleri veya model dağıtımları arasında tutarlılığı zorlamaya yardımcı olması için Azure İlkesi kullanın. Azure OpenAI için yerleşik ilkeler aralarında tutarlılık sağlamak için yeterli değilse, topluluk tarafından oluşturulan özel ilkeler oluşturmayı veya kullanmayı göz önünde bulundurun.

Ağ geçidi yedekliliği

Birden çok arka uç için özel olmasa da, her bölgenin ağ geçidi uygulaması her zaman yedekli olarak derlenmeli ve ölçek birimi içinde yüksek oranda kullanılabilir olmalıdır. Kullanılabilirlik alanları olan bölgeleri seçin ve ağ geçidinizin bu bölgelere yayıldığına emin olun. Tek hata noktasının ağ geçidinizdeki tek bir işlem örneğinin hatasıyla değil, tam bir bölgesel kesintiyle sınırlı olması için ağ geçidinin birden çok örneğini dağıtın. API Management için iki veya daha fazla bölgeye iki veya daha fazla birim dağıtın. Özel kod uygulamaları için, kullanılabilirlik alanları arasında en iyi çaba dağılımına sahip en az üç örnek dağıtın.

Ağ geçidi uygulamaları

Azure, böyle bir ağ geçidi oluşturmak için anahtar teslimi bir çözüm veya başvuru mimarisi sunmaz. Giriş makalesinde belirtildiği gibi, iş yükü ekibinizin bu ağ geçidini oluşturması ve çalıştırması gerekir. Aşağıda, daha önce bahsedilen kullanım örneklerinden bazılarını kapsayan topluluk tarafından desteklenen örnek uygulama örnekleri verilmiştir. Kendi kavram kanıtınızı oluştururken bu GitHub örneklerine başvurmayı göz önünde bulundurun.

Uygulama	Örnek
Azure API Management	Azure API Management kullanarak Azure OpenAI için akıllı yük dengeleme - Bu GitHub deposu, aboneliğinize dağıtmaya yönelik örnek ilke kodunu ve yönergeleri içerir. Azure API Management kullanarak Azure OpenAI'yi ölçeklendirme - Bu GitHub deposu örnek ilke kodu ile PTU ve tüketim taşma yönergelerini içerir. GenAI ağ geçidi araç seti deposunda topluluk tarafından desteklenen bazı API Management ilkeleri de vardır.
Özel kod	Azure Container Apps kullanarak Azure OpenAI için akıllı yük dengeleme Bu GitHub deposu, kapsayıcıyı derlemeye ve aboneliğinize dağıtmaya ilişkin örnek C# kodunu ve yönergeleri içerir.

Sonraki adımlar

İş yükünüz için bir ağ geçidi uygulamasına sahip olmak, bu makalede açıklanan taktiksel birden çok arka uç yönlendirme avantajının ötesinde avantajlar sağlar. Ağ geçidinin çözebileceği diğer önemli zorluklar hakkında bilgi edinin.

İlgili kaynaklar

• Azure OpenAI Hizmeti
• Azure API Management'ta API ağ geçidi
• Azure OpenAI API Management ilkeleri