Özet
Bu modülde Azure OpenAI'yi Azure API Management ile birlikte nasıl kullanabileceğinizi ele aldık. Bu hizmetleri birleştirerek yapay zeka modellerinize erişimi yönetebilir ve güvenli hale getirebilirsiniz.
İlk olarak yük dengeleme sorununu ve Azure API Management'ın trafiği yönetmenize nasıl yardımcı olabileceğini ve yükün arka uçlarınız arasında eşit bir şekilde dağıtılmasını nasıl sağlayabileceğinizi ele aldık. Ayrıca devre kesicileri ve trafiği iyi durumda olmayan arka uçlardan uzaklaştırmaya nasıl yardımcı olabileceklerini inceledik.
Ardından, belirteç tabanlı hız sınırlamasını ve API'lerinize erişimi denetlemek için bunu nasıl kullanabileceğinizi ele aldık. Önemli bir öğrenme, belirteç tüketiminde sınırlar belirleyerek aşırı tüketimden kaçınmak ve buna "gürültülü komşular" denmesiydi.
Son olarak, Azure OpenAI Yayma Belirteci Ölçüm İlkesi'ni kullanarak belirteç kullanım desenlerini nasıl izleyebileceğinizi ve çözümleyebileceğinizi tartıştık. Kapsamlı ölçümler sağlayarak kaynak ayırmayı iyileştirebilir, karar alma sürecini iyileştirebilir ve performans izlemeyi geliştirebilirsiniz.
Sonraki adımlar
Önerilen sonraki adımlarımız şunlardır: