Ringkasan
Dalam modul ini, kami telah membahas bagaimana Anda dapat menggunakan Azure OpenAI bersama dengan Azure API Management. Dengan menggabungkan layanan ini, Anda dapat mengelola dan mengamankan akses ke model AI Anda.
Pertama, kami membahas masalah penyeimbangan beban dan bagaimana Azure API Management dapat membantu Anda mengelola lalu lintas dan memastikan beban didistribusikan secara merata di seluruh backend Anda. Kami juga melihat ke pemutus sirkuit dan bagaimana mereka dapat membantu mengarahkan lalu lintas dari backend yang tidak sehat.
Selanjutnya, kami membahas pembatasan tarif berbasis token dan bagaimana Anda dapat menggunakannya untuk mengontrol akses ke API Anda. Pembelajaran penting adalah menghindari konsumsi berlebihan dan disebut "tetangga yang berisik" dengan menetapkan batasan pada konsumsi token.
Terakhir, kami membahas bagaimana Anda dapat memantau dan menganalisis pola penggunaan token menggunakan Azure OpenAI Emit Token Metric Policy. Dengan menyediakan metrik yang komprehensif, Anda dapat mengoptimalkan alokasi sumber daya, meningkatkan pengambilan keputusan, dan meningkatkan pemantauan performa.
Langkah berikutnya
Berikut adalah langkah-langkah berikutnya yang direkomendasikan: