Memuat aplikasi obrolan Python menggunakan RAG dengan Locust
Artikel ini menyediakan proses untuk melakukan pengujian beban pada aplikasi obrolan Python menggunakan pola RAG dengan Locust, alat pengujian beban sumber terbuka yang populer. Tujuan utama pengujian beban adalah untuk memastikan bahwa beban yang diharapkan pada aplikasi obrolan Anda tidak melebihi kuota Azure OpenAI Transactions Per Minute (TPM) saat ini. Dengan mensimulasikan perilaku pengguna di bawah beban berat, Anda dapat mengidentifikasi potensi hambatan dan masalah skalabilitas dalam aplikasi Anda. Proses ini sangat penting untuk memastikan bahwa aplikasi obrolan Anda tetap responsif dan dapat diandalkan, bahkan ketika dihadapkan dengan volume permintaan pengguna yang tinggi.
Tonton video demonstrasi untuk memahami lebih lanjut tentang pengujian beban aplikasi obrolan.
Catatan
Artikel ini menggunakan satu atau beberapa templat aplikasi AI sebagai dasar untuk contoh dan panduan dalam artikel. Templat aplikasi AI memberi Anda implementasi referensi yang terawat dan mudah disebarkan dengan baik yang membantu memastikan titik awal berkualitas tinggi untuk aplikasi AI Anda.
Prasyarat
Langganan Azure. Buat satu secara gratis
Akses yang diberikan ke Azure OpenAI dalam langganan Azure yang diinginkan. Saat ini, akses ke layanan ini hanya diberikan oleh aplikasi. Anda dapat mengajukan permohonan akses ke Azure OpenAI dengan melengkapi formulir di https://aka.ms/oai/access.
Kontainer dev tersedia untuk kedua sampel, dengan semua dependensi diperlukan untuk menyelesaikan artikel ini. Anda dapat menjalankan kontainer dev di GitHub Codespaces (di browser) atau secara lokal menggunakan Visual Studio Code.
- Anda hanya memerlukan akun GitHub
Aplikasi obrolan Python dengan RAG - jika Anda mengonfigurasi aplikasi obrolan untuk menggunakan salah satu solusi penyeimbang beban, artikel ini akan membantu Anda menguji penyeimbangan beban. Solusi penyeimbangan beban mencakup Azure Container Apps.
Buka Aplikasi sampel uji beban
Pengujian beban ada di solusi aplikasi obrolan Python sebagai pengujian Locust. Anda perlu kembali ke artikel tersebut, menyebarkan solusi, lalu menggunakan lingkungan pengembangan kontainer dev tersebut untuk menyelesaikan langkah-langkah berikut.
Jalankan tes
Instal dependensi untuk pengujian beban.
python3 -m pip install -r requirements-dev.txt
Mulai Locust, yang menggunakan file pengujian Locust: locustfile.py ditemukan di akar repositori.
locust
Buka situs web Locust yang sedang berjalan seperti
http://localhost:8089
.Masukkan yang berikut ini di situs web Locust.
Properti Nilai Jumlah pengguna 20 Ramp up 1 Host https://<YOUR-CHAT-APP-URL>.azurewebsites.net
Pilih Mulai Swarm untuk memulai pengujian.
Pilih Bagan untuk melihat kemajuan pengujian.
Membersihkan sumber daya
Setelah selesai dengan pengujian beban, bersihkan sumber daya. Sumber daya Azure yang dibuat dalam artikel ini ditagihkan ke langganan Azure Anda. Jika Anda tidak mengharapkan untuk membutuhkan sumber daya ini di masa mendatang, hapus sumber daya tersebut untuk menghindari dikenakan lebih banyak biaya. Setelah Anda menghapus sumber daya khusus untuk artikel ini, ingatlah untuk kembali ke tutorial aplikasi obrolan lainnya dan ikuti langkah-langkah pembersihan.
Kembali ke artikel aplikasi obrolan untuk membersihkan sumber daya tersebut.
Dapatkan bantuan
Jika Anda mengalami masalah saat menggunakan penguji beban ini, catat masalah Anda ke Masalah repositori.