Memuat pengujian aplikasi obrolan Python dengan menggunakan RAG dengan Locust

Artikel ini menyediakan proses untuk melakukan pengujian beban pada aplikasi obrolan Python dengan menggunakan pola Retrieval Augmented Generation (RAG) dengan Locust, alat pengujian beban sumber terbuka yang populer. Tujuan utama pengujian beban adalah untuk memastikan bahwa beban yang diharapkan pada aplikasi obrolan Anda tidak melebihi kuota transaksi Azure OpenAI Service per menit (TPM) saat ini. Dengan mensimulasikan perilaku pengguna di bawah beban berat, Anda dapat mengidentifikasi potensi hambatan dan masalah skalabilitas dalam aplikasi Anda. Proses ini sangat penting untuk memastikan bahwa aplikasi obrolan Anda tetap responsif dan dapat diandalkan, bahkan ketika dihadapkan dengan volume permintaan pengguna yang tinggi.

Nota

Artikel ini menggunakan satu atau beberapa templat aplikasi AI sebagai dasar untuk contoh dan panduan dalam artikel. Templat aplikasi AI memberi Anda implementasi referensi yang terawat dengan baik yang mudah disebarkan. Ini membantu memastikan titik awal berkualitas tinggi untuk aplikasi AI Anda.

Prasyarat

• Sebuah langganan Azure. Buat akun gratis.

• Kontainer dev tersedia untuk kedua sampel dengan semua dependensi yang diperlukan untuk menyelesaikan artikel ini. Anda dapat menjalankan kontainer dev di GitHub Codespaces (di browser) atau secara lokal dengan menggunakan Visual Studio Code.

  • Anda hanya perlu akun GitHub.

  Visual Studio Code

  • Azure Developer CLI.
  • Docker Desktop. Mulai Docker Desktop jika belum berjalan.
  • Kode Visual Studio.
  • Dev Containers ekstensi.

• Aplikasi obrolan Python dengan RAG. Jika Anda mengonfigurasi aplikasi obrolan untuk menggunakan salah satu solusi penyeimbangan beban, artikel ini membantu Anda menguji penyeimbangan beban. Solusi penyeimbangan beban mencakup Azure Container Apps.

Buka aplikasi sampel uji beban

Pengujian beban ada di solusi aplikasi obrolan Python sebagai pengujian Locust. Kembali ke artikel tersebut, sebarkan solusi, lalu gunakan lingkungan pengembangan kontainer dev tersebut untuk menyelesaikan langkah-langkah berikut.

Jalankan tes

1. Instal paket Locust, yang digunakan untuk mensimulasikan pengguna bersamaan dan menghasilkan beban terhadap aplikasi obrolan Anda:

   python -m pip install locust
   

2. Mulai Locust, yang menggunakan file pengujian Locust locustfile.py. Anda dapat menemukannya di akar repositori. Sampel memiliki ChatUser kelas yang mensimulasikan pengguna yang mengajukan pertanyaan dan menerima jawaban dari aplikasi obrolan.

   locust ChatUser
   

3. Setelah Locust berhasil dimulai, Locust meluncurkan antarmuka web lokal yang Anda gunakan untuk mengonfigurasi dan memantau pengujian beban. Buka situs web Locust yang sedang berjalan, seperti http://localhost:8089.

4. Masukkan nilai berikut di situs web Locust.

   Harta benda	Nilai
   Jumlah pengguna	20
   Tingkatkan	1
   Pembawa acara	https://<YOUR-CHAT-APP-URL>.azurewebsites.net (URL dasar aplikasi obrolan yang Anda sebarkan)

   

5. Pilih Mulai Swarm untuk memulai pengujian.

6. Pilih Grafik untuk melihat kemajuan pengujian.

   

Membersihkan sumber daya

Setelah selesai dengan pengujian beban, bersihkan sumber daya. Sumber daya Azure yang dibuat dalam artikel ini ditagihkan ke langganan Azure Anda. Jika Anda tidak mengharapkan untuk membutuhkan sumber daya ini di masa mendatang, hapus sumber daya tersebut untuk menghindari dikenakan lebih banyak biaya. Setelah Anda menghapus sumber daya khusus untuk artikel ini, ingatlah untuk kembali ke tutorial aplikasi obrolan lainnya dan ikuti langkah-langkah pembersihan.

Kembali ke artikel aplikasi obrolan untuk membersihkan sumber daya tersebut.

Dapatkan bantuan

Jika Anda mengalami masalah saat menggunakan penguji beban ini, tambahkan masalah Anda ke halaman web Masalah repositori.