Memuat aplikasi obrolan Python menggunakan RAG dengan Locust

Artikel ini menyediakan proses untuk melakukan pengujian beban pada aplikasi obrolan Python menggunakan pola RAG dengan Locust, alat pengujian beban sumber terbuka yang populer. Tujuan utama pengujian beban adalah untuk memastikan bahwa beban yang diharapkan pada aplikasi obrolan Anda tidak melebihi kuota Azure OpenAI Transactions Per Minute (TPM) saat ini. Dengan mensimulasikan perilaku pengguna di bawah beban berat, Anda dapat mengidentifikasi potensi hambatan dan masalah skalabilitas dalam aplikasi Anda. Proses ini sangat penting untuk memastikan bahwa aplikasi obrolan Anda tetap responsif dan dapat diandalkan, bahkan ketika dihadapkan dengan volume permintaan pengguna yang tinggi.

Tonton video demonstrasi untuk memahami lebih lanjut tentang pengujian beban aplikasi obrolan.

• Video

Catatan

Artikel ini menggunakan satu atau beberapa templat aplikasi AI sebagai dasar untuk contoh dan panduan dalam artikel. Templat aplikasi AI memberi Anda implementasi referensi yang terawat dan mudah disebarkan dengan baik yang membantu memastikan titik awal berkualitas tinggi untuk aplikasi AI Anda.

Prasyarat

• Langganan Azure. Buat satu secara gratis

• Akses yang diberikan ke Azure OpenAI dalam langganan Azure yang diinginkan. Saat ini, akses ke layanan ini hanya diberikan oleh aplikasi. Anda dapat mengajukan permohonan akses ke Azure OpenAI dengan melengkapi formulir di https://aka.ms/oai/access.

• Kontainer dev tersedia untuk kedua sampel, dengan semua dependensi diperlukan untuk menyelesaikan artikel ini. Anda dapat menjalankan kontainer dev di GitHub Codespaces (di browser) atau secara lokal menggunakan Visual Studio Code.

  Codespace (disarankan)

  • Anda hanya memerlukan akun GitHub

  Visual Studio Code

  • Azure Developer CLI
  • Docker Desktop - mulai Docker Desktop jika belum berjalan
  • Visual Studio Code
  • Ekstensi Kontainer Dev

• Aplikasi obrolan Python dengan RAG - jika Anda mengonfigurasi aplikasi obrolan untuk menggunakan salah satu solusi penyeimbang beban, artikel ini akan membantu Anda menguji penyeimbangan beban. Solusi penyeimbangan beban mencakup Azure Container Apps.

Buka Aplikasi sampel uji beban

Pengujian beban ada di solusi aplikasi obrolan Python sebagai pengujian Locust. Anda perlu kembali ke artikel tersebut, menyebarkan solusi, lalu menggunakan lingkungan pengembangan kontainer dev tersebut untuk menyelesaikan langkah-langkah berikut.

Jalankan tes

1. Instal dependensi untuk pengujian beban.

   python3 -m pip install -r requirements-dev.txt
   

2. Mulai Locust, yang menggunakan file pengujian Locust: locustfile.py ditemukan di akar repositori.

   locust
   

3. Buka situs web Locust yang sedang berjalan seperti http://localhost:8089.

4. Masukkan yang berikut ini di situs web Locust.

   Properti	Nilai
   Jumlah pengguna	20
   Ramp up	1
   Host	https://<YOUR-CHAT-APP-URL>.azurewebsites.net

   

5. Pilih Mulai Swarm untuk memulai pengujian.

6. Pilih Bagan untuk melihat kemajuan pengujian.

   

Membersihkan sumber daya

Setelah selesai dengan pengujian beban, bersihkan sumber daya. Sumber daya Azure yang dibuat dalam artikel ini ditagihkan ke langganan Azure Anda. Jika Anda tidak mengharapkan untuk membutuhkan sumber daya ini di masa mendatang, hapus sumber daya tersebut untuk menghindari dikenakan lebih banyak biaya. Setelah Anda menghapus sumber daya khusus untuk artikel ini, ingatlah untuk kembali ke tutorial aplikasi obrolan lainnya dan ikuti langkah-langkah pembersihan.

Kembali ke artikel aplikasi obrolan untuk membersihkan sumber daya tersebut.

Dapatkan bantuan

Jika Anda mengalami masalah saat menggunakan penguji beban ini, catat masalah Anda ke Masalah repositori.