Python-csevegőalkalmazás terheléstesztelése a RAG és a Locust használatával

Ez a cikk a Python-csevegőalkalmazások terheléstesztelésének folyamatát ismerteti a Lekéréses kiterjesztett generáció (RAG) mintával a Locusttal, egy népszerű nyílt forráskódú terheléstesztelő eszközzel. A terheléstesztelés elsődleges célja annak biztosítása, hogy a csevegőalkalmazás várt terhelése ne haladja meg az Azure OpenAI Szolgáltatás aktuális percenkénti tranzakcióinak (TPM) kvótáját. A felhasználói viselkedés nagy terhelés esetén történő szimulálásával azonosíthatja az alkalmazás lehetséges szűk keresztmetszeteit és méretezhetőségi problémáit. Ez a folyamat kulcsfontosságú annak biztosításához, hogy a csevegőalkalmazás rugalmas és megbízható maradjon, még akkor is, ha nagy mennyiségű felhasználói kéréssel szembesül.

Megjegyzés:

Ez a cikk egy vagy több AI-alkalmazássablont használ a cikkben szereplő példák és útmutatók alapjaként. Az AI-alkalmazássablonok könnyen üzembe helyezhető, jól karbantartott referencia-implementációkat biztosítanak. Segítenek magas színvonalú kiindulópontot biztosítani az AI-alkalmazások számára.

Előfeltételek

• Egy Azure-előfizetés. Hozzon létre egyet ingyen.

• A fejlesztői tárolók mindkét mintához elérhetők a cikk elvégzéséhez szükséges összes függőséggel. A fejlesztői tárolókat a GitHub Codespacesben (böngészőben) vagy helyileg is futtathatja a Visual Studio Code használatával.

  GitHub Codespaces (ajánlott)

  • Csak GitHub-fiókra van szüksége.

  Visual Studio Code

  • Azure fejlesztői parancssori felület.
  • Docker Desktop. Indítsa el a Docker Desktopot, ha még nem fut.
  • Visual Studio Code.
  • Dev Containers bővítmény.

• Python-csevegőalkalmazás ragtal.

A terhelésteszt mintaalkalmazás megnyitása

A terhelési teszt a Python-csevegőalkalmazás-megoldásban van Locust-tesztként. Térjen vissza a cikkhez, telepítse a megoldást, majd használja a fejlesztői tároló fejlesztési környezetét a következő lépések végrehajtásához.

A teszt futtatása

1. Telepítse a Locust-csomagot, amely egyidejű felhasználók szimulálására és a csevegőalkalmazás terhelésének generálására szolgál:

   python -m pip install locust
   

2. Indítsa el a Locustot, amely a Locust tesztfájlt locustfile.py használja. Az adattár gyökerében található. A mintának van egy ChatUser osztálya, amely szimulál egy felhasználót, aki kérdéseket tesz fel, és válaszokat kap a csevegőalkalmazástól.

   locust ChatUser
   

3. A Locust sikeres indítása után elindít egy helyi webes felületet, amellyel konfigurálhatja és figyelheti a terhelési tesztet. Nyissa meg a futó Locust webhelyet, például http://localhost:8089.

4. Adja meg a következő értékeket a Locust webhelyén.

   Ingatlan	Érték
   Felhasználók száma	20
   Felfelé	1
   Gazda	https://<YOUR-CHAT-APP-URL>.azurewebsites.net (az üzembe helyezett csevegőalkalmazás alap URL-címe)

   

5. A teszt elindításához válassza a Start Swarm lehetőséget.

6. A teszt előrehaladásának megtekintéséhez válassza a Diagramok lehetőséget.

   

Erőforrások tisztítása

Ha végzett a terheléses teszteléssel, törölje az erőforrásokat. A cikkben létrehozott Azure-erőforrások költsége az Azure-előfizetésedre kerül kiszámlázásra. Ha a jövőben nem lesz szüksége ezekre az erőforrásokra, törölje őket, hogy elkerülje a további költségek felmerülését. A cikkhez tartozó erőforrások törlése után ne felejtsen el visszatérni a csevegőalkalmazás másik oktatóanyagához, és kövesse a törlési lépéseket.

Térjen vissza a csevegőalkalmazás cikkéhez, hogy megtisztítsa ezeket az erőforrásokat.

Segítség kérése

Ha nem tudja használni ezt a terheléstesztelőt, adja hozzá a problémát az adattár Problémák weblapjához.