Zátěžové testování chatovací aplikace v Pythonu pomocí RAG s Locustem

Tento článek poskytuje postup pro provádění zátěžového testování v pythonové chatovací aplikaci pomocí vzoru Retrieval Augmented Generation (RAG) s Locustem, což je oblíbený opensourcový nástroj pro zátěžové testování. Hlavním cílem zátěžového testování je zajistit, aby očekávané zatížení chatovací aplikace nepřekročilo aktuální kvótu služby Azure OpenAI za minutu (TPM). Simulací chování uživatelů při vysokém zatížení můžete identifikovat potenciální kritické body a problémy se škálovatelností ve vaší aplikaci. Tento proces je zásadní pro zajištění toho, aby chatovací aplikace zůstala responzivní a spolehlivá, i když čelí velkému objemu uživatelských požadavků.

Poznámka:

Tento článek používá jednu nebo více šablon AI aplikací jako základ pro příklady a pokyny v tomto článku. Šablony aplikací AI poskytují dobře udržované referenční implementace, které se dají snadno nasadit. Pomáhají zajistit vysoce kvalitní výchozí bod pro vaše aplikace AI.

Požadavky

• Předplatné služby Azure. Vytvořte si ho zdarma.

• dev containers jsou k dispozici pro obě ukázky se všemi závislostmi potřebnými k dokončení tohoto článku. Vývojové kontejnery můžete spouštět v GitHub Codespaces (v prohlížeči) nebo místně pomocí editoru Visual Studio Code.

  GitHub Codespaces (doporučeno)

  • Potřebujete jenom účet GitHubu.

  Visual Studio Code

  • Azure CLI pro vývojáře.
  • Docker Desktop. Spusťte Docker Desktop, pokud ještě není spuštěný.
  • Visual Studio Code.
  • rozšíření Dev Containers.

• Chatovací aplikace v Pythonu s RAG

Otevření ukázkové aplikace zátěžového testu

Zátěžový test je v řešení chatovací aplikace v Pythonu jako Locust test. Vraťte se k tomuto článku, nasaďte řešení a pak pomocí tohoto vývojového prostředí pro vývoj kontejnerů proveďte následující kroky.

Spuštění testu

1. Nainstalujte balíček Locust, který se používá k simulaci souběžných uživatelů a generování zátěže pro vaši chatovací aplikaci.

   python -m pip install locust
   

2. Začněte Locust, který používá testovací soubor Locust locustfile.py. Najdete ho v kořenovém adresáři úložiště. Ukázka má ChatUser třídu, která simuluje uživatele, který klade otázky a přijímá odpovědi z chatovací aplikace.

   locust ChatUser
   

3. Po úspěšném spuštění Locust spustí místní webové rozhraní, které můžete použít ke konfiguraci a monitorování zátěžového testu. Otevřete spuštěnou webovou stránku Locust, například http://localhost:8089.

4. Zadejte následující hodnoty na webu Locust.

   Vlastnictví	Hodnota
   Počet uživatelů	20
   Zvýšit	1
   Hostitel	https://<YOUR-CHAT-APP-URL>.azurewebsites.net (základní adresa URL nasazené chatovací aplikace)

   

5. Vyberte Spustit Swarm pro spuštění testu.

6. Vyberte Grafy a sledujte průběh testu.

   

Vyčistěte zdroje

Až budete hotovi s zátěžovým testováním, vyčistěte prostředky. Prostředky Azure vytvořené v tomto článku se fakturují k vašemu předplatnému Azure. Pokud v budoucnu tyto prostředky nepotřebujete, odstraňte je, abyste se vyhnuli účtování dalších poplatků. Po odstranění zdrojů specifických pro tento článek se nezapomeňte vrátit k návodu chatovací aplikace a následovat kroky pro vyčištění.

Vraťte se do článku o chatovací aplikaci, abyste tyto prostředky odstranili.

Získání pomoci

Pokud máte potíže s používáním tohoto load testeru, přidejte svůj problém na webovou stránku Problémy úložiště.