Chatovací aplikace v Pythonu pro zátěžové testování s využitím RAG s Pythonem

Tento článek obsahuje proces provádění zátěžového testování v chatovací aplikaci v Pythonu pomocí vzoru RAG s Pythonem, což je oblíbený opensourcový nástroj pro zátěžové testování. Hlavním cílem zátěžového testování je zajistit, aby očekávané zatížení vaší chatovací aplikace nepřekročilo aktuální kvótu transakcí Azure OpenAI za minutu (TPM). Simulací chování uživatelů při vysokém zatížení můžete identifikovat potenciální kritické body a problémy se škálovatelností ve vaší aplikaci. Tento proces je zásadní pro zajištění toho, aby chatovací aplikace zůstala responzivní a spolehlivá, i když čelí velkému objemu uživatelských požadavků.

Podívejte se na ukázkové video, ve které se dozvíte více o zátěžovém testování chatovací aplikace.

• Video

Poznámka:

Tento článek používá jednu nebo více šablon aplikací AI jako základ pro příklady a pokyny v tomto článku. Šablony aplikací AI poskytují dobře udržované a snadno použitelné referenční implementace, které pomáhají zajistit vysoce kvalitní výchozí bod pro vaše aplikace AI.

Požadavky

• Předplatné Azure. Vytvořte si ho zdarma

• Přístup k Azure OpenAI je udělován v požadovaném předplatném Azure. V současné době je přístup k této službě udělován pouze aplikací. Pokud chcete získat přístup k Azure OpenAI, vyplňte formulář na adrese https://aka.ms/oai/access.

• Vývojové kontejnery jsou k dispozici pro obě ukázky se všemi závislostmi potřebnými k dokončení tohoto článku. Vývojové kontejnery můžete spouštět v GitHub Codespaces (v prohlížeči) nebo místně pomocí editoru Visual Studio Code.

  Codespaces (doporučeno)

  • Potřebujete jenom účet GitHubu .

  Visual Studio Code

  • Azure Developer CLI
  • Docker Desktop – spusťte Docker Desktop , pokud ještě není spuštěný
  • Visual Studio Code
  • Rozšíření vývojového kontejneru

• Chatovací aplikace v Pythonu s RAG – pokud jste chatovací aplikaci nakonfigurovali tak, aby používala jedno z řešení vyrovnávání zatížení, pomůže vám tento článek otestovat vyrovnávání zatížení. Řešení vyrovnávání zatížení zahrnují Azure Container Apps.

Otevření ukázkové aplikace zátěžového testu

Zátěžový test je v řešení chatovací aplikace v Pythonu jako test Pythonu. K tomuto článku se musíte vrátit, nasadit řešení a pak pomocí tohoto vývojového prostředí pro vývoj kontejnerů provést následující kroky.

Spuštění testu

1. Nainstalujte závislosti pro zátěžový test.

   python3 -m pip install -r requirements-dev.txt
   

2. Začněte Používat testovací soubor Sady: locustfile.py nalezen v kořenovém adresáři úložiště.

   locust
   

3. Otevřete spuštěné webové stránky Společnosti Spuštěné, například http://localhost:8089.

4. Zadejte následující údaje na webovém webu Společnosti Navíc.

   Vlastnost	Hodnota
   Počet uživatelů	20
   Zvýraznění nahoru	0
   Hostitelský počítač	https://<YOUR-CHAT-APP-URL>.azurewebsites.net

   

5. Výběrem možnosti Spustit Swarm spusťte test.

6. Vyberte Grafy a sledujte průběh testu.

   

Vyčištění prostředků

Až budete hotovi s zátěžovým testováním, vyčistěte prostředky. Prostředky Azure vytvořené v tomto článku se fakturují k vašemu předplatnému Azure. Pokud v budoucnu tyto prostředky nepotřebujete, odstraňte je, abyste se vyhnuli účtování dalších poplatků. Po odstranění prostředku specifického pro tento článek se nezapomeňte vrátit do jiného kurzu chatovací aplikace a postupovat podle kroků čištění.

Vraťte se do článku chatovací aplikace, abyste tyto prostředky vyčistili .

Získání pomoci

Pokud máte potíže s používáním tohoto load testeru, zapište problém do problémů úložiště.