Load testing Python chat app using RAG with Locust

Dit artikel bevat het proces voor het uitvoeren van belastingstests in een Python-chattoepassing met behulp van het RAG-patroon met Locust, een populair opensource-hulpprogramma voor belastingstests. Het primaire doel van belastingstests is ervoor te zorgen dat de verwachte belasting van uw chattoepassing niet hoger is dan het huidige TPM-quotum (Azure OpenAI Transactions Per Minute). Door gebruikersgedrag onder zware belasting te simuleren, kunt u potentiële knelpunten en schaalbaarheidsproblemen in uw toepassing identificeren. Dit proces is van cruciaal belang om ervoor te zorgen dat uw chattoepassing responsief en betrouwbaar blijft, zelfs wanneer u te maken hebt met een groot aantal gebruikersaanvragen.

Bekijk de demonstratievideo voor meer informatie over belastingstests van de chat-app.

• Video

Notitie

In dit artikel worden een of meer AI-app-sjablonen gebruikt als basis voor de voorbeelden en richtlijnen in het artikel. AI-app-sjablonen bieden u een goed onderhouden, eenvoudig te implementeren referentie-implementaties die u helpen een startpunt van hoge kwaliteit voor uw AI-apps te garanderen.

Vereisten

• Azure-abonnement. Maak er gratis een

• Toegang verleend tot Azure OpenAI in het gewenste Azure abonnement. Op dit moment wordt alleen toegang tot deze service verleend door een aanvraag te doen. U kunt toegang tot Azure OpenAI aanvragen door het formulier in te vullen op https://aka.ms/oai/access.

• Dev-containers zijn beschikbaar voor beide voorbeelden, waarbij alle afhankelijkheden vereist zijn om dit artikel te voltooien. U kunt de dev-containers uitvoeren in GitHub Codespaces (in een browser) of lokaal met behulp van Visual Studio Code.

  Codespaces (aanbevolen)

  • U hebt alleen een GitHub-account nodig

  Visual Studio Code

  • Azure Developer CLI
  • Docker Desktop - Start Docker Desktop als deze nog niet wordt uitgevoerd
  • Visual Studio Code
  • Dev-containerextensie

• Python-chat-app met RAG : als u uw chat-app hebt geconfigureerd voor het gebruik van een van de oplossingen voor taakverdeling, helpt dit artikel u bij het testen van de taakverdeling. De taakverdelingsoplossingen omvatten Azure Container Apps.

Voorbeeld-app loadtest openen

De belastingstest bevindt zich in de Python-chat-app-oplossing als een Locust-test. U moet terugkeren naar dat artikel, de oplossing implementeren en vervolgens die ontwikkelomgeving voor containerontwikkeling gebruiken om de volgende stappen uit te voeren.

De test uitvoeren

1. Installeer de afhankelijkheden voor de belastingtest.

   python3 -m pip install -r requirements-dev.txt
   

2. Start Locust, dat gebruikmaakt van het locust-testbestand: locustfile.py gevonden in de hoofdmap van de opslagplaats.

   locust
   

3. Open de actieve locust-website, zoals http://localhost:8089.

4. Voer het volgende in de locust-website in.

   Eigenschappen	Weergegeven als
   Aantal gebruikers	20
   Omhoog instellen	1
   Host	https://<YOUR-CHAT-APP-URL>.azurewebsites.net

   

5. Selecteer Swarm starten om de test te starten.

6. Selecteer Grafieken om de voortgang van de test te bekijken.

   

Resources opschonen

Wanneer u klaar bent met het testen van belasting, schoont u de resources op. De Azure-resources die in dit artikel zijn gemaakt, worden gefactureerd voor uw Azure-abonnement. Als u deze resources in de toekomst niet meer nodig hebt, verwijdert u deze om te voorkomen dat er meer kosten in rekening worden gebracht. Nadat u resource hebt verwijderd die specifiek is voor dit artikel, moet u terugkeren naar de andere zelfstudie voor de chat-app en de stappen voor opschonen volgen.

Ga terug naar het artikel van de chat-app om deze resources op te schonen.

Hulp vragen

Als u problemen ondervindt met het gebruik van deze laadster, meldt u het probleem aan bij de problemen van de opslagplaats.