Övervaka agentens prestation i Copilot Studio

Note

Denna artikel beskriver funktioner i agenter eller agentflöden som använder standard harness.

Använd analyser för att förstå hur väl din agent presterar och för att identifiera områden för förbättringar.

Monitor-sidan i Copilot Studio sammanfattar nyckeltal och ger användningsanalys för din agents komponenter. Öppna individuella mätvärden för att utforska den underliggande datan.

Monitor-upplevelsen är anpassad för samtalsagenter och autonoma agenter.

Övervakning finns tillgänglig i alla geografiska områden. Monitordata är tillgängliga i upp till 360 dagar. Sessionsinformation och avskriftsinformation är tillgängliga under de senaste 28 dagarna. Tids- och datumstämplar i analys finns i Coordinated Universal Time (UTC). Tids- och datumstämplarna inkluderar start- och sluttider för dagar, sessionstider och andra tidsmarkeringar i din agents data.

Note

Monitor-sidan visar inte analys för aktivitet du slutför när du testar din agent i Copilot Studio genom att använda testpanelen.

Bevilja begränsad åtkomst endast för visning till analys

Om du är agentägare, dela agenten med delningsrollen Analytics Viewer för att endast ge åtkomst till dess Monitor-sida. För att få tillgång till konversationstranskriptionsinformation måste personen även ha säkerhetsrollen Bot Transcript Viewer .

Läs mer i Dela en agents analysdata.

Important

Som agentägare kan du bara dela analytics-visningsrollen med enskilda användare och inte med grupper av användare.

För att komma åt sidan Monitor för din agent:

1. Öppna din agent i Copilot Studio.
2. Välj Monitor i menyfältet högst upp.

Summary

Området Sammanfattning använder Copilot för att generera en AI-sammanfattning av viktiga analysinsikter om din agent. Välj Visa mer för att se den fullständiga sammanfattade listan med insikter.

Det hjälper dig att snabbt förstå vanliga teman och mått och identifiera förbättringsområden för din agent genom att sammanfatta dem i en punktlista för den valda rapportperioden. Denna lista kan inkludera engagemangsmått, kundsentiment och feedback samt trender sedan senaste rapporteringsperioden.

Sammanfattning av kundkommentarer (förhandsvisning)

[Det här avsnittet är en förhandsversion av dokumentationen och kan komma att ändras.]

Sammanfattningen av kundkommentarerna hjälper dig att förstå kundernas övergripande inställning till agenten utifrån feedback och kommentarer. Insikter prioriteras baserat på både mängden relaterade kommentarer och deras övergripande betydelse. Sammanfattningen filtrerar bort lågvärdiga eller irrelevanta kommentarer och grupperar relaterad feedback ihop.

Important

Den här artikeln innehåller dokumentation om förhandsversionen av Microsoft Copilot Studio och kan ändras.

Förhandsgranskningsfunktioner ska inte användas i produktion, och funktionerna kan vara begränsade. Funktionerna är tillgängliga före den officiella publiceringen så att du kan få tidig tillgång och ge feedback.

Om du bygger en produktionsklar agent, se Översikt över Microsoft Copilot Studio.

För att ge Microsoft feedback om detta avsnitt, välj Tummen upp eller Tummen ner. Använd panelen Skicka feedback till Microsoft för att lägga till en kommentar och välja om du vill dela relaterade filer.

1. På panelen Skicka feedback till Microsoft beskriver du vad du gillar eller ogillar, beroende på vilken ikon du har valt för att öppna panelen.
2. Välj om du vill dela prompt, genererat svar, relevanta innehållsprover och extra loggfiler.
3. Välj skicka.

Overview

Kolla in en övergripande prestationssammanfattning i området Översikt och utforska sedan individuella mätvärden mer i detalj.

Aktiva användare

Mätvärden för aktiva användare visar användningen av en konversationsagent och hur användningen förändras över tid. En aktiv användare är en unik användare som interagerade med konversationsagenten minst en gång under rapportens period. Monitor-sidan visar dagliga aktiva användare (DAU) och månatliga aktiva användare (MAU). Den dagliga räkningen täcker en hel 24-timmarsdag i UTC. Den månatliga räkningen följer kalendermånaden i UTC.

Important

Funktionen Aktiva användarmått stöds bara om du ställer in att din agent ska kräva autentisering under Inställningar>Säkerhetsautentisering>.

Genomsnittlig DAU för den valda perioden, plus dess procentuella ändring från föregående period, visas som en nyckelprestandaindikator (KPI) i avsnittet Översikt .

Note

Formeln för det genomsnittliga beräknade måttet för DAU är: (sum of all full-day active user counts in the period) / (count of full days in the period).

Om du vill se mer information om antalet aktiva användare varje dag och varje månad när de trendar över tid väljer du knappen Visa aktiva användare i det övre högra hörnet i översiktspanelen.

Endast konversationssessioner

Analysverktyg för konversationsagenter i Copilot Studio spårar användarens engagemang med din agent och försöker fånga hur väl din agent hanterar användaruppgifter.

Konversationsanalys använder följande begrepp och termer:

• Samtal är en pågående interaktion mellan en specifik användare eller grupp användare på en kanal och din agent.

• Konversationer kan pausas och återupptas senare eller överföras till en kundtjänstrepresentant. Samtalet kan vara enkelriktat, antingen från kunden till agenten eller från agenten till kunden, men det är oftare en fram-och-tillbaka-interaktion mellan kunden och agenten.

• Efter 30 minuters inaktivitet avbryts en konversation.

• För agenter som publiceras på Telephony-kanalen avslutas samtalen 3 minuter efter ett Slut Samtal-evenemang .

• En enskild konversation kan innehålla en eller flera analyssessioner.

• En analyssession som drivs av Standard-harnessen är kopplad till det senaste anpassade ämnet som utlöstes av en användare. Om sessionen inte innehåller egna ämnen är det det sista systemämnet som triggas direkt av användaren.

Endast händelseutlösarsessioner

En autonom agent är en agent med en händelseutlösare. Dessa agenter stöder endast analys för agenter med utlösare.

En analyssession för agenter med utlösare omfattar tiden från att en agent tar emot data från en utlösare till och med alla åtgärder som agenten utför som svar. Dessa analyssessioner fångar upp vad din agent svarar på och hur väl din agent presterar.

Note

Om en utlösare misslyckas och agenten inte tar emot en utlösarnyttolast kan en analyssession inte starta. Analys spårar endast körningar som har utlösts framgångsrikt.

Hybridvy – både konversationssessioner och händelseutlösta sessioner

När din agents data inkluderar sessioner för minst en konversation och minst en triggerbaserad körning under rapportens period, visar Monitor-sidan en hybridvy av relevanta mätvärden för både konversations- och autonoma sessioner. I denna vy visar sektionerna Översikt och Effektivitet mätvärden sida vid sida för både samtals- och händelseutlösta sessioner. I avsnittet Använd kan du välja mellan Konversationer eller Körningar, som endast visar relevanta data. Om du väljer Alla visas alla användningsrelaterade data. I avsnittet Nöjdhet visas nöjdhetsmått för konversationssessioner.

Läs mer i:

• Övervaka effektiviteten hos konversationsagenten för samtalssessionsmått

• Övervaka autonoma agenters hälsa för händelseutlösta sessionsmått

Hämta konversationsavskrifter

Du kan ladda ner sessionstranskriptioner i Copilot Studio för perioder inom de senaste 28 dagarna. Det kan ta upp till en timme efter att en analyssession avslutats innan relaterad data visas på analyspanelen. Lär dig mer om tillgänglighet, behörigheter och nedladdningssteg i Ladda ner konversationstranskriptioner i Copilot Studio.

Dataverse-transkriptets lagring är separat från 28-dagars sessionsdatafönstret i Copilot Studio. Läs mer i Ladda ner konversationstranskriptioner i Power Apps.

Ämnesanvändningsanalys

I Copilot Studio definierar ett ämne hur en agentkonversation fortskrider och representerar en del av en konversation mellan en användare och en agent. Panelen Ämnesövervakare visar hur ett enskilt ämne presterar, inklusive hur ofta det triggas, hur sessioner som inkluderar det löses och hur nöjda användarna är med dessa sessioner. Använd dessa insikter för att identifiera ämnen som ofta eskalerar eller överges, och prioritera dem sedan för förbättring. Läs mer i Avsnittet Skapa och redigera.

Note

Topic Monitor är endast tillgängligt för agenter som drivs av Standard harness och för avsnitt kopplade till en session. Om din agent använder generativ orkestrering, använd istället konversationsresultat och teman på sidan Monitor .

För att se ämnet Monitorpanel:

1. Gå till din agents Topics-sida i Copilot Studio.

2. Välj det ämne som du vill analysera. Om det inte finns några tillgängliga ämnen kan du läsa avsnittet Skapa och redigera.

3. I det övre högra hörnet på sidan Ämnen , välj Mer (...) >Monitor.

Monitorpanelen visar följande:

• Ämnesresultat: Ett diagram över sessionsresultat, Escalated, Resolvedoch Abandoned, för sessioner där det här ämnet utlöstes. Använd det här diagrammet för att snabbt utvärdera ämnets hälsa. En hög andel av Escalated eller Abandoned utfall kan innebära att ämnet behöver förbättras.
• Total ämnesanvändning: Ett diagram över ämnesresultattrenden över tid. Använd detta för att identifiera regressioner, till exempel en topp i övergivna sessioner efter att ett ämne har redigerats eller för att bekräfta att de senaste ändringarna har förbättrat matchningsfrekvensen.
• Kundnöjdhetspoäng: En poäng baserat på svar från användarundersökningar från sessioner som är associerade med det här ämnet.
• Resultattrend för nöjdhet: Ett diagram som visar hur nöjdhetspoängen ändras över tid. Använd den här trenden för att identifiera perioder där användarsentimentet har minskat eller förbättrats.

För att ändra tidsintervallet, välj rullgardinsmenyn för tidsintervall högst upp i ämnespanelen Monitor.

Relaterad information

Mäta avkastningen på investeringar (ROI) och affärsvärdet för AI-agenter