Zachycení telemetrie pomocí Application Insights

Tento článek vysvětluje, jak zachytit telemetrická data z agenta Copilot Studio pro použití v Aplikace Azure Insights.

Kromě nativních analytických funkcí v Copilot Studiu můžete odesílat telemetrická data do Application Insights. Telemetrie nabízí přehled o vašem agent sledováním:

  • Zaznamenané zprávy a události odeslané do a z vašeho agent
  • Témata, která se mají aktivovat během uživatelských konverzací
  • Vlastní telemetrické události, které můžete odesílat ze svých témat

Important

Application Insights je funkce Azure Monitor, rozšiřitelného nástroje pro správu výkonu aplikací (APM), který můžete použít k monitorování živých aplikací. Vyžaduje předplatné Microsoft Azure.

Připojení agenta Copilot Studio k Application Insights

Pokud chcete připojit agenta k Application Insights, nejprve přidejte instrumentační klíč do konfigurace vašeho agenta.

  1. Přejděte na stránku Nastavení pro svého agenta a vyberte Pokročilé.

  2. V části Application Insights zadejte připojovací řetězec. Informace o tom, jak najít připojovací řetězec, najdete v dokumentaci k Azure Monitor.

  3. Volitelně se můžete rozhodnout zapnout jednou z následujících nastavení.

    • Aktivity protokolu: Pokud je tato možnost povolená, systém protokoluje podrobnosti o příchozích a odchozích zprávách a událostech.

    • Vlastnosti aktivity citlivé na protokoly: Pokud je tato možnost povolená, protokoly obsahují hodnoty určitých vlastností, které by mohly být považovány za citlivé na příchozí a odchozí zprávy a události. Vlastnosti, které jsou považovány za potenciálně citlivé, jsou userid, nametexta speak (text a mluvte vlastnosti platí pouze pro zprávy).

Analýza telemetrie robota pomocí služby Application Insights

Jakmile robota připojíte k Application Insights, protokoluje telemetrická data, když uživatelé komunikují s robotem, včetně během testování v rámci Copilot Studio. Pokud chcete zobrazit zaprotokolovaná telemetrická data, přejděte do části Logs prostředku Application Insights v Azure.

Odtud můžete pomocí dotazů Kusto vyhledávat a analyzovat svá data. Viz Vzorové dotazy.

Příkladové dotazy

Dotaz může být stejně jednoduchý jako zadání jedné tabulky, například customEvents, která zobrazuje všechny vlastní události telemetrie protokolované z Copilot Studia. Dotazy Kusto ale můžete také použít k dalšímu zúžení výsledků, včetně následujících:

  • Přidání časového intervalu
  • Rozšíření výsledků pomocí vlastních dimenzí Vlastní dimenze jsou vlastní vlastnosti, které protokolujete spolu s vestavěnými poli, jako je časové razítko nebo název události.
  • Přidání klauzule where pro omezení vrácených dat na základě podmínky
  • Použití více vestavěných funkcí Kusto k určení toho, jaké a jak se informace zobrazí

Následující příklad dotazu má za následek spojnicový graf, který ukazuje, kolik jedinečných uživatelů komunikovalo s robotem za den za posledních 14 dnů.

let queryStartDate = ago(14d);
let queryEndDate = now();
let groupByInterval = 1d;
customEvents
| where timestamp > queryStartDate
| where timestamp < queryEndDate
| summarize uc=dcount(user_Id) by bin(timestamp, groupByInterval)
| render timechart

Important

Údaje v některých polích se liší a jsou více nebo méně použitelné v závislosti na používaném kanálu. Například v dotazu získáte správný počet jedinečných uživatelů jenom v případě, že jsou uživatelé ověřeni a jejich ID uživatelů jsou v rámci konverzací konzistentní. V anonymních scénářích, kdy se v každé konverzaci generuje náhodné ID uživatele, je pole ID uživatele méně užitečné.

Vyloučení telemetrie z testovacích konverzací v dotazech

Robot protokoluje telemetrii pro všechny konverzace, včetně těch, ke kterým dochází v Copilot Studiu během testování. Pokud chcete vyloučit telemetrii shromážděnou během testování, rozšiřte dotaz pomocí designMode vlastní dimenze, kterou zachytává všechny události, a použijte klauzuli where v dotazu.

Níže uvedený příklad ukazuje všechny vlastní události s výjimkou těch, které byly zachyceny prostřednictvím testovacího plátna.

customEvents
| extend isDesignMode = customDimensions['designMode']
| where isDesignMode == "False"

Vlastní dimenze

Velká část konkrétních dat aktivit přijatých z Copilot Studia se ukládá do pole customDimensions. Můžete zobrazit pole vlastní dimenze používaná v dotazu k vyloučení telemetrie z testovacích konverzací.

Pole Description Ukázkové hodnoty
typ Typ aktivity message, conversationUpdate, , eventinvoke
ID kanálu Identifikátor kanálu emulator, directline, , msteamswebchat
fromId Identifikátor Od <id>
fromName Uživatelské jméno od klienta John Bonham, Keith Moon, , Steve SmithSteve Gadd
národní prostředí Národní prostředí původního klienta en-us, zh-cn, en-GB, , de-dezh-CN
recipientId Identifikátor příjemce <id>
recipientName Jméno příjemce John Bonham, Keith Moon, , Steve SmithSteve Gadd
poslat SMS Text ve zprávě find a coffee shop
designMode Konverzace proběhla na testovacím plátně True / False

Zobrazení výsledků monitorování (Preview)

Important

Tento článek obsahuje dokumentaci Microsoft Copilot Studio Preview a může se změnit.

Funkce náhledu nejsou určeny pro produkční použití a mohou mít omezenou funkčnost. Jsou to funkce, které jsou poskytnuté před oficiálním vydáním, abyste si je mohli co nejdříve vyzkoušet a napsat nám své názory.

Pokud vytváříte agenta připraveného pro produkční prostředí, přečtěte si Přehled Microsoft Copilot Studio.

Zobrazení řídicího panelu Copilot Studio používá signály z Azure Monitor Application Insights. Dotazuje se na Application Insights prostřednictvím Azure Workbooks a vytváří vizualizace.

Tato zobrazení přinášejí klíčové metriky, jako jsou celkové konverzace, latence, výjimky, využití nástrojů a analýza témat, do jednoho zobrazení. Jedno zobrazení poskytuje týmům transparentnost, aby mohli sledovat provozní stav a kvalitu, porozumět trendům a průběžně vyhodnocovat, aby zlepšili svou aplikaci.

Pokud chcete získat přístup k integrovanému zobrazení monitorování ve službě Application Insights a použít ho, postupujte takto:

  1. Přejděte do prostředku Application Insights.
  2. V levém navigačním podokně vyberte kartu Monitorování .
  3. Na kartě Monitorování vyberte Sešity. Otevřete Copilot Studio Dashboard z galerie sešitů.

Snímek obrazovky galerie sešitů aplikace Application Insights

Snímek obrazovky pracovního sešitu Copilot Studio.

Přizpůsobení a sdílení řídicího panelu

Application Insights je výkonný nástroj pro monitorování výkonu aplikací (APM), který poskytuje přehled o stavu a výkonu vašich aplikací.

Řídicí panel se otevře jako upravitelný sešit, kde můžete sešit přizpůsobit a uložit podle svých potřeb.

  1. Na panelu příkazů vyberte Upravit .

    Screenshot úpravy pracovního sešitu Application Insights.

  2. Upravte prvky podle potřeby pro váš případ použití. Vyberte tři tečky (...) pro prvek, který chcete upravit, přidat, přesunout nebo změnit, naklonovat nebo odstranit. Můžete například přidat dlaždici, která používá KQL ke sledování vlastního atributu, který shromažďujete a který se nezobrazuje v integrovaném zobrazení.

    Screenshot úpravy prvku v pracovním sešitu Application Insights.

  3. Výběrem možnosti Uložit uložte nejnovější změny a podle potřeby vytvořte různá zobrazení.

    Snímek obrazovky při ukládání sešitu Application Insights.

  4. Na panelu příkazů vyberte ikonu Sdílet , abyste ji mohli sdílet s týmem.

    Poznámka:

    Když tento sešit sdílíte se členy týmu, musí mít alespoň roli Čtenář pro připojený prostředek Application Insights, aby mohli zobrazit zobrazené informace.

    Screenshot sdílení pracovního sešitu Application Insights.