Přidávání poznámek k trasování pomocí zpětné vazby člověka (Preview)

Important

Položky označené jako náhled v tomto článku jsou aktuálně ve verzi Preview. Tato verze Preview se poskytuje bez smlouvy o úrovni služeb a Microsoft ji nedoporučuje pro produkční úlohy. Některé funkce nemusí být podporované nebo můžou mít omezené možnosti. Další informace najdete v dodatečných podmínkách použití pro verze Preview v Microsoft Azure.

Přidejte palec nahoru nebo palce dolů poznámky k trasování v Microsoft Foundry, abyste zachytili lidské signály kvality u jednotlivých interakcí agentů. Pomocí poznámek trasování můžete označit, jestli byla odpověď agenta užitečná nebo neužitečná, a zobrazují se na stránce podrobností trasování, abyste mohli rychle identifikovat vzory v chování agenta.

Poznámky trasování podporují dva pracovní postupy:

Poznámky tvůrce: Tvůrci a odborníci na doménu anotují trasování z portálu Foundry při kontrole interakcí agentů. Tyto poznámky jsou automaticky označené zdrojem builder.
Zpětná vazba koncových uživatelů: Zaznamenávejte anotace programově ze své aplikace, když koncoví uživatelé udělí hodnocení palcem nahoru nebo dolů. Tyto poznámky mají zdroj end_user a zobrazují se na stránce trasování spolu s poznámkami tvůrce. Podrobnosti o protokolování zpětné vazby koncových uživatelů najdete v tématu Protokolování zpětné vazby koncového uživatele.

Všechny poznámky se připojují k trasování – přidávání poznámek tvůrce nikdy nepřepíše nebo nenahrazuje stávající zpětnou vazbu koncového uživatele a naopak. Každá poznámka má zdrojový atribut, aby signály zůstaly nezávisle dotazovatelné a filtrovatelné.

Prerequisites

Projekt Foundry s připojeným prostředkem Application Insights Viz Nastavení trasování.
Instrumentace OpenTelemetry nakonfigurovaná ve vaší aplikaci Pokyny k nastavení najdete v tématu Set up tracing in Microsoft Foundry.
Pro programové anotace: nainstalované balíčky azure-ai-projects a azure-monitor-opentelemetry.
```
pip install "azure-ai-projects>=2.0.0" azure-monitor-opentelemetry python-dotenv
```
Pro programové poznámky, které používají Microsoft Entra ověřený příjem dat Application Insights: identita, která generuje telemetrii, má u připojeného prostředku Application Insights roli Monitoring Metrics Publisher. Pokyny k nastavení a specifické pro identitu najdete v tématu Konfigurace ověřování Microsoft Entra pro příjem trasování.

Výchozí šablona bodování

Každý projekt Foundry je předem připravený s výchozí šablonou vyhodnocování palec nahoru/dolů, která je okamžitě dostupná bez dalšího nastavení. S anotováním tras můžete začít hned od prvního dne. Výchozí šablona používá binární skóre pass/fail:

Palec nahoru = skóre 1.0, popisek pass
Palec dolů = skóre 0.0, popisek fail

Každá šablona bodování vyžaduje, aby atribut gen_ai.evaluation.name měl hodnotu task_completion, takže každá anotace je přiřaditelná ke konkrétní dimenzi vyhodnocení. task_completion podporuje palce nahoru a dolů.

Přidávání poznámek k trasování na portálu Foundry

Přidejte poznámky přímo ze stránky podrobností trasování a poznamenejte si hodnocení odpovědí agenta.

Otevřete projekt Foundry a v levém navigačním panelu přejděte na Trasování .
Vyberte trasování a otevřete zobrazení podrobností trasování.
Na stránce podrobností trasování vyberte tlačítko Poznámka v pravém horním rohu.
Vyberte Palec nahoru nebo Palec dolů a odešlete skóre. Volitelně můžete přidat vysvětlení volného textu.
Anotace se uloží okamžitě a zobrazí se na trase.

Note

Zobrazení trasy a uložení poznámky jsou samostatné autorizační operace. Pokud je stopa viditelná, ale anotaci nejde uložit, ověřte cíl anotace, skutečnou identitu zápisu a cestu ověřování. Jiná role čtenáře trasování neuděluje přístup k zápisu telemetrie.

Poznámky, které přidáte z portálu, se automaticky označí:

microsoft.gen_ai.human_evaluation.source = "builder"
microsoft.gen_ai.evaluation.actor.type = "human"

Úpravy skóre

Každý uživatel může několikrát anotovat:

Více uživatelů může mít každý svou vlastní anotaci stejného typu u stejné trasovací stopy.
Předchozí poznámky se v Application Insights neodstraní. Nové poznámky se připojují a portál zobrazí všechny poznámky v oddílu Historie poznámek na panelu poznámek.

Protokolování zpětné vazby koncových uživatelů jako trasovacích poznámek

Když koncoví uživatelé ve vaší aplikaci poskytnou zpětnou vazbu typu palec nahoru nebo palec dolů, můžete tuto zpětnou vazbu zaznamenat, aby se zobrazila jako anotace u příslušného trasování. Tento přístup používá událost OpenTelemetry gen_ai.evaluation.result, přičemž zpětná vazba je automaticky korelována s původním trasováním.

Schéma atributů poznámek

Při vytváření anotace „palec nahoru“ nebo „palec dolů“ použijte následující atributy:

Attribute	Value	Description
`gen_ai.evaluation.name`	`task_completion`	Název metriky vyhodnocení
`gen_ai.evaluation.score.value`	`1.0` (palce nahoru) nebo `0.0` (palce dolů)	Číselné skóre
`gen_ai.evaluation.score.label`	`"pass"` nebo `"fail"`	Kategorický štítek
`gen_ai.evaluation.explanation`	Volitelný bezplatný textový komentář	Vysvětlení revidujících
`gen_ai.response.id`	Příklad: `"chatcmpl-123"`	ID odpovědi AI použité ke korelaci poznámky s trasovanou odpovědí
`microsoft.gen_ai.human_evaluation.source`	`"end_user"` nebo `"builder"`	Typ poskytovatele zpětné vazby
`microsoft.gen_ai.evaluation.actor.type`	`"human"`	Označuje, že poznámku odeslal kontrolor, který ho odlišil od automatizovaných hodnocení.
`operation_Id`	`trace_Id`	Odkazuje poznámku na původní požadavek trasování v Application Insights.
`operation_ParentId`	`span_Id`	Zahrnuje ID konkrétního spanu v rámci trace, který je anotován.
`gen_ai.agent.id`	Řetězec identifikátoru prostředku agenta	Jedinečný identifikátor agenta, který vygeneroval anotovanou odpověď
`gen_ai.agent.name`	Řetězec zobrazovaného názvu agenta	Zobrazovaný název agenta, který vytvořil anotovanou odpověď
`gen_ai.agent.version`	řetězec verze `1`, `2` nebo `3`	Je umístěna uvnitř `internal_properties`, verze agenta v době vytvoření anotované odpovědi.

Událost vyhodnocení musíte vyslat ve stejném kontextu trasování (se stejným trace ID a span ID) jako interakci agenta, kterou anotuje. Toto propojení zajistí, že se anotace zobrazí u správné trasy v portálu.

Kompletní spustitelný příklad najdete v souboru sample_human_evaluations.py.

Zobrazení poznámek na stránce trasování

Po přidání poznámek (z portálu nebo programově) se zobrazí na stránce podrobností trasování.

Otevřete projekt Foundry a přejděte na Trasování.
Vyberte trasu s anotacemi.
Na stránce s podrobnostmi trasování se vedle anotovaných úseků zobrazují ikony anotací. Ikona palce nahoru označuje pozitivní zpětnou vazbu a ikona palce dolů označuje negativní zpětnou vazbu.
Najeďte myší na poznámku, aby se zobrazila metadata, včetně zdroje (builder nebo end_user), názvu vyhodnocení a časového razítka.

V zobrazení seznamu trasování se poznámky zobrazují v kompaktní podobě: přímo v řádku se zobrazuje pouze nejnovější poznámka, a pokud u trasování existuje více poznámek, indikátor „+X dalších“ signalizuje, že jsou k dispozici další poznámky. Vyberte trasu a zobrazte všechny anotace.

Filtrovat trasování podle anotace

Seznam tras můžete filtrovat podle:

Typ vyhodnocení (gen_ai.evaluation.name): hodnota je "task_completion".
Hodnota skóre nebo štítek (gen_ai.evaluation.score.value, gen_ai.evaluation.score.label): například zobrazit pouze stopy s hodnocením „palec dolů“.
Zdroj (microsoft.gen_ai.human_evaluation.source): Umožňuje zobrazit pouze poznámky tvůrce nebo jenom zpětnou vazbu koncového uživatele.

Tyto dimenze filtru se zobrazují společně s existujícími filtry trasování (časový rozsah, agent, stav, model).

Dotazy na anotace v Application Insights

Všechny poznámky se publikují do Azure Monitor / Application Insights a připojí se k původnímu trasování. Poznámky můžete dotazovat pomocí dotazovacího jazyka Kusto (KQL) k analýze vzorů zpětné vazby, vytváření řídicích panelů nebo nastavení upozornění.

Shrnutí zpětné vazby podle zdroje a dne

customEvents
| where name == "gen_ai.evaluation.result"
| extend
    eval_name = tostring(customDimensions["task_completion"]),
    score = todouble(customDimensions["gen_ai.evaluation.score.value"]),
    label = tostring(customDimensions["gen_ai.evaluation.score.label"]),
    eval_source = tostring(customDimensions["microsoft.gen_ai.human_evaluation.source"]),
    trace_id = tostring(customDimensions["trace_id"])
| where eval_source in ("builder", "end_user")
| summarize
    thumbs_up = countif(score == 1.0),
    thumbs_down = countif(score == 0.0),
    total = count()
  by eval_source, bin(timestamp, 1d)
| order by timestamp desc

Najděte stopy s negativní zpětnou vazbou

customEvents
| where name == "gen_ai.evaluation.result"
| extend
    eval_name = tostring(customDimensions["task_completion"]),
    score = todouble(customDimensions["gen_ai.evaluation.score.value"]),
    eval_source = tostring(customDimensions["microsoft.gen_ai.human_evaluation.source"]),
    explanation = tostring(customDimensions["gen_ai.evaluation.explanation"]),
    trace_id = tostring(customDimensions["trace_id"])
| where score == 0.0
| project timestamp, trace_id, eval_name, eval_source, explanation
| order by timestamp desc

Řešení potíží se zápisem anotací

Symptom	Zkontrolujte
Trasování můžete zobrazit, ale uložení anotace nástroje Builder selže s chybou autorizace.	Zacházejte s uložením jako s samostatnou operací zápisu. Ověřte připojený prostředek Application Insights, identitu použitou pro zápis a režim ověřování připojení. Nepřidávejte další roli Reader jako obecnou opravu.
Programatická anotace vrací `401` nebo `403`	Ověřte, že aplikace odesílá telemetrii do očekávaného prostředku Application Insights. Pro ingestování ověřené pomocí Microsoft Entra udělte identitě generující telemetrii u daného prostředku roli Monitoring Metrics Publisher.
Aplikace hlásí úspěch, ale poznámka se nezobrazí.	Ověřte, že událost vyhodnocení používá původní trace a kontext spanu, že byla odeslána do stejného prostředku Application Insights jako trace a že se dokončil příjem dat.
Poznámka se zobrazí u nesprávné stopy.	Ověřte `operation_Id`, `operation_ParentId`a `gen_ai.response.id` před vygenerováním události.

Váš názor

Byla tato stránka užitečná?

Poslední aktualizace v 2026-10-08