AI-ügynökök monitorozása az Application Insights használatával

Az Application Insights Ügynök részletei nézete egységes felületet biztosít az AI-ügynökök több forrásból, például a Microsoft Foundryből, a Copilot Studióból és a külső ügynökökből álló monitorozásához.

Ez a funkció összevonja a telemetriát és a diagnosztikát, lehetővé téve az ügyfelek számára az ügynök teljesítményének nyomon követését, a jogkivonatok használatának és költségeinek elemzését, a hibák elhárítását és az ügynök viselkedésének optimalizálását.

Megjegyzés:

Azure Monitor Ügynök megfigyelhetősége OpenTelemetria Generatív AI szemantikán alapul.

Előfeltételek

Az Ügynökök részletei nézet használata előtt implementálnia kell az AI-ügynökök adatgyűjtését.

AI-ügynökök figyelése

Az Ügynök részletei nézet elérése

Miután a telemetria az Application Insightsba áramlik:

1. A Azure portálon nyissa meg a Application Insights erőforrást.

2. A navigációs menüben válassza az Ügynökök (előzetes verzió) lehetőséget.

   

Megjegyzés:

Az Ügynök részleteinek nézetét a Foundryből is elérheti. Az ügynökéről lépjen a Monitoring lapra, majd válassza a Nézet az Azure Monitorban lehetőséget.

Nyomkövetések vizsgálata

Adott ügynökfuttatások részletezéséhez:

1. Válasszon egyet az Ügynök részletei nézetből:

   • Nyomkövetések megtekintése ügynökműveletekkel – Az összes ügynök végrehajtásának megtekintése
   • Nyomkövetések megtekintése gen AI-hibákkal – Fókusz a sikertelen vagy problémás futtatásokra
   • Az eszközhívások vagy modellek csempéiben szereplő minden egyes eszközhívás vagy modell

   

   A keresés fedvény a kiválasztott szűrt nyomkövetéseket jeleníti meg.

2. Használja a keresési képességeket a következő lehetőségekre:

   • Nyomkövetések rendezése metrikák szerint, például a drága műveletek azonosításához használt legtöbb jogkivonat
   • Szűrés időtartomány szerint adott incidensek elkülönítéséhez
   • Keresés a parancssori tartalomban (ha a bizalmas adatnaplózás engedélyezve van)

3. Válasszon bármilyen nyomkövetést a teljes körű tranzakció részleteinek megtekintéséhez az átfogó elemzéshez.

   

Teljes tranzakció részleteinek nézete

A végpontok közötti tranzakció részletei mostantól egyszerű nézetet kínálnak. Ez a nézet világos, történetszerű módon jeleníti meg az ügynök lépéseit, beleértve a meghívott ügynököt, a mögöttes nagy nyelvi modellt (LLM), a végrehajtott eszközöket stb.

Az egyszerű nézetben gyorsan megtalálhatja a releváns telemetriát, és áttérhet az Foundryre vagy más eszközökre a szükséges módosítások elvégzéséhez.

Megjegyzés:

Ha vissza szeretne térni a hagyományos nézethez, válassza az Egyszerű nézet elhagyása lehetőséget a felső műveletsávon.

Példánkban a magas token-használatot vizsgáltuk. A tranzakció részletei lehetővé teszik annak azonosítását, hogy a nagy méretű prompt környezet és/vagy egy költséges modell megnöveli a token használatot és költségeket.

Monitorozási nézetek testreszabása a Grafana használatával

Az Application Insights Ügynök részletei nézete véleményezett, beépített felületet biztosít az AI-ügynökök monitorozásához. A speciálisabb testreszabási és vizualizációs igények érdekében az Ügynök részletei nézet felső navigációs sávján válassza a Grafana felfedezése lehetőséget.

Azure Monitor beépített Grafana-irányítópultokat tartalmaz, amelyeket a Gen AI monitorozásához terveztek az első lépésekhez:

• Ügynök-keretrendszer – Ügynök végrehajtásának és teljesítményének monitorozása
• Ügynök-keretrendszer munkafolyamata – Ügynök munkafolyamat-mintáinak és függőségeinek nyomon követése
• Öntöde - Vizualizálja az öntöde-specifikus metrikákat és telemetriát

Ezek az irányítópultok kiindulópontként szolgálnak a figyelési stratégiához. Testre szabhatja őket a következővel:

• Különböző vizualizációs panelek használata a beállításoknak megfelelően
• Új lekérdezések szerkesztése vagy létrehozása adott metrikák felszínre hozásához
• A Save as használata az adott környezethez és használati esetekhez szabott irányítópultok létrehozásához

A Grafana és az Application Insights használatával kapcsolatos további információkért lásd: Grafana irányítópultok az Application Insights-ban és Azure Monitor irányítópultok használata Grafanával.

Következő lépések

• Megtudhatja, hogyan működik a korreláció az Application Insightsban telemetriai korrelációval.
• Ismerje meg a teljes körű tranzakciódiagnosztikai élményt, amely egyetlen nézetben korrelálja a kiszolgálóoldali telemetriát az összes Application Insights által figyelt összetevőből.