Poznámka:
Přístup k této stránce vyžaduje autorizaci. Můžete se zkusit přihlásit nebo změnit adresáře.
Přístup k této stránce vyžaduje autorizaci. Můžete zkusit změnit adresáře.
Životní cyklus aplikace AI vyžaduje robustní vyhodnocovací architektury, které zajišťují, aby systémy AI poskytovaly přesné, relevantní a spolehlivé výstupy. Bez důkladného posouzení systémy AI riskují generování odpovědí, které jsou nepřesné, nekonzistentní, špatně uzemněné nebo potenciálně škodlivé. Pozorovatelnost umožňuje týmům měřit a zlepšit kvalitu a bezpečnost výstupů umělé inteligence v průběhu životního cyklu vývoje – od výběru modelu prostřednictvím monitorování produkce.
Co je pozorovatelnost?
Pozorovatelnost umělé inteligence označuje schopnost monitorovat, pochopit a řešit potíže se systémy AI v průběhu jejich životního cyklu. Můžete sledovat, vyhodnocovat, integrovat automatizované brány kvality do kanálů CI/CD a shromažďovat signály, jako jsou metriky vyhodnocení, protokoly, trasování a výstupy modelu, abyste získali přehled o výkonu, kvalitě, bezpečnosti a provozním stavu.
Základní možnosti pozorovatelnosti
Microsoft Foundry poskytuje tři základní funkce, které společně zajišťují komplexní pozorovatelnost v rámci životního cyklu aplikace AI:
Hodnocení
Vyhodnocovače měří kvalitu, bezpečnost a spolehlivost odpovědí umělé inteligence v průběhu vývoje. Microsoft Foundry poskytuje integrované vyhodnocovače, včetně metrik kvality pro obecné účely (soudržnost, plynulost), metrik specifických pro RAG (opodstatněnost, relevance), bezpečnosti a zabezpečení (nenávist/nespravedlivost, násilí, chráněné materiály) a metrik specifických pro konkrétní agenty (přesnost používání nástroje, dokončování úkolů), mimo jiné. Můžete také vytvářet vlastní vyhodnocovače přizpůsobené požadavkům na konkrétní doménu.
Úplný seznam vestavěných vyhodnocovačů naleznete v sekci Reference vestavěných vyhodnocovačů.
Sledování
Provozní monitorování zajišťuje, že nasazené aplikace umělé inteligence udržují kvalitu a výkon v reálných podmínkách. Integrované s Azure Monitor Application Insights Microsoft Foundry poskytuje řídicí panely v reálném čase, které sledují provozní metriky, spotřebu tokenů, latenci, chybovost a skóre kvality. Výstrahy můžete nastavit, když výstupy selžou prahové hodnoty kvality nebo způsobí škodlivý obsah, což umožňuje rychlé řešení problémů.
Podrobnosti o nastavení sledování provozu najdete na řídicím panelu Monitorování agentů.
Trasování
Distribuované trasování zachycuje prováděcí tok AI aplikací a poskytuje přehled o voláních LLM, vyvolání nástrojů, rozhodování agentů a závislostech mezi jednotlivými službami. Trasování založené na standardech OpenTelemetry a integrované s Azure Monitor Application Insights umožňuje ladění složitých chování agentů, identifikaci úzkých míst výkonu a pochopení řetězců vícestupňového uvažování. Microsoft Foundry podporuje trasování oblíbených frameworků, mezi které patří LangChain, LangGraph, OpenAI Agents SDK a Microsoft Agent Framework.
Pokyny k implementaci trasování najdete v tématu Přehled agenta trasování.
Co jsou vyhodnocovače?
Vyhodnocovače jsou specializované nástroje, které měří kvalitu, bezpečnost a spolehlivost odpovědí umělé inteligence v průběhu životního cyklu vývoje.
Úplný seznam vestavěných vyhodnocovačů naleznete v sekci Reference vestavěných vyhodnocovačů.
Vyhodnocovače se integrují do každé fáze životního cyklu AI, aby se zajistila spolehlivost, bezpečnost a efektivita.
Tři fáze vyhodnocení životního cyklu aplikace AI
Výběr základního modelu
Výběr správného základního modelu porovnáním kvality, výkonu úloh, etických aspektů a bezpečnostních profilů napříč různými modely
Nástroje dostupné: Microsoft srovnávací test Foundry pro porovnávání modelů s veřejnými datovými sadami nebo vlastními daty a sada SDK pro vyhodnocení Azure AI pro testování konkrétních koncových bodů modelu.
Předprodukční vyhodnocení
Před nasazením důkladné testování zajistí, že je agent AI nebo aplikace připraveny pro produkční nasazení. Tato fáze ověřuje výkon prostřednictvím vyhodnocovacích datových sad, identifikuje hraniční případy, posuzuje robustnost a měří klíčové metriky, včetně dodržování úkolů, uzemnění, relevance a bezpečnosti. Informace o vytváření agentů připravených pro produkční prostředí s vícenásobnými konverzacemi, voláním nástrojů a správou stavu najdete v tématu Služba agenta Foundry.
Nástroje a přístupy pro vyhodnocení:
Používání vlastních dat: Vyhodnocení aplikací umělé inteligence pomocí vlastních dat s využitím kvality, bezpečnosti nebo vlastních vyhodnocovačů Použijte průvodce vyhodnocením portálu Foundry nebo sadu Foundry SDK a zobrazte výsledky na portálu Foundry.
AI red teaming agent: Agent pro red teaming AI AI red teaming agent simuluje složité útoky pomocí architektury PyRIT od Microsoftu k identifikaci zranitelností a bezpečnostních slabin před jejich nasazením. Nejvhodnější s procesy s lidskou kontrolou.
Monitorování po produkci
Nepřetržité monitorování po nasazení zajišťuje, že vaše aplikace AI udržuje kvalitu v reálných podmínkách:
- Provozní metriky: Pravidelné měření klíčových provozních metrik agenta AI
- Průběžné hodnocení: Hodnocení kvality a bezpečnosti produkčního provozu se vzorkovanou rychlostí
- Plánované vyhodnocení: Plánované vyhodnocení kvality a bezpečnosti s využitím testovacích datových sad k detekci odchylek systému
- Naplánované útokové testování: Naplánované testování oponentním přístupem k odhalení ohrožení bezpečnosti a zabezpečení.
- upozornění Azure Monitor: Oznámení v případech, kdy výstupy selžou prahové hodnoty kvality nebo produkují škodlivý obsah
Integrovaný s Azure Monitor Application Insights, řídicí panel Foundry Observability poskytuje přehledy o výkonu, bezpečnosti a kvalitě v reálném čase, což umožňuje rychlé řešení problémů a udržování důvěry uživatelů.
Stručný referenční průvodce k vyhodnocení
| Účel | Proces | Parametry, pokyny a ukázky |
|---|---|---|
| Jak nastavit sledování? | Konfigurace distribuovaného trasování |
Přehled trasování Trasování pomocí sady Agents SDK |
| Co vyhodnocujete? | Identifikace nebo sestavení relevantních vyhodnocovačů |
Předdefinované vyhodnocovače Vlastní vyhodnocovače ukázky sady SDK Python ukázky sady SDK C# |
| Jaká data byste měli použít? | Nahrání nebo vygenerování relevantní datové sady | Výběr zdroje dat |
| Jak spustit vyhodnocení? | Spustit vyhodnocení |
Běhy vyhodnocení agenta Vzdálené spuštění cloudu |
| Jak si vedla moje modelová nebo AI aplikace? | Analýza výsledků |
Zobrazení výsledků vyhodnocení Analýza clusteru |
| Jak můžu zlepšit? | Analýza výsledků a optimalizace agentů | Analýza selhání vyhodnocení pomocí analýzy clusteru Optimalizujte agenty a znovu vyhodnoťte. Zkontrolujte výsledky vyhodnocení. |
Podpora oblastí, omezení rychlosti a podpora virtuálních sítí
Pokud chcete zjistit, které oblasti podporují vyhodnocovače s asistencí umělé inteligence, omezení rychlosti, která se vztahují na testovací běhy, a jak nakonfigurovat podporu virtuální sítě pro izolaci sítě, podívejte se na podporu oblastí, omezení rychlosti a podporu virtuálních sítí pro vyhodnocení.
Ceny
Funkce pozorovatelnosti, jako jsou vyhodnocení rizik a bezpečnosti a vyhodnocení v prostředí pro agenty, se účtují na základě spotřeby, jak je uvedeno na na stránce s cenami Azure.
Důležité
Vyhodnocování v prostředí pro agenty je ve výchozím nastavení povoleno pro všechny projekty Foundry a je zahrnuto ve fakturaci na základě spotřeby. Pokud chcete vypnout hodnocení v testovacím prostředí agentů, vyberte metriky v pravém horním rohu prostředí agentů a zrušte výběr všech vyhodnocovačů.
