Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Pelarnamn: Övervaka och identifiera hot
Mönsternamn: Observerbarhet för generativ AI och agentiska AI-system, inklusive plattformar, program och modeller
Kontext och problem
När företag antar, skapar och använder AI-system – särskilt Generativ AI (GenAI) och agentisk AI – räcker det inte längre med traditionella observerbarhetsmetoder. Konventionell programvara är till stor del deterministisk, med förutsägbara körningsvägar som drifttelemetri kan förklara på ett tillförlitligt sätt. Men dagens AI-system fungerar inte på det här sättet – de är probabilistiska avsiktligt. Utdata från GenAI-system varierar mellan körningar, och "körning" är en fördelning över möjliga beteenden snarare än en enda reproducerbar sökväg.
Om vi vill kunna övervaka, förstå och felsöka vad ett AI-system gör måste vi utveckla loggar, mått och spår av traditionell observerbarhet för att införliva AI-inbyggda signaler, och vi måste utöka våra observerbarhetsmetoder så att de omfattar utvärdering och styrning så att vi har rätt verktyg för systemsynlighet och kan skapa förtroende. högpresterande AI-system i stor skala.
Viktiga utmaningar är:
- AI-system är icke-deterministiska och beteenden kan ändras beroende på indata, hämtningskontext, verktygsutdata och princip-/skyddsräckesbeslut – systemets synlighet blir mycket mer komplex. Traditionell observerbarhet räcker inte för GenAI- eller agentiska AI-system – den fokuserar för snävt på svarstid, fel och dataflöde.
- Drifttid och felfrekvenser är inte bra indikatorer på kvalitet och tillförlitlighet i AI-system.
- AI-system blir alltmer autonoma med mer privilegier och åtkomst. Vissa system kan interagera med känsliga data, anropa externa API:er, initiera arbetsflöden och agera i företagsmiljöer. När dessa system riktas mot hotaktörer eller missbrukas blir observerbarhet ett kritiskt behov.
- När fler agenter distribueras vill företag svara på frågor som Hur många AI-agenter finns i min egendom? Hur beter sig agenter? Tyder toppar i användningen eller andra signaler på missbruk av agenter?
- Medan företag sprintar för att införa och integrera AI-system ligger deras implementering av AI-systemobservabilitet efter.
Dessa utmaningar understryker företagens behov av att utveckla sina observerbarhetsverktyg och metoder och att anta dem i stor skala, i proportion till införandet av AI-system.
Lösning
Utveckla loggar, mått och spårningar så att de blir AI-inbyggda.
- Loggförfrågans identitetskontext, tidsstämpel och konversations-/körningsidentifierare, tillsammans med körningsdetaljer som användarinmatningar och systemsvar, ursprung för hämtning och agent-/verktygsanrop (verktygsnamn, argument, behörigheter och utdata), och representera spårnings- och mätvärden med OpenTelemetry GenAI-semantiska konventioner. Vad som ska samlas in och behållas bör styras av tydliga datakontrakt som balanserar tekniska behov mot sekretess, datahemvist, dataminimering, kvarhållningskrav och efterlevnad av juridiska och regelmässiga skyldigheter, med åtkomstkontroller och kryptering som är anpassad till företagspolicy och riskbedömningar.
- Övervaka systemet via tokenanvändning, svarstid, felfrekvens, volym av verktygsanrop eller begäranden och andra mått.
- Samla in hela resan för en begäran (spårningar), och länka varje steg i en agents exekvering.
- Standardisera med OpenTelemetry (OTel). Kom ihåg att loggning och telemetri bör vara tillräckliga för incidentrekonstruktion.
- Införliva utvärdering för att kontinuerligt spåra kvalitet och säkerhet och fånga politiska beslut.
- Upprätta beteendebaslinjer och avisera om avvikelser. Fastställ hur "normalt" ser ut för dina AI-system.
- Tänk bortom observerbarheten att överväga kontroller, säkerhet, styrning och grundläggande primitiver.
- Använd skalbara mekanismer som Microsoft Secure Development Lifecycle (SDL) eller Secure Future Initiative (SFI) för att framtvinga standardiserad loggning och observerbarhet för dina GenAI- och AI-agentprodukter i hela företaget.
Riktlinjer
Organisationer kan använda liknande metoder med hjälp av följande steg:
| Användningsfall | Rekommenderad åtgärd | Resource |
|---|---|---|
| AI-inbyggd granskningsloggning | Logga copilot- och agentinteraktionshändelser, inklusive kontextuella metadata | Microsoft Purview |
| Standardisera data | Justera med OpenTelemetry (OTel) GenAI-semantiska konventioner så att intervall och spårningar är konsekventa. Håll dig uppdaterad – OTels attributfamiljer utökas potentiellt med förslag för att stödja orkestrering med flera agenter (inklusive uppgifter och minne). | OTel GenAI-semantiska konventioner |
| Förstå och felsöka agentbeteende | Spårningsverktygsanrop, agentbeslut och beroenden mellan tjänster | Spårning av agenter i Microsoft Foundry (förhandsversion) |
| Mäta kvalitet, säkerhet och tillförlitlighet | Poängsätta modell- eller agentutdata baserat på resultat som sammanhangskoppling, säkerhet/risk och verktygsanvändningens korrekthet, för regressionstestning eller att styra release-kvalitet. | Microsoft Foundry-utvärderare |
| Styrning för verktyg, agenter och modeller | Registrera dina agenter på Foundry med hjälp av Ramverk som stöds av Microsoft eller registrera dina egna anpassade agenter. | Kontrollplan för Microsoft Foundry |
| Produktionsövervakning | Skapa en Application Insights-resurs och använd inbyggda funktioner och arbetsböcker för att publicera instrumentpaneler | Azure Monitor Application Insights |
| Identifiera missbruk | Mata in loggar (Purview) och spårningar (Foundry + Application Insights) för signalkorrelation | Microsoft Sentinel |
För företag som använder Microsoft Agent 365:
| Användningsfall | Rekommenderad åtgärd | Resource |
|---|---|---|
| Företagsobservabilitet och styrningsintegrering | Använd Microsoft Agent 365 Observability SDK (en del av Agent 365 SDK) för att generera OTel-justerad telemetri för Agent 365-styrning, inklusive administratörssynlighet och Defender/Purview-integrering | Microsoft Agent 365 Observability SDK (Förhandsversion av Frontier) |
| Styrning för hela klientorganisationen | Använd Microsoft Agent 365 i administrationscentret för Microsoft 365 för att styra alla agenter i klientorganisationen. | Microsoft Agent 365 (förhandsversion av Frontier) |
Utfall
Fördelar
- Förbättrad ai-systemsynlighet, övervakning och kontroll.
- Förbättrad säkerhetsstatus.
- Enklare återuppbyggnad av hotaktivitet och kortare genomsnittlig tid för att identifiera och svara (MTTD/MTTR).
- Högre kvalitet, tillförlitlighet och säkerhet genom utvärderingar som kan användas för lanseringsgodkännande eller regressionstestning.
Trade-offs
- Observerbarhetsverktyg och konventioner utvecklas i takt med att AI-system utvecklas. Företagen måste hålla sig jour med den nya utvecklingen när det gäller observerbarhet och hänga med, för att säkerställa kontinuerlig säkerhet, integritet och säkerhet för sina AI-system.
- Standardisering av loggning och spårning för AI-system kan kräva företagsomfattande initiativ och ledarskapsstöd.
- AI-observerbarhet är sällan "ange det och glöm det". Det är en kontinuerlig process som medför driftkostnader.
Viktiga framgångsfaktorer
Spåra dessa KPI:er för att mäta förloppet:
- Täckning av AI-systemobservabilitet – andelen av de totala AI-system som är observerbara (genererar loggar och spårningar till övervakningsserverdelar).
- Andelen utgåvor som har kört igenom en standardutvärderingssvit för att säkerställa produktionsstandarder för kvalitet och tillförlitlighet.
- Andelen AI-missbruk och säkerhetsscenarier som omfattas av telemetri. Identifiera de vanligaste missbruks- och säkerhetsscenarierna (till exempel snabbinmatning eller dataexfiltrering) och se till att du har den telemetri som krävs för att identifiera och svara.
Sammanfattning
Observerbarhet för GenAI- och agentiska AI-system är en grundläggande säkerhets- och styrningspraxis. Observerbarhet för AI-system kräver att vi utvecklar de typer av signaler och telemetri som vi samlar in. skapa nya primitiver; och återskapa kontrollplanet, så att vi korrekt kan fastställa och styra vad som händer i våra system. För organisationer som antar AI-observerbarhet och tillämpar det i hela företaget kan AI-system undersökas när incidenter inträffar, förbättras när beteendet utvecklas och drivs med ansvar i produktionen.