Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Nome pilastro: Monitorare e rilevare le minacce
Nome modello: osservabilità per i sistemi di intelligenza artificiale generativa e intelligenza artificiale agentica, incluse piattaforme, applicazioni e modelli
Contesto e problema
Man mano che le aziende adottano, compilano e usano sistemi di intelligenza artificiale generativi (GenAI) e intelligenza artificiale agentica, le tradizionali pratiche di osservabilità non sono più sufficienti. Il software convenzionale è in gran parte deterministico, con percorsi di esecuzione prevedibili che i dati di telemetria operativi possono spiegare in modo affidabile. Tuttavia, i sistemi di intelligenza artificiale di oggi non funzionano in questo modo, sono probabilistici per progettazione. Gli output dei sistemi GenAI variano a seconda delle esecuzioni e l'"esecuzione" è una distribuzione rispetto ai possibili comportamenti anziché a un singolo percorso riproducibile.
Se si vuole poter monitorare, comprendere e risolvere i problemi che un sistema di intelligenza artificiale sta facendo, è necessario evolvere i log, le metriche e le tracce dell'osservabilità tradizionale per incorporare i segnali nativi dell'intelligenza artificiale ed è necessario espandere le procedure di osservabilità per comprendere la valutazione e la governance in modo che sia disponibile il toolkit giusto per la visibilità del sistema e la creazione di segnali affidabili, sistemi di intelligenza artificiale ad alte prestazioni su larga scala.
Le sfide principali includono:
- I sistemi di intelligenza artificiale sono non deterministici e i comportamenti possono cambiare a seconda degli input, del contesto di recupero, degli output degli strumenti e delle decisioni relative ai criteri/guardrail. La visibilità del sistema diventa molto più complessa. L'osservabilità tradizionale non è sufficiente per i sistemi di intelligenza artificiale generativa o agentica: si concentra troppo strettamente sulla latenza, sugli errori e sulla velocità effettiva.
- I tempi di attività e le percentuali di errore non sono buoni indicatori di qualità e affidabilità nei sistemi di intelligenza artificiale.
- I sistemi di IA stanno diventando sempre più autonomi con privilegi e accesso più elevati. Alcuni sistemi possono interagire con dati sensibili, chiamare API esterne, avviare flussi di lavoro e agire in ambienti aziendali. Quando questi sistemi sono mirati da attori di minacce o usati in modo improprio, l'osservabilità diventa un'esigenza critica.
- Man mano che vengono distribuiti più agenti, le aziende vogliono rispondere a domande come quanti agenti di intelligenza artificiale esistono nella mia azienda? Come si comportano gli agenti? I picchi di utilizzo o altri segnali indicano l'uso improprio degli agenti?
- Mentre le aziende sprintano per adottare e integrare i sistemi di IA, la loro adozione dell'osservabilità dei sistemi di IA ritarda.
Queste sfide sottolineano la necessità per le aziende di evolvere i propri strumenti e procedure di osservabilità e di adottarli su larga scala, commensurati con l'adozione dei sistemi di IA.
Soluzione
Evolvere log, metriche e tracce affinché diventino nativi dell'intelligenza artificiale.
- Registrare il contesto di identità della richiesta di log, il timestamp e gli identificatori di conversazione/esecuzione, insieme ai dettagli di esecuzione come gli input dell'utente e le risposte del sistema, la provenienza dell'origine di recupero e le invocazioni degli agenti/strumenti (nome dello strumento, argomenti, autorizzazioni e output), e rappresentare tracce e metriche utilizzando le convenzioni semantiche OpenTelemetry GenAI. Cosa acquisire e conservare deve essere disciplinato da contratti di dati chiari che bilanciano le esigenze forensi rispetto alla privacy, alla residenza dei dati, alla riduzione al minimo dei dati, ai requisiti di conservazione e alla conformità agli obblighi legali e normativi, con i controlli di accesso e la crittografia allineati ai criteri aziendali e alle valutazioni dei rischi.
- Monitorare il sistema tramite utilizzo dei token, latenza, frequenza degli errori, volume di chiamate o richieste degli strumenti e altre metriche.
- Acquisire il percorso end-to-end di una richiesta (tracce), collegando ogni passaggio nell'esecuzione di un agente.
- Standardizzare l'uso di OpenTelemetry (OTel). Tenere presente che la registrazione e i dati di telemetria devono essere sufficienti per la ricostruzione degli eventi imprevisti.
- Incorporare la valutazione per tenere traccia in modo continuo della qualità e della sicurezza e acquisire decisioni relative ai criteri.
- Stabilire linee di base comportamentali e avvisi sulle deviazioni. Determinare l'aspetto "normale" per i sistemi di intelligenza artificiale.
- Considerare oltre l'osservabilità i controlli, la sicurezza, la governance e le primitive di base.
- Usare meccanismi scalati come il Microsoft Secure Development Lifecycle (SDL) o il Secure Future Initiative (SFI) per applicare la registrazione standardizzata e l'osservabilità nei prodotti GenAI e dell'agente di intelligenza artificiale a livello aziendale.
Linee guida
Le organizzazioni possono adottare procedure simili attenendosi alla procedura seguente:
| caso d'uso | Azione consigliata | risorsa |
|---|---|---|
| Registrazione di controllo nativa dell'intelligenza artificiale | Registrare gli eventi di interazione tra copilot e agente, inclusi i metadati contestuali | Microsoft Purview |
| Standardizzare i dati | Allinearsi alle convenzioni semantiche di OpenTelemetry (OTel) GenAI affinché i "spans" e le tracce siano coerenti. Rimani sintonizzato: le famiglie di attributi di OTel sono in potenziale espansione con proposte per supportare l'orchestrazione multi-agente (incluse attività e memoria). | Convenzioni semantiche OTel GenAI |
| Comprendere ed eseguire il debug del comportamento dell'agente | Chiamate dello strumento di traccia, decisioni dell'agente e dipendenze tra servizi | Traccia dell'agente Microsoft Foundry (anteprima) |
| Misurare qualità, sicurezza e affidabilità | Assegnare un punteggio agli output del modello o dell'agente sui risultati, ad esempio l'affidabilità, la sicurezza/il rischio e la correttezza dell'uso degli strumenti, per i test di regressione o per controllare la qualità delle versioni. | Analizzatori di Microsoft Foundry |
| Governance per strumenti, agenti e modelli | Eseguire l'onboarding degli agenti in Foundry usando framework supportati da Microsoft o registrare agenti personalizzati. | Piano di controllo di Microsoft Foundry |
| Monitoraggio della produzione | Creare una risorsa di Application Insights e usare esperienze e cartelle di lavoro predefinite per pubblicare dashboard | Azure Monitor Application Insights |
| Rilevamento dell'uso improprio | Inserire log (Purview) e tracce (Foundry + Application Insights) per la correlazione dei segnali | Microsoft Sentinel |
Per le aziende che usano Microsoft Agent 365:
| caso d'uso | Azione consigliata | risorsa |
|---|---|---|
| Integrazione dell'osservabilità e della governance aziendali | Usare Microsoft Agent 365 Observability SDK (parte di Agent 365 SDK) per generare dati di telemetria allineati a OTel per la governance di Agent 365, inclusa la visibilità dell'amministratore e l'integrazione di Defender/Purview | Microsoft Agent 365 Observability SDK (anteprima di Frontier) |
| Governance a livello di tenant | Usare Microsoft Agent 365 nell'interfaccia di amministrazione di Microsoft 365 per gestire tutti gli agenti nel tenant. | Microsoft Agent 365 (anteprima di Frontier) |
Risultati
Vantaggi
- Miglioramento della visibilità, del monitoraggio e del controllo del sistema di intelligenza artificiale.
- Comportamento di sicurezza avanzato.
- Ricostruzione più semplice dell'attività di minaccia e tempo medio più breve per rilevare e rispondere (MTTD/MTTR).
- Maggiore qualità, affidabilità e sicurezza tramite valutazioni che possono essere usate per il test di rilascio o di regressione.
Trade-offs
- Gli strumenti e le convenzioni di osservabilità stanno evolvendo man mano che i sistemi di intelligenza artificiale si evolvono. Le aziende devono rimanere al passo con i nuovi sviluppi nell'osservabilità e mantenere il passo, per garantire la sicurezza, l'integrità e la sicurezza dei sistemi di IA in corso.
- La standardizzazione della registrazione e della traccia per i sistemi di IA può richiedere iniziative e supporto per la leadership a livello aziendale.
- L'osservabilità dell'intelligenza artificiale è raramente "impostarla e dimenticarla". Si tratta di un processo continuo che comporta un sovraccarico operativo.
Fattori chiave di successo
Tenere traccia degli indicatori KPI seguenti per misurare lo stato di avanzamento:
- Copertura dell'osservabilità del sistema di intelligenza artificiale: percentuale dei sistemi di intelligenza artificiale totali osservabili (creazione di log e tracce nei back-end di monitoraggio).
- La percentuale di versioni che hanno eseguito una suite di valutazione standard per mantenere le soglie di produzione per la qualità e l'affidabilità.
- Percentuale di scenari di uso improprio e di sicurezza dell'intelligenza artificiale coperti dai dati di telemetria. Identificare gli scenari principali di uso improprio e di sicurezza (ad esempio l'inserimento di richieste o l'esfiltrazione dei dati) e assicurarsi di disporre dei dati di telemetria necessari per rilevare e rispondere.
Sommario
L'osservabilità per i sistemi dell'intelligenza artificiale generativa e agentica è una pratica fondamentale per la sicurezza e la governance. L'osservabilità per i sistemi di intelligenza artificiale richiede l'evoluzione dei tipi di segnali e dei dati di telemetria raccolti; creare nuove primitive; e reinventare il piano di controllo, in modo da poter verificare e governare con precisione ciò che accade nei nostri sistemi. Per le organizzazioni che adottano l'osservabilità dell'IA e la applicano in tutta l'azienda, i sistemi di intelligenza artificiale possono essere esaminati quando si verificano eventi imprevisti, migliorati man mano che il comportamento si evolve e gestito con responsabilità nell'ambiente di produzione.