Gestire la sicurezza della memoria nei sistemi agenti

Nome pilastro: Monitorare e rilevare le minacce
Nome modello: Sistemi di intelligenza artificiale agenti sicuri

Contesto e problema

La memoria offre agli agenti di intelligenza artificiale la possibilità di conservare e richiamare informazioni tra le interazioni per influenzare il comportamento futuro. Questa persistenza offre personalizzazione e coerenza operativa degli agenti, poiché gli agenti costruiscono una base di conoscenza durevole che migliora le loro prestazioni nel tempo. Questo è il sentimento di "apprendimento".

Tuttavia, la memoria persistente non archivia solo le informazioni, ma funge da livello di configurazione per il sistema di intelligenza artificiale. Una memoria creata oggi può influenzare la selezione degli strumenti, il comportamento di rifiuto e il ragionamento in un secondo momento, spesso al di fuori del contesto originale, della sessione o dell'applicazione.

La persistenza modifica fondamentalmente il modello di minaccia: gli utenti malintenzionati non devono più avere esito positivo in un'unica richiesta. Influenzando la memoria, possono modellare gradualmente il comportamento nel tempo, sfruttando il divario temporale tra esposizione ed esecuzione.

Le sfide principali includono:

• Le minacce temporanee diventano persistenti: una singola interazione compromessa può modellare automaticamente tutto il comportamento futuro dopo la fine della sessione originale. Le allucinazioni diventano allucinazioni persistenti; l'iniezione cross-prompt (XPIA) diventa XPIA continua con esfiltrazione automatica o sovrascrittura delle istruzioni di sistema.
• Raggio di esplosione espanso: lo stato persistente indica più superficie di attacco per esfiltrazione, danneggiamento e manipolazione. Una maggiore archiviazione di dati potenzialmente sensibili crea una superficie di attacco aggiuntiva e aumenta la complessità operativa per l'eliminazione, la correzione e la trasparenza.
• Effetti ritardati e tra contesti: gli effetti di corruzione potrebbero essere ritardati o attivati in un secondo momento ("invocazione ritardata dello strumento"), e il richiamo tra contesti può divulgare involontariamente informazioni. Gli attaccanti possono suddividere istruzioni dannose su più turni per costruire progressivamente un payload.
• Le difese a turno singolo non sono sufficienti: gli attaccanti stanno già ragionando su più turni. Gli attacchi con riconoscimento della memoria sfruttano il divario temporale tra esposizione ed esecuzione.

Queste sfide sottolineano la necessità di considerare la memoria come un problema di sicurezza di prima classe con le protezioni applicate a più livelli anziché basarsi esclusivamente sul comportamento del modello o sul rilevamento a turno singolo.

Soluzione

Considerare la memoria di intelligenza artificiale sia come dati di valore elevato che come piano di controllo. Poiché la memoria archivia informazioni utente riservate e determina contemporaneamente il comportamento dell'agente, richiede il rigore di governance di un sistema di protezione dei dati e di un sistema di controllo dell'esecuzione.

Le organizzazioni possono usare queste funzioni per strutturare le valutazioni in corso nel modo seguente:

• Gate scrive sulla finalità e sulla provenienza:

  • Verificare che il chiamante sia autorizzato (privilegio minimo).
  • Confermare la finalità dell'utente: evitare la creazione di memoria implicita o autonoma da origini non attendibili.
  • Questo è anche un buon momento per sanificare gli input usando una tassonomia di gestione dei dati o per raggiungere gli obiettivi di governance. Ad esempio:
    • Blocca dalla memoria: credenziali, chiavi API, dati di pagamento, ID governativi, modelli dannosi noti.
    • Non dedurre mai: per attributi sensibili (salute, razza, religione, politica), aggiungere alla memoria solo se fornito esplicitamente dall'utente.
    • Dati generali: preferenze, attività, contesto, consentiti con misure di sicurezza standard e scopo limitati al servizio.
  • Etichetta la provenienza di ogni elemento di memoria: fonte, identità, timestamp, versione del modello.

• Applicare l'isolamento in modo architetturale:

  • Isolare la memoria per utente, agente e tenant utilizzando controlli deterministici come ACL, token con ambito definito e crittografia dei dati a riposo e in transito.
  • Non basarsi sulla richiesta del modello per l'imposizione dei limiti.
  • Limitare l'accesso del sottoagente alla sola memoria necessaria.

• Considerare il recupero come una decisione di rischio.

  • La memoria è un contesto potenziale, non una fonte autorevole.
  • Al momento del recupero:
    • Convalidare la pertinenza e l'aggiornamento.
    • Riesaminare i contenuti sensibili o dannosi (ad esempio, Prompt Shields).
    • Impedisci che la memoria ignori i controlli di sicurezza o le istruzioni di sistema.
    • Proteggersi dalla divulgazione di informazioni tra contesti.

• La memoria di Surface e il suo impatto sugli utenti:

  • Mostrare agli utenti il modo in cui la memoria ha influenzato una risposta o un'azione specifica.
  • Fornire controlli di visualizzazione, modifica ed eliminazione.
  • Notifica quando viene creata la memoria. Attivare sia l'eliminazione granulare che quella in blocco.

• Mantenere l'osservabilità completa del ciclo di vita

  • Registra tutte le operazioni di memoria (creazione, lettura, aggiornamento, eliminazione) con identità, timestamp, origine e provenienza.
  • Tenere traccia della posizione di propagazione della memoria (raggio di esplosione).
  • Conservare una cronologia sufficiente per l'indagine sugli incidenti e il rollback.
  • Integrare i dati di telemetria della memoria con SIEM/XDR.

esempio di Microsoft

• Passaggio 1: le interazioni con copilota con memoria abilitata generano eventi di audit strutturati (identità, provenienza, tipo di operazione) in Microsoft Purview.
• Passaggio 2: viene applicata la valutazione della sicurezza dei contenuti in fase di recupero tramite Sicurezza dei contenuti di Azure AI (Prompt Shields) prima che la memoria venga inserita nel contesto dell'agente.
• Step 3: i dati di telemetria della memoria vengono inseriti in Microsoft Sentinel per la correlazione con segnali di sicurezza più ampi, consentendo il rilevamento di modelli di avvelenamento e XPIA tra sessioni.

Linee guida

Le organizzazioni possono adottare procedure simili usando le azioni seguenti.

Caso di utilizzo	Azioni consigliate	risorsa
Sistemi di memoria che gestiscono dati sensibili	Classificare o gestire i dati in fase di scrittura; bloccare dati inappropriati o dannosi prima di scrivere in memoria.	Microsoft Purview la gestione del comportamento di sicurezza dei dati per intelligenza artificiale
Architetture multi-agente o di memoria condivisa	Imporre l'isolamento tra l'agente e l'utente con eccezioni per il tenant. Isolare con controlli di accesso deterministici e identità dell'agente verificabile.	Identità degli agenti in Microsoft Entra Agent ID
IA agentica che utilizza il contesto persistente (include agents.md, note sull'IA, ecc.)	Applica Prompt Shields in fase di recupero per rilevare gli attacchi indiretti prima di iniettare la memoria nel contesto di ragionamento.	Protezioni delle richieste in Sicurezza dei contenuti di Azure AI
Rilevamento dell'avvelenamento da memoria e XPIA	Abilitare la protezione dalle minacce per i carichi di lavoro di intelligenza artificiale per rilevare il furto di credenziali, la persistenza del jailbreak e gli schemi di esfiltrazione dei dati.	Protezione dalle minacce di intelligenza artificiale in Defender per il cloud
Fiducia degli utenti e trasparenza	Offrire un'esperienza utente integrata nel prodotto per la revisione, la modifica e l'eliminazione della memoria; informare gli utenti quando la memoria viene creata o influisce sull'output.	Linee guida per l'interazione con l'intelligenza artificiale umana
Sistemi di memoria di raggruppamento rosso	Verificare l'avvelenamento su più turni, l'invocazione ritardata dello strumento, la fuoriuscita di dati tra contesti e l'assemblaggio del payload tra sessioni.	Agente Red Team per l’IA (PyRIT)
Risposta agli eventi imprevisti per i sistemi di intelligenza artificiale con memoria abilitata	Registrare tutti gli eventi CRUD di memoria con la provenienza completa; conservare per il controllo, la ricostruzione degli eventi imprevisti e il rollback.	Osservabilità per sistemi di intelligenza artificiale generativa e agenti di intelligenza artificiale

Risultati

Vantaggi

• Rilevamento più tempestivo dell'avvelenamento della memoria, della corruzione e di XPIA persistente.
• Riduzione del raggio di esplosione attraverso l'isolamento architettonico e il contenimento basato sulla provenienza.
• Miglioramento della fiducia degli utenti attraverso la trasparenza su ciò che il sistema ricorda e su come influisce sul comportamento.
• Risposta agli incidenti più rapida grazie ad audit trail completi dell’intero ciclo di vita con tracciabilità dell’origine.
• Allineamento migliore tra il comportamento dell'intelligenza artificiale e le aspettative degli utenti nel tempo.

Compromessi

• Complessità architettonica derivante dall'imposizione dell'isolamento deterministico attraverso i confini della memoria.
• I costi di registrazione e conservazione devono essere bilanciati rispetto ai requisiti di privacy e riduzione dei dati.
• La latenza di recupero aumenta dalla convalida della sicurezza in fase di esecuzione.
• Sono necessari investimenti nell'UX per garantire una trasparenza effettiva e interfacce di controllo per l'utente.

Fattori chiave di successo

Tenere traccia degli indicatori KPI seguenti per misurare lo stato di avanzamento:

• Accuratezza e soddisfazione ottenute per le risposte di intelligenza artificiale formate usando la memoria.
• Percentuale (%) di operazioni CRUD di memoria registrate con la provenienza completa (origine, identità, timestamp, versione del modello).
• Percentuale (%) di scenari di minacce specifici della memoria (avvelenamento, persistenza XPIA, perdita tra contesti) coperti da regole di rilevamento attive.
• Tempo medio per rilevare e correggere il danneggiamento della memoria o gli incidenti di avvelenamento.
• Percentuale (%) dei sistemi di memoria che forniscono controlli di visualizzazione, modifica ed eliminazione per gli utenti.

Sommario

La memoria persistente introduce nei sistemi di intelligenza artificiale un'influenza duratura tra contesti diversi, trasformando minacce temporanee in minacce persistenti ed estendendo la portata di una compromissione.

Esaminando le scritture sulla finalità e sulla provenienza, applicando l'isolamento dell'architettura, considerando il recupero come decisione di rischio e mantenendo l'osservabilità completa del ciclo di vita, le organizzazioni possono abilitare la personalizzazione dell'intelligenza artificiale limitando l'impatto di danneggiamento, avvelenamento e divulgazione indesiderata.

Man mano che la memoria diventa fondamentale per l'intelligenza artificiale agente, questi controlli devono essere applicati come requisiti a livello di infrastruttura anziché come comportamenti facoltativi del modello.