Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Definisci cosa i tuoi agenti di intelligenza artificiale possono fare. Applicare i criteri in fase di esecuzione. Mantenere il controllo su framework, piattaforme e cloud.
Gli agenti di intelligenza artificiale stanno andando oltre le conversazioni. Recuperano informazioni riservate, richiamano strumenti, eseguono transazioni, interagiscono con i sistemi aziendali e fanno sempre più decisioni per conto di utenti e organizzazioni.
Man mano che gli agenti diventano più autonomi, emerge una domanda fondamentale: come si dà agli agenti la libertà di agire senza rinunciare al controllo su cosa sono autorizzati a fare?
Le richieste di sistema e i tradizionali filtri di sicurezza dell'intelligenza artificiale forniscono protezioni importanti, ma non sono sufficienti per gestire ogni azione che un agente autonomo potrebbe intraprendere. Un agente può generare testo perfettamente accettabile durante l'emissione di un rimborso non autorizzato, l'accesso a record limitati o la chiamata di uno strumento in violazione dei criteri aziendali.
Le aziende hanno bisogno di un modo per definire i limiti relativi al comportamento dell'agente, valutare le azioni man mano che si verificano e applicare criteri coerenti senza applicare regole business hardcoding in ogni agente.
Agent controls è un servizio gestito per i criteri che consente agli sviluppatori e alle organizzazioni di definire, gestire centralmente e valutare i criteri che regolano il comportamento dell'agente di intelligenza artificiale in fase di esecuzione.
Basato su ACS (Open Source Agent Control Specification) e sugli hook degli agenti, i controlli agente portano la valutazione dei criteri gestiti agli agenti creati in framework, piattaforme e cloud diversi.
Con i controlli per agenti, è possibile:
- Controlla cosa fanno gli agenti, non solo quello che dicono. Definire i criteri per l'esecuzione degli strumenti, le transazioni aziendali, l'accesso alle informazioni riservate e il contenuto generato.
- Andare oltre i tradizionali filtri di sicurezza. Combina regole business deterministiche, classificatori di sicurezza dei contenuti predefiniti e valutazioni basate su LLM supportate per prendere decisioni basate sul contesto.
- Applicare i criteri in fase di esecuzione. Valutare le azioni e le risposte proposte nei punti di intervento critici prima di consentire all'agente di procedere.
- Gestire e riutilizzare i criteri in modo centralizzato. Definire i criteri una sola volta, gestirli indipendentemente dal codice dell'applicazione e applicarli in modo coerente tra più agenti e applicazioni.
- Mantenere la visibilità delle decisioni relative ai criteri. Associa le decisioni e i motivi restituiti ai record di richiesta ed esecuzione dell'applicazione.
I controlli dell'agente separano le decisioni relative alle policy dall'esecuzione dell'agente. Il servizio valuta i criteri e restituisce decisioni come allow, denyo transform. Il runtime o l'applicazione dell'agente rimane responsabile dell'applicazione di tali decisioni.
Perché i controlli degli agenti?
Gli agenti non si limitano più a generare contenuti. Stanno agendo.
Gli approcci tradizionali alla sicurezza dell'intelligenza artificiale riguardano gli input e gli output dei modelli di intelligenza artificiale: rilevamento di contenuto dannoso, protezione delle informazioni riservate o prevenzione di risposte non sicure.
Ma gli agenti autonomi introducono una nuova classe di rischi. Prendere in considerazione un agente di intelligenza artificiale responsabile della gestione delle richieste di supporto clienti. L'agente può cercare informazioni sui clienti, elaborare rimborsi, aggiornare i dettagli dell'account e comunicare con i clienti.
L'agente potrebbe essere incaricato di non emettere rimborsi superiori a $100. Ma cosa accade quando un cliente lo convince a emettere un rimborso di 500 $?
- Un prompt di sistema può descrivere la restrizione, ma non può impedire in modo indipendente l'esecuzione se il modello produce la chiamata dello strumento proibito.
- Un classificatore di sicurezza del contenuto può valutare se una risposta contiene contenuti dannosi o sensibili, ma non sa intrinsecamente se un rimborso rientra nei limiti finanziari della società.
- E un flusso di lavoro di approvazione generico potrebbe richiedere una revisione umana per ogni rimborso, compromettendo l'efficienza e l'autonomia che l'organizzazione sperava di raggiungere.
La sfida non è semplicemente rendere gli agenti più sicuri. Sta rendendo l'autonomia governabile.
Dai flussi di lavoro rigidi all'autonomia controllata
Le aziende vogliono agenti di intelligenza artificiale che possano adattarsi, ragionare e agire in modo indipendente. Ma hanno anche bisogno di garanzie che gli agenti funzioneranno nel rispetto delle politiche organizzative.
Storicamente, questa esigenza ha spesso significato scegliere tra tre approcci:
- Vincola l'autonomia. Definire flussi di lavoro estremamente prescrittivi e regole deterministiche per ogni azione possibile.
- Introdurre punti di controllo umani. Richiedere agli utenti di approvare azioni con impatto potenzialmente rilevante, aumentando il sovraccarico operativo.
- Accettare maggiore incertezza. Offrire agli agenti un'autonomia più ampia, basandosi su richieste e controlli specifici dell'applicazione per evitare comportamenti indesiderati.
Nessuno di questi approcci risolve completamente la necessità di agenti autonomi che operano entro limiti aziendali applicabili.
I controlli agente introduce un altro approccio: definire i limiti centralmente, valutare il comportamento dell'agente in fase di esecuzione e consentire agli agenti di operare in modo autonomo all'interno di tali limiti. Invece di tentare di prescrivere ogni passaggio che un agente deve eseguire, le organizzazioni possono definire le condizioni in base alle quali è consentita un'azione.
Ad esempio, un criterio potrebbe consentire a un agente di supporto di effettuare rimborsi inferiori a $100, negare quelli superiori a tale importo e identificare le azioni che richiedono una revisione umana. L'agente rimane libero di stabilire come completare un'attività, ma l'applicazione fa rispettare la policy configurata quando si tenta di eseguire azioni pertinenti. Questo approccio consente di introdurre una maggiore autonomia senza prendere decisioni aziendali dipendenti dalla volontà del modello di seguire le istruzioni.
Basato su una base aperta: Hook dell'agente e ACS
Gli sviluppatori creano agenti di intelligenza artificiale utilizzando diversi framework, modelli, linguaggi di programmazione e piattaforme cloud. Le aziende possono operare agenti in Microsoft Foundry insieme agli agenti compilati usando altri framework o ospitati in altri ambienti.
I controlli di runtime non devono richiedere che ogni agente venga riscritto per una singola piattaforma o per ogni team di sviluppo per inventare un nuovo meccanismo di imposizione dei criteri.
Ecco perché Microsoft ha introdotto due componenti di base open source complementari.
Agent Hooks: intercettare le azioni al momento giusto
Gli hook dell’agente definiscono i punti di intervento standardizzati nel ciclo di vita di esecuzione dell'agente.
Questi hook offrono ai runtime dell'agente l'opportunità di sospendere l'esecuzione e consultare un valutatore delle policy prima di procedere.
Ad esempio, un runtime dell'agente può intercettare:
- Input in ingresso: Prima che una richiesta utente entri nel flusso di esecuzione dell'agente.
- Interazioni del modello: Prima che venga inviata una richiesta di modello o dopo la ricezione della risposta.
- Esecuzione degli strumenti: Prima che venga eseguita una chiamata a uno strumento o dopo la restituzione del risultato.
- Output dell'agente: Prima che la risposta finale venga rilasciata all'utente.
- Eventi del ciclo di vita dell'agente: All'avvio o all'arresto di una sessione dell'agente.
Agent Hooks fornisce il meccanismo di intercettazione e applicazione. Non determina quali regole business o criteri di sicurezza devono essere applicati. Tale responsabilità appartiene a un valutatore delle policy.
Agent Control Specification (ACS): definire ciò che è consentito
La Specifica di controllo degli agenti (ACS) open source fornisce un modello di criteri comune e un runtime di valutazione per governare il comportamento degli agenti.
ACS consente agli sviluppatori di descrivere i criteri indipendentemente dall'implementazione dell'agente.
Una policy può specificare:
- Quali azioni dell'agente o eventi del ciclo di vita controlla.
- Quale contenuto, argomento dello strumento o contesto di runtime deve essere valutato.
- Quali regole deterministiche o analizzatori supportati devono essere applicati.
- Quale decisione deve essere restituita quando vengono soddisfatte le condizioni dei criteri.
Ad esempio, un criterio ACS può esprimere che un'operazione di rimborso è consentita solo quando l'importo richiesto rientra nella soglia configurata dell'organizzazione. Invece di seppellire tale restrizione in una richiesta di sistema o duplicarla tra wrapper degli strumenti, gli sviluppatori possono esprimere il requisito come criterio eseguibile esplicito.
Le policy ACS possono essere valutate usando il runtime open source all'interno di un'applicazione o tramite il servizio di controllo dell'agente gestito.
Aperto fin dalla progettazione. Portabile tra gli ecosistemi degli agenti.
Gli hook dell'agente e ACS sono progettati per separare il runtime dell'agente, la valutazione dei criteri e il meccanismo di applicazione. Questa separazione è fondamentale per la governance degli agenti su più piattaforme e cloud. Gli sviluppatori possono integrare i blocchi predefiniti open source con gli host agente scelti mantenendo al tempo stesso un approccio comune alla descrizione e alla valutazione dei criteri.
L'architettura risultante non richiede l'esecuzione dell'agente sottostante in Microsoft Foundry o l'uso di un provider di modelli specifico. I runtime dell'agente devono implementare i punti di intercettazione pertinenti, fornire contesto di esecuzione attendibile e applicare decisioni relative ai criteri. La base open source rende queste integrazioni possibili senza richiedere a ogni framework agente di adottare un modello di criteri completamente diverso.
Dai componenti modulari open-source al controllo su scala aziendale
I blocchi predefiniti open source offrono agli sviluppatori la flessibilità necessaria per implementare i controlli di runtime all'interno delle proprie applicazioni. Ma le organizzazioni di grandi dimensioni devono affrontare una sfida aggiuntiva. Raramente hanno un solo agente. Possono avere centinaia o migliaia di agenti sviluppati da team diversi, usando framework diversi ed eseguiti in più ambienti.
Senza la gestione centralizzata dei criteri, ogni team deve archiviare, configurare, distribuire e aggiornare i criteri in modo indipendente. Ciò crea sfide operative:
- In che modo i team di sicurezza e governance possono definire policy che si applichino in modo coerente in tutte le applicazioni?
- In che modo gli sviluppatori possono riutilizzare le regole organizzative senza duplicare la logica dei criteri?
- In che modo i proprietari dei criteri possono aggiornare i requisiti senza coordinare le versioni delle applicazioni tra decine di team?
- In che modo le organizzazioni possono comprendere quale versione dei criteri è stata valutata quando un agente ha eseguito un'azione specifica?
- Come possono supportare framework per agenti diversi senza introdurre sistemi di governance separati per ognuno di essi?
È qui che agent controls estende le basi open source. Agent controls fornisce la gestione centralizzata dei criteri e la valutazione dei criteri ospitata basata su ACS. I responsabili delle policy possono creare e gestire policy condivise, mentre gli sviluppatori integrano le proprie applicazioni con un'API di valutazione comune. Invece di distribuire una copia separata di ogni policy in ogni applicazione, i team possono richiamare policy gestite centralmente tramite ID.
Quando un agente deve valutare un'azione, il relativo host invia il contesto di runtime pertinente ai controlli dell'agente. Il servizio valuta il criterio selezionato e restituisce una decisione che l'host deve applicare. In questo modo viene fornito un livello di criteri gestiti comune per ambienti di agenti eterogenei, senza richiedere al servizio stesso di ospitare o eseguire tali agenti.
Funzionamento dei controlli degli agenti
I controlli dell'agente seguono un flusso di controllo di runtime semplice:
- Definire e pubblicare policy. I proprietari dei criteri creano criteri ACS che descrivono comportamenti consentiti e non consentiti, quindi pubblicano i criteri nei controlli dell'agente.
- Intercettare un'azione dell'agente. Un runtime dell'agente acquisisce un'azione o un contenuto in un punto di intervento pertinente, ad esempio immediatamente prima di una chiamata a uno strumento.
- Valutare la policy applicabile. Il runtime chiama i controlli agente, fornendo l'azione proposta, il contesto di esecuzione e la policy da valutare.
- Restituisci una decisione. I controlli dell'agente valutano il criterio, incluse eventuali osservazioni configurate, e restituiscono un risultato di applicazione e i dettagli della decisione.
- Applica la decisione. Il runtime dell'agente consente o blocca l'operazione proposta, usando il contenuto trasformato dal servizio, se applicabile.
Agent Hooks determina quando controllare. ACS definisce il modo in cui i criteri vengono espressi e valutati. I controlli dell'agente forniscono la gestione centralizzata e la valutazione ospitata. Il runtime dell'agente applica la decisione.
Esempio: un agente di rimborso che opera entro i limiti aziendali
Si supponga che un'azienda distribuisca un agente di supporto clienti in grado di elaborare i rimborsi. L'organizzazione definisce i criteri seguenti:
| Policy | Comportamento desiderato |
|---|---|
L'importo del rimborso non deve superare $100 |
Negare le richieste di rimborso al di sopra della soglia |
| Le informazioni dei clienti possono essere condivise solo con destinazioni approvate | Nega trasferimenti non autorizzati |
| Le risposte non devono esporre informazioni personali riservate | Valutare il contenuto e bloccare o trasformare quando necessario |
| Alcuni impegni verso i clienti richiedono l'approvazione | Negare l'azione immediata e avviare il processo di revisione dell'host |
Si supponga ora che l'agente propone la chiamata allo strumento seguente:
{
"tool": "refund_order",
"arguments": {
"order_id": "demo-001",
"amount": 150
}
}
Prima di eseguire l'operazione, il runtime dell'agente intercetta la chiamata al tool proposta nel punto di intervento pre_tool_call. Il runtime invia l'azione proposta e il relativo contesto ad Agent controls. I controlli dell’agente valutano la politica ACS applicabile. La regola deterministica verifica se l'importo del rimborso rientra nella soglia consentita dell'organizzazione.
Poiché $150 supera il valore massimo di $100, il criterio restituisce un deny verdetto. Il runtime dell'agente impone tale verdetto impedendo l'esecuzione dello strumento di rimborso.
Al contrario, un rimborso di $75 soddisfa il criterio e produce allow. All'agente non è richiesto di richiedere l'approvazione umana per ogni azione, né di seguire una rigida sequenza predefinita di passaggi. Può operare entro i limiti stabiliti dall'organizzazione.
Questo esempio illustra il valore centrale dei criteri di runtime: gli agenti possono rimanere autonomi nel modo in cui eseguono attività mentre sono vincolate in quali azioni possono essere eseguite.
Controlli ACS e agenti ospitati: quale è consigliabile usare?
Il runtime ACS open source e i controlli dell'agente ospitato condividono la stessa base dei criteri, ma servono esigenze operative diverse.
| Capability | ACS open source in-process | Controlli per l'agente ospitato |
|---|---|---|
| Definire i criteri usando ACS | Yes | Yes |
| Valutare policy Rego deterministiche | Yes | Yes |
| Esecuzione della valutazione dei criteri | Open Source SDK | servizio gestito da Microsoft |
| Pubblicare e aggiornare i criteri | File gestiti dall'applicazione o un'infrastruttura personalizzata | Criteri ARM condivisi e risorse Rego |
| Configurare le osservazioni | Annotatori configurati dall'applicazione | Classificatori di sicurezza dei contenuti supportati e giudici LLM abilitati |
| Riutilizzare i criteri nelle applicazioni | Tramite distribuzione e integrazione personalizzate | Tramite risorse dei criteri gestite a livello centrale |
| Intercetta l'esecuzione dell'agente | Host dell'agente | Host dell'agente |
| Applica i verdetti delle policy | Host dell'agente | Host dell'agente |
Usare ACS open source quando si vuole incorporare e gestire la valutazione dei criteri all'interno dell'applicazione o dell'infrastruttura.
Usare i controlli dell'agente ospitato quando si vogliono gestire centralmente i criteri e basarsi su un servizio gestito per la valutazione dei criteri tra agenti e applicazioni.
I due approcci sono complementari. Un'organizzazione può usare i blocchi predefiniti open source per l'integrazione delle applicazioni e lo sviluppo locale, usando i controlli agente ospitati per i criteri aziendali condivisi.
Concetti di base
Host dell'agente
L'host è l'applicazione, il runtime dell'agente o il gateway che gestisce l'esecuzione. Sa quando sta per verificarsi una richiesta di modello, una chiamata allo strumento o un output. Costruisce il contesto, chiama i controlli agente e decide se l'esecuzione può continuare.
L'host deve segnalare l'azione effettiva e usare i valori valutati. La valutazione di un set di argomenti dello strumento e l'invio di un altro aggira la politica.
Punto di intervento
Un punto di intervento indica quando si applica una policy.
| Point | Valuta prima |
|---|---|
agent_startup |
Avvio di una sessione |
input |
Accettazione di un input esterno nell'agente |
pre_model_call |
Invio di una richiesta di modello |
post_model_call |
Utilizzo di una risposta del modello completata |
pre_tool_call |
Invio di una chiamata a uno strumento |
post_tool_call |
Elaborazione di un risultato dello strumento completato |
output |
Rilascio dell'output finale |
agent_shutdown |
Completamento dell'arresto della sessione |
Agent Hooks si estendono su otto punti di intervento nel ciclo di vita di un agente. Il manifest che controlla un agente associa le regole dei criteri a quei punti.
Le richieste Unified Moderate 2026-09-01-preview usano quattro source valori: input, output, pre_tool_call e post_tool_call. Ogni richiesta valuta un evento usando la sorgente e il contenuto forniti.
Le valutazioni di pre-chiamata determinano se una richiesta di modello o una chiamata a uno strumento possono procedere. Le valutazioni post-chiamata regolano l'uso di risposte e risultati dopo il completamento dell'operazione sottostante.
Manifesto e rego
Un criterio controllato da un agente è costituito da due parti: un manifesto JSON e uno o più moduli Rego.
Il manifesto seleziona il punto del ciclo di vita, il valore di runtime e le regole Rego in fase di valutazione. Rego esprime la logica decisionale. I moduli Rego vengono caricati separatamente e a cui viene fatto riferimento dai criteri arm.
Ad esempio, un agente di supporto clienti propone una refund_order chiamata di strumento con un ID ordine e un importo di rimborso di 75. Il criterio aziendale consente rimborsi fino a 100.
Per applicare questo limite, il manifesto associa il pre_tool_call punto di intervento alla query data.refund_guard.verdictRego .
Seleziona tool_call.args dallo snapshot creato dal servizio come destinazione di valutazione.
La regola Rego usa il nome del tool per identificare una richiesta di rimborso. Verifica in modo deterministico che l'importo sia numerico, maggiore di zero e non superiore a 100.
Snapshot e destinazione
snapshot descrive l'evento corrente dell'agente in un punto di intervento. Per una chiamata di strumento proposta, include il nome e gli argomenti dello strumento, insieme ai dettagli dell'agente e della sessione.
La destinazione è la parte di tale snapshot che il criterio è configurato per il controllo. Nell'esempio di rimborso il manifest seleziona gli argomenti dello strumento:
Snapshot: proposed tool call
Tool name: refund_order
Arguments: <-- target
order_id: demo-001
amount: 75
Agent and session details
Rego può esaminare l'intero snapshot, inclusi gli argomenti selezionati. Il target fornisce alle policy un riferimento coerente ai dati da controllare, indipendentemente dal punto di intervento. Identifica anche i dati che una trasformazione consentita può modificare.
Annotatore
Un annotator controlla il contenuto in base a una policy. Viene eseguito prima di Rego e restituisce un'annotazione, ad esempio una categoria rilevata, un'etichetta o un punteggio.
I controlli dell'agente supportano attualmente due tipi di annotatori:
- I classificatori di Sicurezza dei contenuti di Azure AI rilevano categorie configurate, ad esempio prompt injection e violenza.
- I giudici LLM classificano il contenuto usando criteri scritti personalizzati nella policy.
Il manifest specifica l'annotatore da eseguire, in corrispondenza del punto di intervento e quale contenuto controlla. Rego usa l'annotazione restituita come input insieme allo snapshot e ai targets durante la valutazione del criterio.
Ad esempio, un criterio di supporto potrebbe vietare promesse di rimborso nelle risposte dei clienti. Al momento dell'intervento output, un giudice LLM controlla la risposta proposta e potrebbe etichettarla commitment. La regola Rego può quindi usare l'etichetta e restituire deny.
Verdetto
Un verdetto è il risultato di una valutazione dei criteri. Indica all'host dell'agente se l'azione proposta può procedere, deve essere bloccata o richiede prima una modifica.
-
allow: l'host può eseguire l'azione proposta o rilasciare il contenuto come inviato. -
deny: l'host blocca l'azione o trattiene il contenuto. -
transform: Moderazione unificata applica la modifica alla destinazione. L'host convalida e usa il contenuto restituito, senza applicare nuovamente la trasformazione.
Nell'esempio di rimborso la regola consente un importo valido di 75 e restituisce allow. Una quantità di 150 supera il limite, quindi la regola restituisce deny e l'host non effettua il rimborso. Un criterio diverso potrebbe restituire transform per oscurare un campo in una risposta prima del rilascio.
Un verdetto può includere anche:
- Avvisi, che forniscono informazioni aggiuntive senza modificare la decisione.
-
Richiesta di approvazione, che accompagna una
denydecisione e include i dettagli per il processo di revisione dell'host. L'azione rimane bloccata fino a quando il flusso di lavoro di approvazione configurato per l'host non la approva.
Risultato della valutazione
Unified Moderate 2026-09-01-preview e restituisce verdict: "allowed" o "blocked" e i dettagli delle decisioni in acsVerdict. I risultati consentiti includono il valore originale o trasformato content.
L'host fornisce ID di correlazione e registra il nome del criterio configurato e il risultato effettivo, ad esempio il rimborso erogato o bloccato.
Usare i controlli agente con l'applicazione
I controlli dell'agente forniscono due interfacce API complementari:
Piano di controllo: Gestione dei criteri
Usare il piano di controllo Azure Resource Manager (ARM) per pubblicare, aggiornare e gestire le risorse dei criteri ACS e i moduli Rego riutilizzabili.
Piano dati: valutare i criteri
Usare l'API del piano dati Unified Moderate per valutare le azioni e il contenuto rispetto ai criteri gestiti centralmente.
Per il flusso di valutazione dei criteri autonomo, l'applicazione inserisce il nome del criterio pubblicato nel corpo JSON source, insieme a content, policyId e al contesto di esecuzione facoltativo.
Il servizio restituisce il risultato dell'imposizione e i dettagli della decisione per l'applicazione chiamante da elaborare.
Il flusso di associazione di risorse separato usa il corpo targetResourceId anziché policyId. Questi esempi usano la selezione di criteri denominati; non inviare entrambi i selettori.
Per le richieste richiamabili, vedere la guida introduttiva. Per un altro esempio di criteri, vedere il modello di criteri degli strumenti approvati.
Comprendere il confine di applicazione
I controlli dell'agente non eseguono l'agente, eseguono gli strumenti, mettono in sandbox il relativo processo o controllano un percorso che aggira il codice di intercettazione. Non deduce le autorizzazioni di un utente da un prompt né rende attendibile un'attestazione di identità generata dal modello.
Mantieni i dati di autorizzazione e i dati aziendali autorevoli in sistemi applicativi affidabili. Usare i criteri per decidere cosa può essere consentito in base a contesti costruiti correttamente e verificare l'applicazione effettiva nell'host.
Billing
Durante l'anteprima pubblica, si paga solo per l'utilizzo del classificatore e di LLM attivato dalla valutazione dei criteri dei controlli dell'agente.
L'utilizzo del classificatore content Safety viene fatturato in base ai prezzi di Content Safety. Se il criterio/policy richiama un giudice LLM, sei anche responsabile degli addebiti associati all'utilizzo del modello.