Sfruttare lo stack Copilot per accelerare la compilazione di intelligenza artificiale

Completato

Che cos'è un agente personalizzato

Gli agenti del motore personalizzati sono agenti Copilot programmabili che offrono agli sviluppatori il controllo completo sull'orchestrazione, sui modelli di intelligenza artificiale e sulle integrazioni dei dati progettati per sfruttare le potenti funzionalità dei modelli di linguaggio di grandi dimensioni (LLM) per un'interazione utente senza problemi. Questi agenti avanzati segnano un significativo allontanamento dai bot tradizionali, offrendo una vasta gamma di funzionalità che elevano l'esperienza utente complessiva. Gli agenti del motore personalizzati usano la tecnologia LLM al loro centro che consente loro di comprendere e rispondere facilmente alle query degli utenti, creando interazioni dinamiche e immersive. Gli agenti del motore personalizzati offrono anche funzionalità avanzate come la manipolazione dell'interfaccia utente, l'esecuzione delle attività e la creazione di contenuti, rendendoli strumenti indispensabili per semplificare i flussi di lavoro e aumentare la produttività.  Per gli sviluppatori, gli agenti del motore personalizzati offrono flessibilità nella selezione e nell'orchestrazione dei modelli, consentendo di sfruttare le competenze di sviluppo dei bot di Teams esistenti garantendo al contempo l'accessibilità per tutti gli utenti di Microsoft 365. Questi agenti sono altamente adattabili per l'uso nel servizio clienti, nel supporto e nella distribuzione di informazioni, con la possibilità di sfruttare i dati contestuali per migliorare l'esperienza utente. Si integrano perfettamente all'interno di Teams, impegnandosi in conversazioni naturali con gli utenti in chat, canali e riunioni, consentendo loro di incontrare gli utenti direttamente nel flusso del loro lavoro. 

Informazioni sullo stack Copilot

Lo stack Copilot di Microsoft è l'architettura end-to-end alla base delle esperienze Copilot, dall'infrastruttura cloud ai modelli di intelligenza artificiale fino alla logica di orchestrazione, ai livelli di estendibilità e ai sistemi di sicurezza. Quando si crea un agente di intelligenza artificiale personalizzato con il SDK per agenti Microsoft 365, è possibile sfruttare ogni livello di questo stack, spesso adattando o scambiando componenti, per creare un agente adatto allo scenario aziendale. Di seguito vengono illustrati i componenti principali dello stack Copilot e viene illustrato il modo in cui sono correlati allo sviluppo di agenti personalizzati, inclusi gli strumenti e i percorsi di sviluppo (Azure OpenAI, Teams AI Library, Copilot Studio e così via) che è possibile usare a ogni livello.

percorso Pro-Code: Azure OpenAI e Teams AI Library

Per gli sviluppatori che creano un copilot incentrato su Teams, questo percorso usa il servizio Azure OpenAI per ospitare LLM e Teams AI Library per l'orchestrazione all'interno di un'app Teams. Si scrive codice (ad esempio con Microsoft 365 Agents Toolkit in VS Code) per chiamare il modello scelto e gestire le finalità. Teams AI Library offre lo scaffolding conversazionale, un pianificatore delle finalità, la memoria e l'integrazione della piattaforma Teams, in modo che il bot possa interpretare le richieste degli utenti ed eseguire azioni. Questo approccio offre flessibilità per integrare le funzionalità di Teams (estensioni dei messaggi, schede adattive e così via) e offre un controllo granulare della logica sfruttando al tempo stesso le funzionalità dello stack Copilot. Componenti chiave dello stack Copilot Per creare un copilot personalizzato, è importante comprendere ogni livello dello stack Copilot e il relativo ruolo. Lo stack può essere visualizzato in tre livelli:

1. l'infrastruttura e i modelli di intelligenza artificiale back-end,
2. il livello di orchestrazione dell'intelligenza artificiale che gestisce il ragionamento e l'uso degli strumenti
3. l'esperienza utente front-end in cui l'agente interagisce con gli utenti.

Gli agenti personalizzati possono usare le implementazioni di Microsoft per questi livelli o introdurre quelle personalizzate tramite l'SDK. Di seguito nella sezione successiva sono riportati i livelli principali rilevanti per gli agenti personalizzati:

Infrastruttura di intelligenza artificiale e modelli di base (back-end)

Alla base dello stack sono presenti i modelli di linguaggio di grandi dimensioni e l'infrastruttura cloud che li ospita e i dati. Microsoft 365 Copilot usa modelli della famiglia GPT ospitati (ad esempio GPT-4) in esecuzione nell'infrastruttura di supercomputing di intelligenza artificiale di Azure. Ciò garantisce affidabilità, sicurezza e conformità di livello aziendale (i dati vengono crittografati in transito e inattivi e non usati per eseguire il training dei modelli Microsoft). Significa anche che i sistemi di sicurezza e filtro dei contenuti vengono integrati a livello di modello: il servizio Azure OpenAI controlla automaticamente le richieste e i completamenti in base a un modello di sicurezza dei contenuti di intelligenza artificiale, bloccando o modificando gli output che contengono contenuto non consentito. Per un agente personalizzato, questo livello prevede la scelta e la distribuzione del modello. L'uso del servizio Azure OpenAI è un approccio comune: è possibile avviare una distribuzione di GPT-4 o GPT-3.5 (ad esempio gpt-35-turbo-16k) in Azure, che offre un endpoint privato e una chiave API per chiamare tale modello. Con Azure OpenAI è anche possibile abilitare la funzionalità "Azure OpenAI on Your Data" ( Essenzialmente RAG (Retrieval Augmented Generation) - per collegare un indice di ricerca cognitiva o un database vettoriale dei documenti in modo che il modello possa basare le risposte in tali dati. In alternativa, il SDK per agenti Microsoft 365 consente di portare altri host di modelli: ad esempio, è possibile collegare i modelli Fonderia Azure AI o anche le llM open source, se necessario, offrendo la massima flessibilità nel livello del modello di base. In tutti i casi, la qualità e l'ambito dell'agente personalizzato dipendono da questo livello. È possibile scegliere un modello con una lunghezza del contesto maggiore per i documenti lunghi o un modello specifico del dominio per le conoscenze specializzate. Anche l'infrastruttura Copilot di Microsoft 365 e Azure contribuiscono ai servizi essenziali, ad esempio l'autenticazione sicura (tramite Entra ID/AAD), la registrazione della conformità e il ridimensionamento con hardware GPU potente.

Livello di orchestrazione e ragionamento

Oltre al modello non elaborato, il livello di orchestrazione di Copilot è ciò che trasforma un LLM in un agente interattivo in grado di eseguire attività in più passaggi e usare gli strumenti. Microsoft 365 Copilot dispone di un agente di orchestrazione che gestisce il dialogo: alimenta le richieste del sistema del modello con il contesto utente, decide quando chiamare plug-in esterni e scorre i passaggi di pianificazione fino a quando non produce una risposta finale. Negli agenti personalizzati è possibile basarsi sull'orchestrazione di Microsoft o implementare il proprio. La libreria di intelligenza artificiale di Teams, ad esempio, fornisce un motore di orchestrazione per i bot: ha una pianificazione predefinita che usa il modello per interpretare l'input dell'utente e eseguirne il mapping a un gestore di azioni o a una funzione nel codice. Mantiene anche lo stato e il contesto della conversazione in tutti i turni e semplifica la progettazione delle richieste consentendo di definire istruzioni di sistema e dialoghi di esempio per il bot. In sostanza, si tratta di un controller pronto che esegue il wrapping dell'LLM, consentendo interazioni complesse. Con il SDK per agenti Microsoft 365 (pro-code) si ha un maggiore controllo: è possibile collegarsi al ciclo di orchestrazione tramite i punti di estendibilità dell'SDK o addirittura sostituirlo interamente con un'orchestrazione personalizzata. Ad esempio, gli scenari avanzati possono usare il kernel semantico o un pianificatore su misura per orchestrare un sistema multi-agente, in cui un agente può chiamare un altro. I grafici dell'architettura microsoft illustrano che il "cervello" di un agente può essere suddiviso in componenti come Knowledge, Skills, Planning/Autonomy e l'Agente di orchestrazione che li collega. Quando si sviluppa un copilota personalizzato, si decide quanto di quel cervello si costruisce da soli. Molti sviluppatori iniziano con il pianificatore fornito (ad esempio, teams AI Library) per ottenere la gestione delle finalità e la funzione chiamando fuori dagli schemi, quindi estenderlo in base alle esigenze. Fondamentalmente, il livello di orchestrazione è anche il punto in cui sono presenti le richieste di sistema di Copilot e gli esempi a colpo ridotto. Questi elementi garantiscono che il modello segua le istruzioni (ad esempio "si è un assistente che può eseguire X e Y") e formatta correttamente le risposte. La piattaforma Microsoft 365 Copilot fornisce richieste di sistema predefinite (inclusi i criteri di contenuto) e l'SDK consente di aumentare o modificare queste istruzioni per definire il comportamento dell'agente.

La figura seguente è un'illustrazione dello stack Copilot: