Interagire con i documenti nelle app di Microsoft 365 con un agente dichiarativo

Quando gli agenti dichiarativi vengono usati nell'esperienza Copilot nelle app di Microsoft 365, sono in grado di interagire con il documento aperto. Per impostazione predefinita, gli agenti possono leggere l'intero documento aperto. Gli utenti possono fornire all'agente solo una sezione selezionata del documento aperto e gli agenti possono inserire immagini nel documento aperto.

Questo articolo illustra l'interazione con i documenti da parte degli agenti dichiarativi, non il supporto per il pacchetto completo di plug-in in Word o PowerPoint. Per il modello di plug-in più ampio, vedere Plug-in per Microsoft 365 Copilot.

Nota

L'accesso alla selezione dei documenti è supportato solo in Word. L'accesso all'intero documento aperto e l'inserimento di immagini sono supportati in Word e PowerPoint.

Accedi all'intero documento aperto

Quando l'utente fa riferimento al documento aperto nel prompt, il contenuto del documento viene aggiunto automaticamente al prompt, consentendo all'agente di accedervi senza ulteriori azioni da parte dell'utente. Ad esempio, l'utente potrebbe richiedere all'agente "Riepiloga questo documento" o "Trova eventuali attività nel file".

Formato del documento

Il formato delle informazioni fornite all'agente varia a seconda del tipo di file.

Per i documenti di Word, il contesto fornito all'agente è costituito interamente da contenuto di testo normale, inclusi intestazioni, paragrafi del corpo ed elementi di elenco. Il flusso logico del documento viene preservato attraverso la suddivisione in blocchi sequenziali, consentendo all'agente di dedurre la struttura del documento in base a modelli testuali. Gli elementi non testuali come tabelle, grafici, immagini, formattazione e stile delle pagine non vengono acquisiti. Le menzioni di tali oggetti visivi insieme ai metadati adiacenti sono disponibili come parte del contesto, ma l'agente non ha accesso al loro contenuto effettivo.

Per le presentazioni di PowerPoint, il contesto fornito all'agente include tutti i titoli delle diapositive visibili, il corpo del testo e le descrizioni appiattite di tabelle e immagini, se disponibili. Il flusso delle diapositive e la narrazione logica vengono mantenuti tramite l'indicizzazione sequenziale. Gli elementi non testuali, ad esempio immagini, grafici complessi, disegni di sfondo, transizioni, collegamenti ipertestuali e note dettagliate del relatore, non vengono acquisiti. Di conseguenza, mentre l'agente può ragionare sul contenuto testuale e sulle descrizioni di alto livello degli elementi visivi, non ha accesso a contenuti multimediali, layout visivi dettagliati e dati grafici strutturati.

Uso del documento aperto nell'agente

Gli agenti dichiarativi hanno accesso al documento aperto per impostazione predefinita. Per abilitare il supporto per questa funzionalità, non è necessaria alcuna modifica all'agente.

Uso del documento aperto nei plug-in API

Se l'agente include plug-in API come azioni personalizzate, l'agente decide la quantità di documento aperto da inviare all'API in base alla descrizione dell'API e alle istruzioni fornite all'agente. Per ulteriori informazioni, consulta Considerazioni sui plug-in API per i contenuti del documento.

Selezione di documenti di Access

La funzionalità di selezione dei documenti consente agli utenti di fornire all'agente dichiarativo la sezione attualmente selezionata del documento aperto. L'utente può chiedere all'agente informazioni sulla selezione o chiedere all'agente di intervenire in base a tale selezione.

Ad esempio, un utente sta lavorando a un documento di descrizione del lavoro e vuole aggiungere un'immagine generata dall'intelligenza artificiale al documento per aggiungere un tocco visivo. L'utente inizia selezionando una sezione del documento come contesto per l'immagine. La selezione di una sezione del documento abilita il pulsante Aggiungi selezione nel riquadro della chat di Copilot.

Screenshot di Copilot in Word che mostra l'opzione Aggiungi selezione

L'utente seleziona Aggiungi selezione , quindi chiede all'agente di generare un'immagine in base alla selezione.

Uno screenshot di Copilot in Word che mostra la richiesta dell'utente, inclusa la selezione del documento

L'agente genera immagini e risponde all'utente.

Screenshot di Copilot in Word che mostra le immagini generate

Uso della selezione dei documenti nell'agente

Gli agenti dichiarativi hanno accesso alla selezione dei documenti per impostazione predefinita. Per abilitare il supporto per questa funzionalità, non è necessaria alcuna modifica all'agente.

Utilizzo della selezione dei documenti nei plug-in API

Se l'agente include plug-in API come azioni personalizzate, l'agente può fornire la selezione del documento all'API. L'agente traduce la selezione del documento in base alla specifica dell'API.

Considerazioni sul plug-in API per i contenuti del documento

Per l'intero documento o la selezione dell'utente, l'agente decide come passare al meglio i dati a un plug-in API. È necessario assicurarsi che il documento o la selezione dell'utente sia tradotto in modo appropriato per l'API.

  1. Inizia testando il tuo agente senza aggiungere istruzioni speciali al tuo agente. Nella maggior parte dei casi, l'agente deve tradurre i contenuti del documento o la selezione dell'utente in modo appropriato per l'API senza alcuna configurazione aggiuntiva.
  2. Se l'agente non traduce in modo appropriato per l'API, aggiungi istruzioni nell'oggetto stato del manifesto del reasoning plug-in per indicare all'agente quale forma scegliere.
  3. Testa varie selezioni per verificare che il tuo agente gestisca in modo appropriato diversi tipi e lunghezze di contenuti.

Ecco alcuni esempi di istruzioni per influenzare il modo in cui l'agente traduce i contenuti del documento o la selezione dell'utente. Le istruzioni effettive necessarie per ottenere il risultato desiderato dipendono dal tuo agente e dalla tua API.

Esempio di pass-through letterale
You **MUST** pass the exact user's current selection without any modifications as part of the `text` param.
Esempio di riepilogo/trasformazione
You **MUST** pass the short, summarized version of the user's current selection as `prompt`
instead of the entire selected document context.
Esempio di estrazione strutturata
You **MUST** pass the structured version of the user's current selection as part of the `data` param.
You should get the required context from the user's current selection based on the user's query and
**MUST** structure the context in JSON format.

Inserimento di immagini

La funzione di inserimento delle immagini consente agli utenti di inserire le immagini dell'agente nel documento aperto. L'immagine può essere inserita nella posizione corrente del cursore, nella parte superiore o nella parte inferiore del documento.

Ad esempio, un agente che recupera immagini da un archivio immagini esterno può mostrare all'utente un pulsante per inserire l'immagine.

Screenshot di Copilot in Word che mostra un agente con la funzionalità di inserimento immagine

Inserimento di immagini dal tuo agente

L'abilitazione dell'inserimento di immagini in un agente dichiarativo richiede un plug-in API che utilizza modelli di risposta Adaptive Card. Il modello Scheda adattiva include un'azione Action.InsertImage selezionata dall'utente per inserire l'immagine.

{
  "type": "ActionSet",
  "actions": [
    {
      "type": "Action.InsertImage",
      "title": "Insert",
      "altText": "An image of people on the beach",
      "url": "https://contoso.com/images/beach.jpeg",
      // fallback MUST be set to "drop"
      "fallback": "drop",
      // Other valid values: "Top", "Bottom"
      "insertPosition": "Selection"
    }
  ]
}

Nota

I tipi di immagine supportati sono .bmp, .gif, .jpeg, .jpg e .png.