Interagir avec des documents dans les applications Microsoft 365 avec un agent déclaratif

Lorsque des agents déclaratifs sont utilisés dans l’expérience Copilot dans les applications Microsoft 365, ils sont en mesure d’interagir avec le document ouvert. Par défaut, les agents peuvent lire l’intégralité du document ouvert. Les utilisateurs peuvent fournir uniquement une section sélectionnée du document ouvert à l’agent, et les agents peuvent insérer des images dans le document ouvert.

Remarque

L’accès à la sélection de document n’est pris en charge que dans Word. L’accès à l’intégralité du document ouvert et l’insertion d’images sont pris en charge dans Word et PowerPoint.

Accéder à l’intégralité du document ouvert

Lorsque l’utilisateur fait référence au document ouvert dans son invite, le contenu du document est automatiquement ajouté à l’invite, ce qui permet à l’agent d’y accéder sans autre action de l’utilisateur. Par exemple, l’utilisateur peut inviter l’agent à indiquer « Résumer ce document » ou « Rechercher des éléments d’action dans ce fichier ».

Format du document

Le format des informations fournies à l’agent varie en fonction du type de fichier.

Pour Word documents, le contexte fourni à l’agent se compose entièrement de contenu de texte brut, y compris des titres, des paragraphes de corps et des éléments de liste. Le flux logique du document est conservé par segmentation séquentielle, ce qui permet à l’agent de déduire la structure du document en fonction de modèles textuels. Les éléments non textuels tels que les tableaux, les graphiques, les images, la mise en forme de page et le style ne sont pas capturés. Les mentions de ces objets visuels ainsi que les métadonnées adjacentes sont disponibles dans le cadre du contexte, mais l’agent n’a pas accès à leur contenu réel.

Pour les présentations PowerPoint, le contexte fourni à l’agent inclut tous les titres des diapositives visibles, le corps de texte et les descriptions aplatissements des tableaux et des images, le cas échéant. Le flux de diapositives et la narration logique sont conservés via l’indexation séquentielle. Les éléments non textuels tels que les images, les graphiques complexes, les conceptions d’arrière-plan, les transitions, les liens hypertexte et les notes détaillées de l’orateur ne sont pas capturés. Par conséquent, bien que l’agent puisse raisonner sur le contenu textuel et les descriptions générales des éléments visuels, il n’a pas accès aux médias enrichis, aux dispositions visuelles détaillées et aux données graphiques structurées.

Utilisation du document ouvert dans votre agent

Les agents déclaratifs ont accès au document ouvert par défaut. Aucune modification n’est nécessaire à votre agent pour activer la prise en charge de cette fonctionnalité.

Utilisation du document ouvert dans les plug-ins d’API

Si votre agent inclut des plug-ins d’API comme actions personnalisées, l’agent détermine la quantité du document ouvert à envoyer à l’API en fonction de la description de votre API et des instructions fournies à l’agent. Pour plus d’informations, consultez Considérations relatives aux plug-ins d’API pour le contenu du document.

Accéder à la sélection de document

La fonctionnalité de sélection de document permet aux utilisateurs de fournir la section sélectionnée actuelle du document ouvert à l’agent déclaratif. L’utilisateur peut interroger l’agent sur la sélection ou demander à l’agent de prendre des mesures en fonction de celle-ci.

Par exemple, un utilisateur travaille sur un document de description de travail et souhaite ajouter une image générée par l’IA au document pour ajouter un attrait visuel. L’utilisateur commence par sélectionner une section du document comme contexte pour l’image. La sélection d’une section du document active le bouton Ajouter une sélection dans le volet de conversation Copilot.

L’utilisateur sélectionne Ajouter une sélection , puis demande à l’agent de générer une image en fonction de la sélection.

L’agent génère des images et répond à l’utilisateur.

Utilisation de la sélection de documents dans votre agent

Les agents déclaratifs ont accès à la sélection de documents par défaut. Aucune modification n’est nécessaire à votre agent pour activer la prise en charge de cette fonctionnalité.

Utilisation de la sélection de documents dans les plug-ins d’API

Si votre agent inclut des plug-ins d’API comme actions personnalisées, l’agent peut fournir la sélection du document à l’API. L’agent traduit la sélection de document en fonction de la spécification de votre API.

Considérations relatives au plug-in d’API pour le contenu du document

Pour l’ensemble du document ou de la sélection de l’utilisateur, l’agent décide de la meilleure façon de transmettre les données à un plug-in d’API. Vous devez vous assurer que la sélection de document ou d’utilisateur est traduite de manière appropriée pour votre API.

Commencez par tester votre agent sans ajouter d’instructions spéciales à votre agent. Dans la plupart des cas, l’agent doit traduire le contenu du document ou la sélection de l’utilisateur de manière appropriée pour votre API sans aucune configuration supplémentaire.
Si votre agent ne traduit pas correctement pour votre API, ajoutez des instructions dans l’objet d’état du manifeste du reasoning plug-in pour indiquer à l’agent le formulaire à choisir.
Testez différentes sélections pour vérifier que votre agent gère les différents types et longueurs de contenu de manière appropriée.

Voici quelques exemples d’instructions pour influencer la façon dont l’agent traduit le contenu du document ou la sélection de l’utilisateur. Les instructions réelles nécessaires pour obtenir le résultat souhaité dépendent de votre agent et de votre API.

Exemple de pass-through verbatim

You **MUST** pass the exact user's current selection without any modifications as part of the `text` param.

Résumé/exemple de transformation

You **MUST** pass the short, summarized version of the user's current selection as `prompt`
instead of the entire selected document context.

Exemple d’extraction structurée

You **MUST** pass the structured version of the user's current selection as part of the `data` param.
You should get the required context from the user's current selection based on the user's query and
**MUST** structure the context in JSON format.

insertion d’images ;

La fonctionnalité d’insertion d’image permet aux utilisateurs d’insérer des images de l’agent dans le document ouvert. L’image peut être insérée à la position actuelle du curseur, en haut du document ou en bas du document.

Par exemple, un agent qui récupère des images à partir d’un référentiel d’images externe peut montrer à l’utilisateur un bouton pour insérer l’image.

Insertion d’images à partir de votre agent

L’activation de l’insertion d’image dans un agent déclaratif nécessite un plug-in d’API qui utilise des modèles de réponse de carte adaptative. Le modèle de carte adaptative inclut une Action.InsertImage action que l’utilisateur sélectionne pour insérer l’image.

{
  "type": "ActionSet",
  "actions": [
    {
      "type": "Action.InsertImage",
      "title": "Insert",
      "altText": "An image of people on the beach",
      "url": "https://contoso.com/images/beach.jpeg",
      // fallback MUST be set to "drop"
      "fallback": "drop",
      // Other valid values: "Top", "Bottom"
      "insertPosition": "Selection"
    }
  ]
}