Interactuar con documentos en aplicaciones de Microsoft 365 con un agente declarativo

Cuando se usan agentes declarativos en la experiencia de Copilot en aplicaciones de Microsoft 365, pueden interactuar con el documento abierto. De forma predeterminada, los agentes pueden leer todo el documento abierto. Los usuarios pueden proporcionar al agente solo una sección seleccionada del documento abierto, y los agentes pueden insertar imágenes en el documento abierto.

Este artículo trata sobre la interacción de documentos por parte de agentes declarativos, no la compatibilidad con el paquete completo de complementos en Word o PowerPoint. Para obtener el modelo de complemento más amplio, consulte Complementos para Microsoft 365 Copilot.

Nota

El acceso a la selección de documentos solo se admite en Word. El acceso a todo el documento abierto y la inserción de imágenes es compatible con Word y PowerPoint.

Acceder a todo el documento abierto

Cuando el usuario hace referencia al documento abierto en su indicación, el contenido del documento se agrega automáticamente a la indicación, lo que permite al agente acceder a él sin ninguna acción adicional por parte del usuario. Por ejemplo, el usuario podría pedir al agente "Resumir este documento" o "Buscar elementos de acción en este archivo".

Formato del documento

El formato de la información proporcionada al agente varía en función del tipo de archivo.

En el caso de los documentos de Word, el contexto proporcionado al agente consiste completamente en texto sin formato, incluidos títulos, párrafos del cuerpo y elementos de lista. El flujo lógico del documento se conserva a través de la fragmentación secuencial, lo que permite al agente inferir la estructura del documento en función de patrones textuales. No se capturan los elementos no textuales como tablas, gráficos, imágenes, formato de página y estilo. Las menciones de dichos objetos visuales junto con los metadatos adyacentes están disponibles como parte del contexto, pero el agente no tiene acceso a su contenido real.

Para las presentaciones de PowerPoint, el contexto proporcionado al agente incluye todos los títulos de diapositiva visibles, el texto del cuerpo y las descripciones acopladas de tablas e imágenes cuando estén disponibles. El flujo de diapositivas y la narrativa lógica se mantienen a través de la indexación secuencial. No se capturan elementos no textuales como imágenes, gráficos complejos, diseños de fondo, transiciones, hipervínculos y notas detalladas del orador. Como resultado, aunque el agente puede razonar sobre el contenido textual y las descripciones de alto nivel de los elementos visuales, no tiene acceso a medios enriquecidos, diseños visuales detallados y datos gráficos estructurados.

Usar el documento abierto en el agente

Los agentes declarativos tienen acceso al documento abierto de forma predeterminada. No se requieren cambios en el agente para habilitar la compatibilidad con esta característica.

Uso del documento abierto en complementos de API

Si su agente incluye complementos de API como acciones personalizadas, el agente decide qué parte del documento abierto enviar a la API en función de la descripción de la API y las instrucciones dadas al agente. Para obtener más información, consulte Consideraciones del complemento de API para el contenido del documento.

Acceder a la selección de documentos

La función de selección de documentos permite a los usuarios proporcionar la sección seleccionada actual del documento abierto al agente declarativo. El usuario puede preguntar al agente sobre la selección o pedirle que tome medidas en función de ella.

Por ejemplo, un usuario está trabajando en un documento de descripción del puesto y quiere agregar una imagen generada por inteligencia artificial al documento para agregar algo de atractivo visual. Para empezar, el usuario selecciona una sección del documento como contexto de la imagen. Al seleccionar una sección del documento, se habilita el botón Agregar selección en el panel de chat de Copilot.

Captura de pantalla de Copilot en Word que muestra la opción Agregar selección

El usuario selecciona Agregar selección y, a continuación, pide al agente que genere una imagen basada en la selección.

Captura de pantalla de Copilot en Word que muestra el mensaje del usuario, incluida la selección del documento.

El agente genera imágenes y responde al usuario.

Captura de pantalla de Copilot en Word que muestra las imágenes generadas

Usar la selección de documentos en el agente

Los agentes declarativos tienen acceso a la selección de documentos de forma predeterminada. No se requieren cambios en el agente para habilitar la compatibilidad con esta característica.

Uso de la selección de documentos en complementos de API

Si el agente incluye complementos de API como acciones personalizadas, el agente puede proporcionar la selección de documentos a la API. El agente traduce la selección de documentos en función de las especificaciones de la API.

Consideraciones del complemento de API para el contenido de documentos

Para todo el documento o la selección del usuario, el agente decide la mejor manera de pasar los datos a un complemento de la API. Debe asegurarse de que el documento o la selección del usuario se traduzca correctamente para su API.

  1. Comience por probar su agente sin agregar ninguna instrucción especial a su agente. En la mayoría de los casos, el agente debe traducir el contenido del documento o la selección del usuario de forma adecuada para su API sin ninguna configuración adicional.
  2. Si el agente no traduce correctamente para la API, agregue instrucciones en el objeto de estado del manifiesto del reasoning complemento para indicar al agente qué formulario debe elegir.
  3. Prueba varias selecciones para verificar que tu agente maneja diferentes tipos y longitudes de contenido correctamente.

Estos son algunos ejemplos de instrucciones para influir en la forma en que el agente traduce el contenido del documento o la selección del usuario. Las instrucciones reales necesarias para obtener el resultado deseado dependen de su agente y su API.

Ejemplo de transmisión literal
You **MUST** pass the exact user's current selection without any modifications as part of the `text` param.
Ejemplo de resumen/transformación
You **MUST** pass the short, summarized version of the user's current selection as `prompt`
instead of the entire selected document context.
Ejemplo de extracción estructurada
You **MUST** pass the structured version of the user's current selection as part of the `data` param.
You should get the required context from the user's current selection based on the user's query and
**MUST** structure the context in JSON format.

Insertar imágenes

La característica de inserción de imágenes permite a los usuarios insertar imágenes del agente en el documento abierto. La imagen se puede insertar en la posición actual del cursor, en la parte superior del documento o en la parte inferior del mismo.

Por ejemplo, un agente que recupera imágenes de un repositorio de imágenes externo puede mostrar al usuario un botón para insertar la imagen.

Recorte de pantalla de Copilot en Word que muestra un agente con la característica de insertar imagen

Insertar imágenes desde tu agente

La habilitación de la inserción de imágenes en un agente declarativo requiere un complemento de API que use plantillas de respuesta de tarjeta adaptable. La plantilla de tarjeta adaptativa incluye una Action.InsertImage acción que el usuario selecciona para insertar la imagen.

{
  "type": "ActionSet",
  "actions": [
    {
      "type": "Action.InsertImage",
      "title": "Insert",
      "altText": "An image of people on the beach",
      "url": "https://contoso.com/images/beach.jpeg",
      // fallback MUST be set to "drop"
      "fallback": "drop",
      // Other valid values: "Top", "Bottom"
      "insertPosition": "Selection"
    }
  ]
}

Nota

Los tipos de imágenes admitidos son .bmp, .gif, .jpeg, .jpg y .png.