Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
При использовании декларативных агентов в интерфейсе Copilot в приложениях Microsoft 365 они могут взаимодействовать с открытым документом. По умолчанию агенты могут читать весь открытый документ. Пользователи могут предоставить агенту только выбранный раздел открытого документа, а агенты могут вставлять изображения в открытый документ.
В этой статье рассматривается взаимодействие с документами декларативными агентами, а не поддержка полного пакета подключаемого модуля в Word или PowerPoint. Более широкую модель подключаемых модулей см. в статье "Подключаемые модули для Microsoft 365 Copilot".
Примечание
Доступ к выбору документа поддерживается только в Word. В Word и PowerPoint поддерживается доступ ко всему открытому документу и вставка изображений.
Доступ ко всему открытому документу
Когда пользователь ссылается в запросе на открытый документ, содержимое документа автоматически добавляется в запрос, что позволяет агенту получить к нему доступ без дальнейших действий со стороны пользователя. Например, пользователь может предложить агенту "Резюмировать этот документ" или "Найти какие-нибудь поручения в этом файле".
Формат документа
Формат информации, предоставляемой агенту, зависит от типа файла.
Для документов Word контекст, предоставляемый агенту, полностью состоит из обычного текста, включая заголовки, абзацы основного текста и элементы списка. Логическая последовательность документа сохраняется за счет последовательного фрагментирования, что позволяет агенту делать выводы о структуре документа на основе текстовых шаблонов. Нетекстовые элементы, такие как таблицы, диаграммы, изображения, форматирование страниц и стили, не записываются. Упоминания таких визуальных объектов вместе с прилегающими метаданными доступны как часть контекста, но агент не имеет доступа к их фактическому содержанию.
Для презентаций PowerPoint контекст, предоставляемый агенту, включает все видимые заголовки слайдов, основной текст и сглаженные описания таблиц и изображений, если они доступны. Поток слайдов и логическое повествование поддерживаются с помощью последовательного индексирования. Нетекстовые элементы, например изображения, сложные диаграммы, фоновый дизайн, переходы, гиперссылки и подробные заметки докладчика, не записываются. В результате, хотя агент может рассуждать о текстовом содержании и высокоуровневых описаниях визуальных элементов, у него нет доступа к мультимедийным материалам, подробным визуальным макетам и структурированным графическим данным.
Использование открытого документа в агенте
Декларативные агенты по умолчанию имеют доступ к открытому документу. Для включения поддержки этой функции агенту не требуется вносить никаких изменений.
Использование открытого документа в плагинах API
Если агент включает плагины API в качестве пользовательских действий, агент решает, какую часть открытого документа отправить в API, на основе описания API и инструкций, переданных агенту. Дополнительные сведения см. в статье Рекомендации по использованию подключаемого модуля API для содержимого документа.
Доступ к выбору документа
Функция выбора документа позволяет пользователям предоставить текущий выбранный раздел открытого документа декларативному агенту. Пользователь может спросить агента о выделенном фрагменте или попросить агента выполнить на его основе действие.
Например, пользователь работает над документом с должностными инструкциями и хочет добавить в документ изображение, созданное искусственным интеллектом, чтобы сделать его привлекательнее. Пользователь сначала выбирает раздел документа в качестве контекста для изображения. При выборе раздела документа на панели чата Copilot нажимается кнопка "Добавить выделение ".
Пользователь выбирает "Добавить выделение " и просит агента создать изображение на основе выделенного фрагмента.
Агент создает изображения и отвечает пользователю.
Использование выбора документов в агенте
Декларативные агенты по умолчанию имеют доступ к выбору документов. Для включения поддержки этой функции агенту не требуется вносить никаких изменений.
Использование выбора документа в плагинах API
Если агент включает плагины API в качестве пользовательских действий, агент может предоставить API выбор документа. Агент переводит выбранный документ на основе спецификации API.
Рекомендации по использованию подключаемого модуля API для содержимого документа
Для всего документа или выбора пользователя агент решает, как лучше всего передать данные в подключаемый модуль API. Убедитесь, что выбранный документ или пользователь переведены надлежащим образом для вашего API.
- Начните с тестирования агента, не добавляя никаких специальных инструкций для агента. В большинстве случаев агент должен перевести содержимое документа или выбор пользователя соответствующим образом для вашего API без какой-либо дополнительной настройки.
- Если ваш агент не преобразует надлежащим образом для вашего API, добавьте инструкции в объект состояния манифеста
reasoningплагина, чтобы указать агенту, какую форму выбрать. - Протестируйте различные выборки, чтобы убедиться, что ваш агент правильно обрабатывает различные типы и длины контента.
Ниже приведено несколько примеров инструкций, позволяющих повлиять на то, как агент переводит содержимое документа или выбирает пользователя. Фактические инструкции, необходимые для получения желаемого результата, зависят от вашего агента и вашего API.
Пример дословного сквозного подключения
You **MUST** pass the exact user's current selection without any modifications as part of the `text` param.
Пример сводки/преобразования
You **MUST** pass the short, summarized version of the user's current selection as `prompt`
instead of the entire selected document context.
Пример структурированного извлечения
You **MUST** pass the structured version of the user's current selection as part of the `data` param.
You should get the required context from the user's current selection based on the user's query and
**MUST** structure the context in JSON format.
Вставка изображений
Функция вставки изображений позволяет пользователям вставлять изображения из агента в открытый документ. Изображение можно вставить в текущую позицию курсора, в верхнюю или нижнюю часть документа.
Например, агент, извлекающий изображения из внешнего хранилища изображений, может показывать пользователю кнопку для вставки изображения.
Вставка изображений от агента
Для включения вставки изображений в декларативном агенте требуется подключаемый модуль API, использующий шаблоны ответов адаптивной карточки. Шаблон адаптивной карточки содержит Action.InsertImage действие, выбираемое пользователем для вставки изображения.
{
"type": "ActionSet",
"actions": [
{
"type": "Action.InsertImage",
"title": "Insert",
"altText": "An image of people on the beach",
"url": "https://contoso.com/images/beach.jpeg",
// fallback MUST be set to "drop"
"fallback": "drop",
// Other valid values: "Top", "Bottom"
"insertPosition": "Selection"
}
]
}
Примечание
Поддерживаемые типы изображений: .bmp, .gif, .jpeg, .jpg и .png.