Microsoft 365 앱의 Copilot 환경에서 선언적 에이전트를 사용하는 경우 열려 있는 문서와 상호 작용할 수 있습니다. 기본적으로 에이전트는 열려 있는 전체 문서를 읽을 수 있습니다. 사용자는 열려 있는 문서의 선택한 섹션만 상담원에게 제공할 수 있으며 상담원은 열려 있는 문서에 이미지를 삽입할 수 있습니다.
이 문서에서는 Word 또는 PowerPoint의 전체 플러그인 패키지에 대한 지원이 아닌 선언적 에이전트의 문서 상호 작용에 대해 설명합니다. 더 광범위한 플러그 인 모델은 Microsoft 365 Copilot용 플러그 인을 참조하세요.
참고
문서 선택 항목 액세스는 Word에서만 지원됩니다. 열려 있는 전체 문서에 액세스하고 이미지를 삽입하는 기능이 Word 및 PowerPoint에서 지원됩니다.
열려 있는 전체 문서에 액세스
사용자가 프롬프트에서 열려 있는 문서를 참조하면 문서의 내용이 자동으로 프롬프트에 추가되므로 에이전트가 추가 사용자 작업 없이 문서에 액세스할 수 있습니다. 예를 들어 사용자는 에이전트에게 "이 문서를 요약해 줘" 또는 "이 파일에서 작업 항목을 찾아줘"라는 메시지를 표시할 수 있습니다.
문서 형식
에이전트에 제공되는 정보의 형식은 파일 형식에 따라 다릅니다.
Word 문서의 경우 에이전트에 제공되는 컨텍스트는 제목, 본문 단락 및 목록 요소를 포함하여 완전히 일반 텍스트 콘텐츠로 구성됩니다. 문서의 논리적 흐름은 순차 청크를 통해 보존되므로 에이전트가 텍스트 패턴을 기반으로 문서 구조를 유추할 수 있습니다. 표, 차트, 이미지, 페이지 서식 및 스타일과 같은 텍스트가 아닌 요소는 캡처되지 않습니다. 인접한 메타데이터와 함께 이러한 시각적 개체에 대한 언급은 컨텍스트의 일부로 사용할 수 있지만 에이전트는 실제 콘텐츠에 액세스할 수 없습니다.
PowerPoint 프레젠테이션의 경우 에이전트에 제공된 컨텍스트에는 표시되는 모든 슬라이드 제목, 본문 텍스트, 테이블 및 이미지에 대한 평면화된 설명(사용 가능한 경우)이 포함됩니다. 슬라이드 흐름과 논리적 설명은 순차적 인덱싱을 통해 유지됩니다. 이미지, 복잡한 차트, 배경 디자인, 전환, 하이퍼링크 및 자세한 발표자 노트와 같은 텍스트가 아닌 요소는 캡처되지 않습니다. 따라서 에이전트는 텍스트 콘텐츠와 시각적 요소의 개략적인 설명을 추론할 수 있지만 리치 미디어, 상세한 시각적 레이아웃 및 구조화된 그래픽 데이터에 액세스할 수 없습니다.
에이전트에서 열린 문서 사용
선언적 에이전트는 기본적으로 열려 있는 문서에 액세스할 수 있습니다. 이 기능에 대한 지원을 사용하도록 설정하기 위해 에이전트를 변경할 필요가 없습니다.
API 플러그인에서 열린 문서 사용
에이전트가 사용자 지정 작업으로 API 플러그 인 을 포함하는 경우 에이전트는 API 설명 및 에이전트에 제공된 지침에 따라 API에 보낼 열린 문서의 양을 결정합니다. 자세한 내용은 문서 콘텐츠에 대한 API 플러그인 고려 사항을 참조하세요.
Access 문서 선택
문서 선택 기능을 사용하면 열려 있는 문서의 현재 선택된 섹션을 선언적 에이전트에 제공할 수 있습니다. 사용자는 에이전트에게 선택 사항에 대해 요청하거나 에이전트에게 선택 항목에 따라 조치를 취하도록 요청할 수 있습니다.
예를 들어 사용자가 작업 설명 문서를 작업 중이며 문서에 AI 생성 이미지를 추가하여 시각적 매력을 추가하려고 합니다. 사용자는 먼저 이미지에 대한 컨텍스트로 문서의 한 섹션을 선택합니다. 문서의 섹션을 선택하면 Copilot 채팅 창에서 선택 추가 단추를 사용할 수 있습니다.
사용자가 선택 항목 추가 를 선택한 다음 에이전트에게 선택 항목에 따라 이미지를 생성 하도록 요청합니다.
에이전트는 이미지를 생성하고 사용자에게 응답합니다.
에이전트에서 문서 선택 사용
선언적 에이전트는 기본적으로 문서 선택에 액세스할 수 있습니다. 이 기능에 대한 지원을 사용하도록 설정하기 위해 에이전트를 변경할 필요가 없습니다.
API 플러그인에서 문서 선택 사용
에이전트가 사용자 지정 작업으로 API 플러그 인 을 포함하는 경우 에이전트는 API에 문서 선택 항목을 제공할 수 있습니다. 에이전트는 API 사양에 따라 선택한 문서를 번역합니다.
문서 내용에 대한 API 플러그인 고려 사항
전체 문서 또는 사용자 선택에 대해 에이전트는 데이터를 API 플러그인에 가장 잘 전달하는 방법을 결정합니다. 문서 또는 사용자 선택이 API에 맞게 적절하게 번역되었는지 확인해야 합니다.
- 에이전트에 특별한 지침을 추가하지 않고 에이전트를 테스트하는 것부터 시작합니다. 대부분의 경우 에이전트는 추가 구성 없이 문서 내용이나 사용자 선택을 API에 맞게 적절하게 번역해야 합니다.
- 에이전트가 API에 적합하게 번역되지 않는 경우 플러그 인 매니페스트의
reasoning상태 개체 에 지침을 추가하여 에이전트에게 선택할 양식을 지시합니다. - 다양한 선택 항목을 테스트하여 에이전트가 다양한 유형과 길이의 콘텐츠를 적절하게 처리하는지 확인합니다.
다음은 에이전트가 문서 내용 또는 사용자 선택을 번역하는 방법에 영향을 주는 몇 가지 지침의 예입니다. 원하는 결과를 얻는 데 필요한 실제 지침은 에이전트 및 API에 따라 다릅니다.
축자 통과 예제
You **MUST** pass the exact user's current selection without any modifications as part of the `text` param.
요약/변환 예제
You **MUST** pass the short, summarized version of the user's current selection as `prompt`
instead of the entire selected document context.
구조적 추출의 예
You **MUST** pass the structured version of the user's current selection as part of the `data` param.
You should get the required context from the user's current selection based on the user's query and
**MUST** structure the context in JSON format.
이미지 삽입
이미지 삽입 기능을 사용하면 에이전트의 이미지를 열려 있는 문서로 삽입할 수 있습니다. 이미지는 현재 커서 위치, 문서 상단 또는 문서 하단에 삽입할 수 있습니다.
예를 들어 외부 이미지 저장소에서 이미지를 검색하는 에이전트는 사용자에게 이미지를 삽입하는 버튼을 표시할 수 있습니다.
에이전트에서 이미지 삽입
선언적 에이전트에서 이미지 삽입을 사용하도록 설정하려면 적응형 카드 응답 템플릿을 사용하는 API 플러그 인이 필요합니다. 적응형 카드 서식 파일은 사용자가 이미지를 삽입하기 위해 선택하는 동작을 포함 Action.InsertImage 합니다.
{
"type": "ActionSet",
"actions": [
{
"type": "Action.InsertImage",
"title": "Insert",
"altText": "An image of people on the beach",
"url": "https://contoso.com/images/beach.jpeg",
// fallback MUST be set to "drop"
"fallback": "drop",
// Other valid values: "Top", "Bottom"
"insertPosition": "Selection"
}
]
}
참고
지원되는 이미지 유형은 .bmp, .gif, .jpeg, .jpg 및 .png입니다.