宣言型エージェントを使用して Microsoft 365 アプリのドキュメントを操作する

Microsoft 365 アプリの Copilot エクスペリエンスで宣言型エージェントを使用すると、開いているドキュメントと対話できます。 既定では、エージェントは開いているドキュメント全体を読み取ることができます。 ユーザーは、開いているドキュメントの選択したセクションだけをエージェントに提供でき、エージェントは開いているドキュメントにイメージを挿入できます。

注:

ドキュメント選択へのアクセスは、Wordでのみサポートされます。 開いているドキュメント全体へのアクセスイメージの挿入は、WordとPowerPointでサポートされています。

開いているドキュメント全体にアクセスする

ユーザーがプロンプトで開いているドキュメントを参照すると、ドキュメントの内容が自動的にプロンプトに追加され、エージェントはそれ以上のユーザー アクションなしでアクセスできるようになります。 たとえば、ユーザーは、"このドキュメントを要約する" または "このファイル内のアクション項目を検索する" をエージェントに求めるメッセージを表示できます。

ドキュメント形式

エージェントに提供される情報の形式は、ファイルの種類によって異なります。

Wordドキュメントの場合、エージェントに提供されるコンテキストは、見出し、本文の段落、リスト要素を含むプレーン テキスト コンテンツで完全に構成されます。 ドキュメントの論理フローはシーケンシャル チャンクによって保持され、エージェントはテキスト パターンに基づいてドキュメント構造を推論できます。 テーブル、グラフ、画像、ページの書式設定、スタイルなどのテキスト以外の要素はキャプチャされません。 このようなビジュアル オブジェクトと隣接するメタデータに関するメンションはコンテキストの一部として使用できますが、エージェントは実際のコンテンツにアクセスできません。

PowerPointプレゼンテーションの場合、エージェントに提供されるコンテキストには、表示されているすべてのスライド タイトル、本文テキスト、およびテーブルとイメージのフラット化された説明 (使用可能な場合) が含まれます。 スライド フローと論理的な説明は、シーケンシャル インデックス作成によって維持されます。 画像、複雑なグラフ、背景デザイン、切り替え、ハイパーリンク、詳細なスピーカー ノートなどのテキスト以外の要素はキャプチャされません。 その結果、エージェントはテキストコンテンツやビジュアル要素の概要説明を推論できますが、リッチ メディア、詳細なビジュアル レイアウト、構造化されたグラフィカル データにはアクセスできません。

エージェントで開いているドキュメントを使用する

宣言型エージェントは、既定で開いているドキュメントにアクセスできます。 この機能のサポートを有効にするために、エージェントに変更は必要ありません。

API プラグインで開いているドキュメントを使用する

エージェントにカスタム アクションとして API プラグイン が含まれている場合、エージェントは、API の説明とエージェントに指定された指示に基づいて、API に送信する開いているドキュメントの量を決定します。 詳細については、「 ドキュメントの内容に関する API プラグインの考慮事項」を参照してください。

ドキュメントの選択にアクセスする

ドキュメント選択機能を使用すると、開いているドキュメントの現在選択されているセクションを宣言型エージェントに提供できます。 ユーザーは、選択内容についてエージェントに問い合わせることもできますし、それに基づいてアクションを実行するようにエージェントに依頼することもできます。

たとえば、ユーザーがジョブ記述ドキュメントで作業していて、AI で生成されたイメージをドキュメントに追加して視覚的な魅力を追加したいとします。 ユーザーはまず、ドキュメントのセクションを画像のコンテキストとして選択します。 ドキュメントのセクションを選択すると、[Copilot チャット] ウィンドウの [ 選択の追加] ボタンが有効になります。

[選択の追加] オプションを示すWordの Copilot のスクリーンショット

ユーザーが [ 選択範囲の追加] を選択し、その選択に基づいて イメージを生成 するようにエージェントに求めます。

ドキュメントの選択を含むユーザー プロンプトを示すWordの Copilot のスクリーンショット

エージェントはイメージを生成し、ユーザーに応答します。

生成されたイメージを示すWordの Copilot のスクリーンショット

エージェントでのドキュメント選択の使用

宣言型エージェントは、既定でドキュメントの選択にアクセスできます。 この機能のサポートを有効にするために、エージェントに変更は必要ありません。

API プラグインでのドキュメント選択の使用

エージェントにカスタム アクションとして API プラグインが 含まれている場合、エージェントは API にドキュメントの選択を提供できます。 エージェントは、API 仕様に基づいてドキュメントの選択を翻訳します。

ドキュメントの内容に関する API プラグインに関する考慮事項

ドキュメントまたはユーザーの選択全体について、エージェントは API プラグインにデータを最適に渡す方法を決定します。 ドキュメントまたはユーザーの選択が API に適切に翻訳されていることを確認する必要があります。

  1. まず、エージェントに特別な指示を追加せずにエージェントをテストします。 ほとんどの場合、エージェントはドキュメントの内容またはユーザーの選択を API に適切に翻訳し、追加の構成を行う必要はありません。
  2. エージェントが API に適切に翻訳されない場合は、プラグイン マニフェストの reasoningstate オブジェクト に指示を追加して、どのフォームを選択するかをエージェントに指示します。
  3. さまざまな選択をテストして、エージェントがさまざまな種類とコンテンツの長さを適切に処理することを確認します。

エージェントがドキュメントの内容またはユーザーの選択をどのように翻訳するかに影響を与える手順の例を次に示します。 目的の結果を取得するために必要な実際の手順は、エージェントと API によって異なります。

Verbatim パススルーの例
You **MUST** pass the exact user's current selection without any modifications as part of the `text` param.
概要/変換の例
You **MUST** pass the short, summarized version of the user's current selection as `prompt`
instead of the entire selected document context.
構造化抽出の例
You **MUST** pass the structured version of the user's current selection as part of the `data` param.
You should get the required context from the user's current selection based on the user's query and
**MUST** structure the context in JSON format.

画像の挿入

イメージ挿入機能を使用すると、ユーザーはエージェントから開いているドキュメントに画像を挿入できます。 画像は、現在のカーソル位置、ドキュメントの上部、またはドキュメントの下部に挿入できます。

たとえば、外部イメージ リポジトリからイメージを取得するエージェントは、イメージを挿入するためのボタンをユーザーに表示できます。

挿入イメージ機能を持つエージェントを示すWordの Copilot のスクリーンショット

エージェントからのイメージの挿入

宣言型エージェントでイメージの挿入を有効にするには、 アダプティブ カード応答テンプレートを使用する API プラグインが必要です。 アダプティブ カード テンプレートには、ユーザーがイメージを挿入するために選択した Action.InsertImage アクションが含まれています。

{
  "type": "ActionSet",
  "actions": [
    {
      "type": "Action.InsertImage",
      "title": "Insert",
      "altText": "An image of people on the beach",
      "url": "https://contoso.com/images/beach.jpeg",
      // fallback MUST be set to "drop"
      "fallback": "drop",
      // Other valid values: "Top", "Bottom"
      "insertPosition": "Selection"
    }
  ]
}

注:

サポートされているイメージの種類は、.bmp、.gif、.jpeg、.jpg、.png です。