sharepoint_tool_forbidden_access error when using SharePoint Grounding tool in Azure AI Foundry Agent

Karnam Venkata Rajeswari

コメントありがとうございます。

アドバイスどおり、Microsoft 365 Copilot Businessライセンスを対象ユーザー（EntraID）に割り当てました。

Azure AI Foundry からサインアウトして再度サインインし、Playground クエリを再実行しました。

【結果】

エラー内容は変わらず。

Error tool_user_error: Error: sharepoint_tool_forbidden_access; Authorization Failed - User does not have valid license RunId: run_IObHHqH802fvBBiqri7l8iBo

タイムラグを考慮して30分おいてから再度実施しましたが、同様の結果となりました。

【追加の確認】

・タイムラグは1時間、2時間と長時間考慮するべきか？

・Microsoft 365 Copilot Businessライセンスでは不足しているのか？Microsoft 365 Copilot のどのプランであれば良いのか？

・AIエージェントのknowledgeとして設定する際のCustom Keysが不足しているのか？

・Microsoft 365 Copilot Retrieval APIの有効化等、事前作業が必要か？

12時間経ってから再度確認したところ、SharePointをリモートで参照できていることを確認できました。

ナレッジを参照して回答してほしい。テストホウジンとの契約期間は？

と聞くと

テストホウジンとの契約期間は、「2025年5月1日から2025年8月31日まで」です 1 1　https://XXXXXXXXXXXXXXXX.sharepoint.com/Shared

のように、期待する回答とファイルが格納されているディレクトリを明示します。

しかし、新たな課題も出てきました。

【現状】

• SharePointには2件のPDFがあります
  【テストホウジン様】システム関連業務支援契約書.pdf
  【テストホウジン様】個人情報の取扱いに関する覚書.pdf
• PDFは両方とも日本語タイトル、内容も日本語テキストのみの構成です
• PDFはそれぞれ5ページ3600文字、4ページ2300文字です
• FoundryのPlayGroundで検証中です

【課題】

１．存在しないファイル名を参照元として回答するハルシネーションが発生します

試しに参照したファイル名を提示するように指示を追加しました

ナレッジを参照して回答してほしい。テストホウジンとの契約期間は？参照したファイル名も提示してほしい

と聞くと

テストホウジンとの契約期間は、「2025年5月1日から2025年8月31日まで」です 参照したファイル名は「テストホウジン_契約概要.pdf」です

と回答が生成されます。

この回答生成されたファイル名は存在しないファイル名であり、期待する回答は以下です。

テストホウジンとの契約期間は、「2025年5月1日から2025年8月31日まで」です 参照したファイル名は「【テストホウジン様】システム関連業務支援契約書.pdf」です

２．Instructionsで参照元ドキュメントをknowledge（SharePointドキュメント）に限定すると回答できなくなる

Instructionsに以下テキストを設定します

Role: Support Agent Knowledge Scope: Strictly limited to the provided knowledge base. Process: > 1. Always query the search knowledge base first upon receiving a user question. 2. Use ONLY the information returned from the knowledge base. Strict Constraints: > - Hallucinations and the use of external knowledge or context are strictly forbidden. If no answer is found in the knowledge base, respond exactly with: "I'm sorry, I don't know." Citations: Every answer must include the source document title and, where possible, the paragraph or section name.

その後、

テストホウジンとの契約期間は？

と聞くと

I'm sorry, I don't know.

と回答が生成されます。

threadlogを確認しましたが、以下のようにToolとしてknowledgeを使わずに回答生成されてしまっています。

こんにちは Daichi Ishikawa

SharePoint のアクセスエラーが解決されたと聞いて嬉しいです。

SharePoint のグラウンディングツールは関連するドキュメントの内容を返しますが、正確なファイル名などの完全で安定したメタデータは常に利用できるとは限りません。 メタデータが欠落していると、言語モデルがファイル名のような詳細を推測することがあり、これが幻覚（hallucination）のように見えることがあります。 これはセマンティック・グラウンディングの既知の制限であり、アクセスや権限とは関係ありません。

指示が過度に制限的で、知識ベースに確実に存在する場合にのみ回答するよう要求するなどの場合、エージェントはツールをまったく呼び出さないことを選択する可能性があります。 そのような場合、モデルは慎重になり、指示の制約に違反するよりも応答を控えることがあります。 Azure AI Foundry エージェントにおけるツールの呼び出しはモデル主導であり、SDK や REST パラメータを通じて強制的に固定することはできません。

幻覚を減らし、根拠の一貫性を向上させるために、次の対策を推奨します:

1.          エージェントが回答する前に SharePoint 根拠ツールから情報を取得するよう誘導する、ツールにやさしい指示を使用し、「絶対に回答しない」といった厳しい禁止条件を追加しないこと。

2.          テスト中にエージェントのスレッドログを確認し、SharePoint 根拠ツールの呼び出しが存在することを確認して、ツール呼び出しを検証すること。

3.          正確なファイル名と決定論的な引用が必須の場合は、エージェントの根拠にのみ依存せず、SharePoint コンテンツを Azure AI Search を使用してインデックス化すること。

参照:

SharePoint in Microsoft 365 Indexer - Azure AI Search |Microsoft Learn

ありがとうございます。

Karnam Venkata Rajeswari

SharePoint のグラウンディングツールに関して解説していただきありがとうございます。

アドバイスのとおり、Instructionsの内容を厳格にせず、簡易的な表現にすることでナレッジを参照して回答させることができました。正確な回答と引用元ファイルのパスが返ってきます。期待する回答です。

threadlogは以下のとおり、Tool呼び出しが成功しています。

SharePointグラウンディングのログ

Input
{
  id
  type
  sharepoint_grounding
    input
    output
  }
}

  name: 
  context: 
    trace_id: 
    span_id: 
    thread_id: 
  }
  kind: 
  parent_id: 
  start_time: 
  end_time: 
  status: 
    status_code: 
    description: 
  }
  attributes: 
    span_type: 
    id: 
    type: 
    sharepoint_grounding: 
      input: 
      output: 
    }
    output: 
  }
}

【追加の質問】

SharePointグラウンディングによるoutputの詳細を確認する方法はあるでしょうか。knowledgeとしてSharePointに対してどのようなロジックで検索をかけて、セマンティック検索などが実施されて、どのような結果が返ってきているのかを知りたいです。

このコメントは元々英語で書かれ、後に日本語に翻訳されました。

こんにちは Daichi Ishikawa,

上記の回答をご確認いただけましたでしょうか？

他に何かご質問がありましたら、お気軽にお知らせください。

ありがとうございます！