Microsoft Agent 365 (Frontier)によるサードパーティエージェントの可観測性

Important

この機能は、 フロンティア プレビュー プログラムの一部です。 Frontierはマイクロソフトの最新のAIイノベーションと直接つながります。 Frontier のプレビューは、お客様の契約書に記載されている既存のプレビュー利用規約に従います。 これらの機能は現在開発中であるため、提供状況や機能は今後変更される可能性があります。

組織はMicrosoft Copilot Studio、Microsoft Foundry、さらにAmazon Bedrock、Google Vertex AI、Anthropic Claude、Salesforce AgentforceなどのサードパーティプラットフォームをもとにAIエージェントを展開することが増えています。 これらの環境が拡大するにつれて、運用上の可視性は断片化します。 管理者、セキュリティチーム、コンプライアンスチームは、組織全体でエージェントがどのように振る舞うかを一貫して理解する方法が必要です。

Microsoft Agent 365におけるサードパーティエージェントの可観測性は、サポートされた接続プラットフォームにAgent 365の可観測性体験を拡張します。 プラットフォームを接続し、エージェントをAgent 365レジストリに同期させると、Agent 365はサポートされた観測性テレメトリを収集し、共通のオペレーティングモデルに正規化できます。

この機能を使うことで、以下が可能になります:

  • Microsoftエージェントと並んでサードパーティエージェントを閲覧できます。
  • 活動と運用状況を監視してください。
  • 個々のエージェントの処刑を調査する。
  • 使用傾向や実行時の挙動を分析します。
  • 監視可能性のシグナルをセキュリティやガバナンスの経験に拡張しましょう。

サードパーティの観察可能性の仕組み

サードパーティのオブザーバビリティは、Microsoft Agent 365のConnected platformsフレームワークを基盤としています。 ワークフローは4つの段階で構成されています。

1 - 外部プラットフォームの接続

Amazon Bedrock、Google Vertex AI、Anthropic Claude、Salesforce Agentforce、Databricks Genieなどのサポートプラットフォームへの接続を作成しましょう。 現在可観測性をサポートしているプラットフォームについては、「サポートされた 可観測性プラットフォーム」を参照してください。

Agent 365はプラットフォーム固有の認証情報を用いて外部環境に認証し、選択されたエージェントのメタデータをAgent 365レジストリに同期させます。

一部のプラットフォームでは、接続作成に必要な以上の権限や可観測性の設定が必要です。 コレクションを有効にする前に、接続するプラットフォームのAmazon Bedrock権限、Google Vertex AIの前提条件、またはAnthropic Claudeの前提条件を確認してください。

2 - エージェントの発見と登録

同期時、Agent 365は選ばれた第三者エージェント情報を組織の集中型エージェントインベントリにインポートします。

3 - 観測性テレメトリーの収集

Agent 365は、サポートされている接続プラットフォームからエージェントの活動を収集し、OpenTelemetryの概念に基づく共通の観測可能性モデルに変換します。 Agent 365は、実行、セッション、ツール呼び出し、例外、実行トレースを、ソースプラットフォームに関係なく一貫したスキーマに正規化します。

4 - Microsoftの体験を通じたSurfaceインサイト

Agent 365がテレメトリを処理した後、Agent Activity、Agent Overview、Microsoft 365 管理センター、セキュリティおよびガバナンス統合などの運用インサイトがAgent 365の体験に反映されます。

異なるテレメトリーモデルを学ぶことなく、Microsoftホストのエージェントと同じフレームワークを通じてサードパーティエージェントの観測可能性データを分析できます。

対応可能な観測性プラットフォーム

現在の観測可能性サポートには以下のプラットフォームが含まれます:

Platform サポート環境
アマゾン・ベッドロック クラシック
アマゾン・ベッドロック エージェントコア
Google Vertex AI Google Vertex AI
アントロピック クロード マネージドエージェント

今後、さらなるプラットフォーム統合が期待されています。

アマゾン・ベッドロック

Microsoft Agent 365は、Amazon Bedrock ClassicおよびAmazon Bedrock AgentCore環境で動作するエージェントに対して可観測性をサポートしています。 エージェント365はエージェントの活動を収集し、それを観測可能性レコードに変換できます。

利用可能なテレメトリを活用すれば、以下のことができます:

  • エージェント呼び出しの確認。
  • 実行痕跡を調べろ。
  • ツールの使用状況を分析しましょう。
  • 処理の手順を確認しましょう。
  • ランタイム例外を調査しましょう。
  • 資源の利用状況を見直しましょう。
  • 反応生成活動を分析する。

このテレメトリーを使って、Microsoftホストのエージェントの運用体験におけるAmazon Bedrockエージェントの挙動を調査しましょう。

Google Vertex AI

Microsoft Agent 365は、Google Vertex AIから同期されたエージェントの可観測性をサポートしています。

頂点AIの観測可能性データはAgent 365の観測可能性モデルに変換でき、以下のようにできます:

  • エージェントの処刑を見る。
  • セッションを追跡します。
  • ツールの実行を分析する。
  • 実行時の動作を監視します。
  • 運用報告書のレビュー。

Google Vertex AIエージェントとMicrosoftエージェント、その他の接続プラットフォームのエージェントを統一されたAgent 365体験で監視できます。

アントロピック クロード

Microsoft Agent 365は、Anthropic Claudeマネージドエージェントから同期されたエージェントの可観測性をサポートしています。 Agent 365は、接続されたAnthropicワークスペースからセッションやセッションイベントを読み取り、共通の観測可能性モデルに変換します。

利用可能なテレメトリを活用すれば、以下のことができます:

  • エージェントの呼び出しとセッションの確認。
  • 実行痕跡を調べろ。
  • ツールの使用状況を分析しましょう。
  • ランタイム例外を調査しましょう。
  • エージェントのセッションをエージェントマップで閲覧できます。

Anthropic Claudeセッションでエージェントとやり取りした後、その活動がAgent 365に現れるまで5〜10分ほど待ちます。

Amazon Bedrockの権限

AWSのアクセスキーを提供することでAmazon Bedrockに接続します。 そのキーの背後にあるIAMユーザーまたは役割は、このセクションで説明されている権限を必要とします。 使用する環境の権限のみを付与してください。

エージェント365はあなたのエージェントとその活動を読みます。 観測可能性データの収集はエージェントを呼び出すことはないので、推論料金は発生しません。

アマゾン・ベッドロック・クラシック

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "bedrock:ListAgents",
        "bedrock:GetAgent",
        "ec2:DescribeRegions"
      ],
      "Resource": "*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "s3:ListBucket",
        "s3:CreateBucket"
      ],
      "Resource": "arn:aws:s3:::a365-observability-store-<account-id>-<region>-an"
    },
    {
      "Effect": "Allow",
      "Action": "s3:GetObject",
      "Resource": "arn:aws:s3:::a365-observability-store-<account-id>-<region>-an/*"
    }
  ]
}
許可 Purpose
bedrock:ListAgents 各接続領域でエージェントを見つけます。
bedrock:GetAgent 各エージェントの名前、説明、指示、モデル、ステータスを読み上げます。 それがなければ、エージェントは限られた詳細で発見されます。
ec2:DescribeRegions 選択した地域を検証します。 地域のメタデータのみを返します。
s3:ListBucket アクティビティバケットの存在を確認し、各エージェントのアクティビティを見つけます。
s3:GetObject 各活動記録を読みます。
s3:CreateBucket Optional. エージェント365が初回使用時にバケットを作成できるようにします。 自分でバケツを作成する場合は省略してください。

アクティビティストレージ

Amazon Bedrock Classic のエージェントは、アクティビティを Amazon S3 に記録します。 3つの条件が必要です:

  1. Amazon Bedrockコンソールの各エージェントでトレースキャプチャを有効にし、S3バケットを選択します。 エージェント365はこれを有効にできない。
  2. バケット名を指定しますa365-observability-store-<account-id>-<region>-an。接続でバケットを指定しない限り。 -anの接尾辞はバケットをアカウントの地域名空間に割り当てるため、名前はあなたのアカウントに予約され、他のAWS顧客が使うことはできません。
  3. observability-store/<agent-id>/ <agent-id> 配下に。ここで、SPGCARJMQW は Bedrock エージェント ID で、 などがあります。

Important

S3バケットはちょうど一つの領域に存在します。 複数の地域をカバーする接続の場合は、 eu-west-1などの完全な地域コードを使って各地域ごとに1つのバケットを作成します。

もしバケットが顧客管理キーを使用しているなら、そのキーにも kms:Decrypt を付与してください。

Amazon Bedrock エージェントコア

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "bedrock-agentcore:ListHarnesses",
        "bedrock-agentcore:GetHarness",
        "bedrock-agentcore:ListAgentRuntimes",
        "bedrock-agentcore:GetAgentRuntime",
        "ec2:DescribeRegions",
        "logs:DescribeLogGroups"
      ],
      "Resource": "*"
    },
    {
      "Effect": "Allow",
      "Action": [
        "logs:StartQuery",
        "logs:GetQueryResults"
      ],
      "Resource": [
        "arn:aws:logs:*:<account-id>:log-group:/aws/bedrock-agentcore/runtimes/*",
        "arn:aws:logs:*:<account-id>:log-group:aws/spans"
      ]
    }
  ]
}
許可 Purpose
bedrock-agentcore:ListHarnesses、GetHarness ハーネスベースのエージェントを見つけ、そのモデル、メモリ、ツール構成を読み取ります。
bedrock-agentcore:ListAgentRuntimes、GetAgentRuntime ハーネスで管理されていないランタイムを検出します。 ハーネスに属するランタイムはスキップされるため、エージェントが二重にリストされることはありません。
ec2:DescribeRegions 選択した地域を検証します。
logs:StartQuery、logs:GetQueryResults CloudWatchログからエージェントの活動を取得。
logs:DescribeLogGroups 推奨。 エージェントのすべてのロググループ、カスタムエンドポイントも見つけます。 それがなければ、デフォルトのエンドポイントのみが読み取られます。 この操作は個々のロググループに限定できません。

アクティビティストレージ

AgentCoreは、エージェント作成時期や動作地域によって2つの場所のいずれかで、Amazon CloudWatch Logsに活動を記録します。

ロググループ によって使用される
/aws/bedrock-agentcore/runtimes/<runtime-id>-<endpoint> 統合可観測性を利用するエージェント
aws/spans その他のエージェント、ゲートウェイおよび組み込みツールのアクティビティ

エージェント365は両方を読み取り、結果を組み合わせる。

Important

AgentCoreのアクティビティがクエリ可能になるのは、Amazon CloudWatchコンソールで トランザクション検索 が有効になってからです。 これはAWSアカウントごとに一度きりの設定です。 エージェントが発見されても活動が見つからない場合は、まずこれを確認してください。

オプション権限

能力 Permissions
Classic エージェントのツール、共同作業者、ナレッジソースを表示する bedrock:ListAgentActionGroups、 GetAgentActionGroup、 ListAgentCollaborators、 ListAgentKnowledgeBases、 ListDataSources、 GetDataSource
AgentCore エージェントのツール、MCP サーバー、接続されたエージェントを表示 bedrock-agentcore:GetGateway、ListGatewayTargets、GetGatewayTarget
Agent 365からエージェントを削除する際には、AWSでそのエージェントを削除してください bedrock:DeleteAgent、bedrock-agentcore:DeleteHarness、DeleteAgentRuntime
AWS組織内のすべてのアカウントを連携してください organizations:ListAccounts、sts:AssumeRole

詳細権限がなくても、エージェントは発見され、その活動は収集され続けます。 ただ、追加の詳細だけが欠けています。

Warning

AWSでエージェントを削除することは永久的です。 削除権限は、エージェント365があなたのAWSアカウントからエージェントを削除する意図がある場合のみ付与してください。 これらは同期時に使われることはなく、管理者が明示的にエージェントを削除した場合にのみ使われます。

AWS組織を接続するには、管理アカウントで権限を付与し、各メンバーアカウントで同じ名前のロールを作成します。 役割は管理アカウントを信頼し、そのアカウントで使用されるエージェントタイプの権限を保持しなければなりません。 一時停止されたアカウントはスキップされます。

さらに方針を制限する

AWSはリスト操作に対してリソースレベルの権限をサポートしていないため、 bedrock:ListAgents、 bedrock-agentcore:ListHarnesses、 bedrock-agentcore:ListAgentRuntimes、 ec2:DescribeRegions、 organizations:ListAccounts、 logs:DescribeLogGroups は "Resource": "*"を使わなければなりません。

残りの業務はアカウントと地域に限定できます:

リソース ARNフォーマット
Bedrockエージェント arn:aws:bedrock:<region>:<account-id>:agent/<agent-id>
エージェントコアハーネス arn:aws:bedrock-agentcore:<region>:<account-id>:harness/<harness-id>
AgentCore ランタイム arn:aws:bedrock-agentcore:<region>:<account-id>:runtime/<runtime-id>

Caution

個々のエージェントIDに絞り込むのは避けましょう。 エージェント365はこれまで見たことのないエージェントを発見するため、特定のエージェントに名前を付けることで、その後作成されたエージェントはポリシーを更新するまで発見されません。

権限 エージェント365はリクエストしません

未要求 これが何を意味するか
bedrock:InvokeAgent、bedrock:InvokeModel Observability はエージェントを実行しないため、テレメトリを収集しても推論コストは発生しません。
エージェント設定への書き込み権限 Amazon Bedrockでは、オプションのアクティビティバケット以外は作成や変更は行われていません。
s3:PutObject、s3:DeleteObject アクティビティ記録は読み取り専用です。 決して書き込まれたり、変更されたり、削除されたりしません。
Amazon S3の広範なアクセス Amazon S3の権限はアカウント内の他のバケットには適用されず、単一のアクティビティバケットに適用されます。

Agent 365はまた、認証情報がどのAWSアカウントに属しているかを特定するために sts:GetCallerIdentity に呼び出します。 この作戦には許可は不要です。

GoogleでVertex AIの前提条件

Agent 365はVertex AI APIではなく、BigQueryやCloud MonitoringからのGoogle Vertex AI観測データを読み取ります。 エージェント365がエージェントを発見・管理するための権限はこのテレメトリへのアクセスを許可しないため、このセクションの手順は別途完了する必要があります。

Important

認証が成功しエージェントをインポートした接続は、観測可能性が設定されていることを確認しません。 認証確認およびエージェント同期はVertex AI APIのみを使用します。 エージェントは正しくインポートできますが、役割、API、トレースエクスポートがないためテレメトリは利用できません。 このセクションのすべてのステップを完了し、その活動がエージェントの アクティビティ タブに表示されるか確認してください。

必須のロール

これらの役割は、 接続に提供するJSONキーを持つGoogle Cloudサービスアカウントに付与してください。 これらは、接続がすでにエージェントの発見や管理に必要なVertex AI権限 に加えて 必要であり、これらは Connected platformsで説明されています。

必要な役割 役割ID Purpose
BigQuery データ ビューアー roles/bigquery.dataViewer エクスポートしたトレース表を読みます。
BigQuery ジョブ ユーザー roles/bigquery.jobUser スパンを取得するためのクエリを実行します。 bigquery.jobs.createが必要です。
モニタリングビューア roles/monitoring.viewer リクエストカウントとレイテンシの指標を読み取る。
クラウドトレースユーザー roles/cloudtrace.user Cloud Trace のスパンを読み取ります。

Note

両方のBigQuery役割は必須です。 Data Viewer単独ではテーブルの読み取りは可能ですが、スパンを取得するクエリは実行せず、ジョブユーザーのみではクエリの実行は許可しますが結果の読み取りはできません。

必要なAPIを有効にしてください

エージェントが展開されるプロジェクトで4つのAPIすべてを有効にしてください:

  • Vertex AI API
  • BigQuery API
  • クラウドトレースAPI
  • クラウドモニタリングAPI

テレメトリとトレースエクスポートを有効にしてください

  1. 展開したVertex AIエージェントで テレメトリ収集 を有効にしてください。 エージェント365はこの機能を有効にすることができず、あなたが有効になるまでテレメトリは表示されません。
  2. Trace Analytics BigQueryのエクスポートを有効にして、トレースがBigQueryに書き込まれるようにしてください。
  3. trace_analytics_linkデータセットとその_AllSpansビューがプロジェクト内に存在しているか確認してください。 エージェント365はこのビューを直接問い合わせます。 どちらかが欠けている場合、トレースエクスポートは設定されていません。

接続の設定

プロジェクトとエージェントが展開されている地域ごとに接続を設定してください。 別のプロジェクトや地域にスコープされた接続はエージェントをインポートしますが、テレメトリは返しません。

Anthropic Claudeの前提条件

Anthropic Claudeの観測可能性は、接続プラットフォーム接続を作成する際に使うのと同じワークスペースIDとワークスペーススコープのAPIキーを使用します。 接続の詳細については、Anthropic Claude Managed Agentsをご覧ください。

プラットフォームに接続する前に:

  1. Anthropic Claudeワークスペースを作成しましょう。 デフォルトのワークスペースは使わないでください。接続に必要なワークスペースIDを公開しないからです。
  2. そのワークスペース内に環境とマネージドエージェントを作成します。
  3. エージェントと環境を使ったセッションを作成し、エージェントとやり取りしてセッション活動を生成します。
  4. ワークスペーススコープ付きのAPIキーを作成します。 キーを作成するには、少なくともAnthropic workspaceで開発者の役割が必要です。

Microsoft 365 管理センターで接続を作成する際は、ワークスペースIDとAPIキーを使ってください。 接続を確認し保存した後、エージェント同期が完了するまで待ってからエージェントの アクティビティ タブを確認しましょう。

Important

Anthropic ClaudeマネージドエージェントAPIはベータ版であり、Anthropic Claudeの接続プラットフォーム統合はプレビュー機能です。

観測可能性データ収集の設定

すべての新しい接続に対して、エージェントの観測可能性データ収集はデフォルトで有効化されています。 エージェントの観測性データを収集したくない場合は、接続を編集して 「エージェントの観測性データを収集」をクリアしてください。

この機能が導入される前に作成された接続については、エージェントの可観測性データ収集はデフォルトで無効化されています。 有効にするには、接続を編集し 「エージェントの観測性データを集める」を選択してください。

Note

収集を有効にしてもテレメトリが利用可能になるわけではありません。 ソースプラットフォームも、それを生成・公開できるように設定する必要があります。 Amazon Bedrockの権限、Google Vertex AIの前提条件、Anthropic Claudeの前提条件を参照してください。

サードパーティエージェントの活動を見る

観察可能性データが利用可能になったら、サードパーティエージェントを開き、「 アクティビティ 」タブを選択して運用指標や傾向を確認しましょう。

活動指標

アクティビティタブでは、インポートされた各エージェントの主要な観測可能性測定値が提供されます。 ユーザーがエージェントと対話してから 1 時間以内に使用状況を表示できます。

Metric Description
Sessions 報告期間のエージェントセッション数。 セッションとは会話活動または自律的な活動のいずれかを指します。 会話セッションとは、ユーザーとエージェントの間で継続的にやり取りが行われる期間のことです。 30分間の活動停止後に新しいセッションが始まります。 自律セッションはスケジュールや他のエージェントなどのトリガーによって開始されます。
例外 選択した日付範囲内でエラーがあったセッション数。
ランタイム 報告期間中にエージェントが稼働する総時間(時間)は、各ランの開始から終了まで測定されます。
ユーザー この指標は利用できません。

これらの指標は、採用率、使用パターン、信頼性、運用の健全性を理解するのに役立ちます。

第三者の指標を理解する

サードパーティプラットフォームは異なるアイデンティティシステムを使用しているため、一部の指標はMicrosoftホストのエージェントと異なる場合があります。 例えば次が挙げられます。

  • 発信プラットフォームがMicrosoft EntraのユーザーIDを提供していない場合、アクティブユーザー情報が利用できない場合があります。
  • セッション、呼び出し、実行時間、例外、ツールコールのメトリクスは引き続き利用可能です。
  • 欠落しているアイデンティティベースの指標は、不正確な結果を生成するのではなく、利用不可として表示されます。

ソース環境からのテレメトリに基づくプラットフォーム固有の変動が予想されます。

サードパーティ接続のトラブルシューティング

アマゾン・ベッドロック

症状: 考えられる原因
接続が検証に失敗した場合 ec2:DescribeRegionsが欠けているか、アクセスキーが無効または無効になっている場合もあります。
エージェントは説明や指示、モデルを持たずに現れます bedrock:GetAgentが欠けている。
エージェントは道具や知識源を持たずに現れます オプションの詳細権限が欠けています。
クラシックなエージェントは現れますが、活動はありません エージェントでトレースキャプチャが有効になっていなかったり、バケットが存在しないか名前が変わっていたり、 s3:ListBucket や s3:GetObjectが欠けている場合もあります。
エージェントコアのエージェントは現れるが、活動はない CloudWatchトランザクション検索は有効になっていなかったり、 logs:StartQuery や logs:GetQueryResultsが欠けています。
AgentCoreの活動は不完全です logs:DescribeLogGroupsが欠けていると、エージェントはカスタムエンドポイントを使っています。
スタンドアロンのランタイムがありません bedrock-agentcore:ListAgentRuntimes または GetAgentRuntime がありません。
一部の組織アカウントが抜けています そのアカウントには役割名が存在せず、信頼ポリシーで管理アカウントが許可されていないか、アカウントが停止されている場合もあります。

Google Vertex AI

症状: 考えられる原因
接続は検証され、エージェントもインポートされますが、活動は見られません オブザーバビリティを設定しない場合の想定動作。 接続設定はVertex AI APIのみを使用します。 Google Vertex AIの前提条件をクリアしましょう。
スパンは見られませんが、指標は表示されます roles/bigquery.dataViewerやroles/bigquery.jobUserが欠けている、またはトレースエクスポートが有効になっていません。
クエリは失敗しますが、サービスアカウントはテーブルを読み取ることができます roles/bigquery.jobUserが欠けている。 テーブルの読み取りとクエリ実行は別個の権限です。
リクエスト数やレイテンシの指標はありません roles/monitoring.viewerが欠けているか、クラウドモニタリングAPIが有効になっていないのかもしれません。
trace_analytics_linkデータセットや_AllSpansビューは存在しません Trace AnalyticsのBigQueryエクスポートはプロジェクトで有効になっていません。
一部のエージェントは活動を報告し、他のエージェントは報告しません 何も報告しないエージェントではテレメトリ収集が有効になっていません。 エージェントごとに設定してください。
エージェントはインポートしますが、テレメトリは常に空のままです 接続はエージェントが展開されているプロジェクトや地域とは異なるスコープが設定されています。

アントロピック クロード

症状: 考えられる原因
接続が検証に失敗した場合 ワークスペースIDまたはワークスペーススコープAPIキーが間違っている、キーが別のワークスペースに属している、またはキーが期限切れになっている場合もあります。
接続は保存されますが、エージェントは現れません エージェントが別のワークスペースにいるか、同期が完了していない場合もあります。
エージェントは現れますが、活動は見られません セッション アクティビティが生成されていないか、その接続に対する可観測性データの収集が無効になっているか、または 5 ~ 10 分の処理間隔がまだ経過していないためです。 セッションを作成し、エージェントとやり取りし、再度 アクティビティ タブを確認しましょう。
エージェントマップにはセッションが表示されません セッションの活動はまだ処理されていません。 エージェントの アクティビティ タブに表示されているか確認し、再度エージェントマップを確認してください。