これらのよく寄せられる質問 (FAQ) は、Copilot Studio エージェントにコンピューター使用ツールを追加する際に注意する必要がある機能、使用状況、制限事項、保護に関する分析情報を提供します。
コンピューター使用ツールとは
Computer use は、Web サイトやアプリケーションのタスクを自動化するように設計された Copilot Studio エージェントに追加できるツールです。 自然言語でタスクの説明を指定すると、それに応じてマウスクリックとキーボード操作が自動化されます。 例えば、ツールにPDFを開き、その内容を使ってウェブフォームを記入させることができます。 ツールは画面を視覚的に解釈し、必要なクリックとキーストロークを実行し、人間の相互作用をエミュレートします。
警告
コンピューターの使用は、Web サイトやデスクトップ アプリケーション間の対話を自動化する強力なツールですが、セキュリティに関する重要な考慮事項も含まれています。 場合によっては、あいまいな指示や画面上の予期しないコンテンツが原因で、AI が意図しないアクションを実行することがあります。 これらのアクションは、個人、財務、またはエンタープライズ システムへのアクセスを含め、デバイス、データ、または接続されているアカウントのセキュリティに影響を与える可能性があります。
コンピューターはツールを使用して何ができますか?
コンピューターの使用ツールは画面のピクセル データを処理して画面上のコンテンツを理解し、仮想マウス クリックとキーボード入力を使用してタスクを実行します。 このツールは多段階のワークフローを管理し、予期せぬシナリオに対応し、画面の変化に動的に適応できます。 ウェブサイトのナビゲーションやフォームの入力など、専門的なAPIを必要とせずに様々なデジタル作業を行えます。
コンピューター使用ツールは、次の 3 つの手順に基づいて反復ループに従います。
認識: スクリーンショットをキャプチャして、コンピューター画面の現在の状態を視覚的に把握します。
推論: 現在の状態、以前のアクション、およびスクリーンショットは、考え方の連鎖アプローチによって評価され、アクションを効果的に調整できます。
アクション: タスクが完了するか、さらにユーザー入力が必要になるまで、クリック、入力、スクロールなどのアクションを実行します。
このコンピュータ利用ツールの意図された用途は何ですか?
コンピューター使用ツールは、仮想マウスとキーボードを使用して Web サイトやアプリケーションとのユーザー操作を自動化することを目的としています。 これは、API が使用できないシナリオで特に便利です。
コンピューターの使用ツールはどのように評価されましたか? パフォーマンスの測定にはどのようなメトリックが使用されますか?
コンピューター使用ツールは、設計、開発、展開の各フェーズを通じて、実際のシナリオを使用して厳密に評価されました。 評価方法には、精度、ユーザー信頼、有用性を測定するための調査、影響調査、テストが含まれていました。 高いパフォーマンスと良好なユーザー体験を維持するために、チームは定性的および定量的な指標を定期的に監視しています。 また、確立されたSLAを遵守することでツールの利用可能性を確保しています。
コンピューター使用ツールの制限事項は何ですか? ユーザーはシステムを使う際に、コンピュータツールの制限の影響を最小限に抑えるにはどうすればよいのでしょうか?
コンピューターの使用は、既知のセキュリティ リスクと機能上の制限がある新しいテクノロジです。 チームはあなたがそれを試す力を与えてくれます。 この初期段階の機能により、特定のコンピューター ベースのタスクの自動化が可能になりますが、そのパフォーマンスはユース ケースによって大きく異なります。 効果的かつ責任を持って使い、現在の限界を理解することが重要です。
既知の制限
パフォーマンスはタスクやアプリケーションによって異なります。 信頼性はタスクの複雑さ、インターフェース設計、アプリケーションの動作に依存します。
インターフェースやタイミングの変化に敏感です。 レイアウトの変更、読み込み遅延、予期しないダイアログは、同じタスクに対して異なる結果をもたらすことがあります。
特定の操作に難しさがあります。 ドロップダウン、日付選択器、カスタムウィジェットなどの非標準的または動的なインターフェース要素は、操作が難しいことがあります。
同じ動作をしたり、詰まったりするかもしれません。 予期しない画面状態はエージェントのループや進行停止を引き起こすことがあります。
複雑なタスクに伴う課題。 詳細なグラフィカルインターフェースや複雑なテキスト操作を伴う作業は、単純な操作よりも信頼性が低い場合があります。
機密性や高リスクのユースケースには適用されません。 例えば、このツールは以下を目的としていません:
- 採用、医療、金融などの敏感な分野での推薦やスコアリング。
- 金融取引を行うこと。
- スパムや誤情報などの有害な行動。
- 適切な許可なく組織外でデータを共有すること。
制限を最小限に抑える方法
信頼性を高めるために、タスクの設定時に明確で詳細な指示を提供し、エラーを減らし、タスク成功率を高めましょう。
人間の監督機能は何ですか?
Important
コンピューターを使用するエージェントは、スクリーンショット、Web ページ、またはその他の入力に隠されたコマンドが意図しない方法でアクションに影響を与えようとする、プロンプト インジェクション攻撃と呼ばれることが多い、有害または悪意のある命令に遭遇する可能性があります。 これらのリスクを軽減するには、信頼できる隔離された環境でコンピュータを使用し、命令を実行する前に堅牢な検証チェックを適用します。
コンピューターの使用の実行で、あいまいさや情報の不足が発生する可能性があります。 たとえば、必要な値がない場合や、複数の解釈が考えられる場合です。 このような場合、人間の 監督 機能を使用すると、コンピューターを使用するエージェントは実行を一時停止し、承認された構成済みの人間のレビュー担当者に明確化要求を発行できます。 レビュー担当者は、エージェントの実行アクティビティ マップを使用して、電子メールまたはCopilot Studio内で応答できます。 コンピューターを使用するエージェントは、応答を受け取ると、マップ上の一時停止したステップから実行を再開します。
信頼性と制限
製品主導の評価は、人間の監督機能が一般的に期待どおりに動作することを示しますが、ユーザーが予期しない方法で失敗または動作する可能性があります。 明確化要求は確率論的モデルの動作によってトリガーされるため、ユーザーが一時停止を望むすべての状況でトリガーされない場合があります。 また、一時停止が必要ない場合にもトリガーされる場合があります。 安全性のフェールセーフとして、または続行する前にシステムが常に人間の入力を要求するという保証として、明確化要求に依存しないでください。
カスタム ルールの適用メカニズムではない
人間による監督の要求は、定義されたルール、ポリシー、または制約の適用を保証するものではありません。 明確な要求に依存して情報を提供したり、望ましくないアクションを防いだりするのではなく、考えられる各シナリオ (明確な指示、制限された環境、最小特権アカウント、許可リスト、その他の運用上の保護策など) に適したより多くの制御を適用する必要があります。
コンピューター使用ツールの効果的かつ責任ある使用を可能にする運用上の要因と設定は何ですか?
コンピューターの使用ツールは、明確で詳細なユーザー指示が提供されたときに最適に実行されます。 ユーザーは、タスクの実行中に信頼性と精度を向上させるために、Web サイトまたはアプリケーションの対話に関する正確なヒントを提供する必要があります。 可視性と制御を強化するには、ツール構成ページで 1 人以上の承認されたレビュー担当者を割り当てて、人間による監視を有効にします。 モデルが悪意のある可能性のある命令を検出すると、これらのレビュー担当者は通知を受け取り、実行を続行するか停止するかを検証して決定します。
コンピューター使用ツールに関するフィードバックを提供するにはどうすればよいですか?
コンピューター使用ツールに関するフィードバックをお持ちですか? 電子メール computeruse-feedback@microsoft.com。