このよくある質問 (FAQ) では、Copilot Studio のエージェントにコンピューターの使用ツールを追加する際に、知っておくべき機能、使用方法、制限事項、および安全対策について分析情報を提供しています。
コンピューターの使用ツールとは何ですか?
コンピューターの使用とは、Copilot Studio のエージェントに追加できるツールで、Web サイトやアプリケーション上のタスクを自動化するように設計されています。 自然言語でタスクの説明を入力すると、ツールがその内容に応じてマウス クリックやキーボード操作を自動化します。 たとえば、このツールに PDF を開かせ、その内容を Web フォームに使用させるよう指示することができます。 このツールは画面を視覚的に解析し、必要なクリックやキー入力を実行することで、人間の操作をエミュレートします。
警告
コンピューターの使用は、Web サイトやデスクトップ アプリケーション間の操作を自動化する強力なツールですが、その一方で、セキュリティ面での重要な考慮事項も伴います。 場合によっては、指示が曖昧だったり、画面上に予期せぬ内容が表示されたりしたために、AI が意図しない行動をとることがあります。 これらの操作は、ご利用のデバイス、データ、または連携されたアカウントのセキュリティに影響を与える可能性があり、個人情報、金融情報、あるいは企業システムへのアクセスにも影響を及ぼす可能性があります。
コンピューターの使用ツールにはどのような機能がありますか？
このコンピューターの使用ツールは、画面のピクセル データを処理して画面上の内容を把握し、仮想のマウスクリックやキーボード入力を使用して操作を行います。 このツールは、多段階のワークフローを管理し、予期せぬ状況にも対応し、画面の変化に動的に適応することができます。また、専用の API を必要とせずに、Web サイトの閲覧やフォームへの入力など、さまざまなデジタル タスクを実行することができます。
コンピューターの使用ツールは、以下の 3 つのステップに基づく反復ループに従って動作します。
知覚: スクリーンショットをキャプチャして、コンピューター画面の現在の状態を視覚的に理解します。
推論: 現在の状態、以前のアクション、スクリーンショットを思考の連鎖的アプローチで評価し、アクションを効果的に適応させることができます。
アクション: タスクが完了するか、さらなるユーザー入力が必要になるまで、クリック、タイプ、スクロールなどのアクションを実行します。
コンピューターの使用ツールの想定される用途は何ですか？
コンピューターの使用ツールは、仮想マウスとキーボードを通じて、Web サイトやアプリケーションに対するユーザーの操作を自動化することを目的としています。 特に、API が利用できないような状況では非常に使用されます。
コンピューターの使用ツールはどのように評価されたのでしょうか？ パフォーマンスの測定にはどのようなメトリックが使用されますか?
コンピューターの使用ツールは、設計、開発、展開の各段階を通じて、実環境を想定したシナリオを用いて厳格に評価されました。 評価方法としては、調査、影響分析、およびさまざまなシナリオにわたるテストを行い、精度、ユーザーの信頼度、有用性を測定した。 高いパフォーマンスと良好なユーザー エクスペリエンスを維持するため、定性的と定量的な指標を定期的に監視しています。 また、確立された SLA を順守することで、このツールの可用性も確保されています。
コンピューターの使用ツールにはどのような制限がありますか？ システムを使用する際、コンピューターの使用ツールの制限による影響を最小限に抑えるにはどうすればよいですか?
コンピューターの使用は、既知のセキュリティ リスクや機能上の制限を伴う新しい技術です。 私たちはこれを自由に試せるよう、サポートいたします。 この初期段階の機能により、特定のコンピューター ベースのタスクを自動化することが可能ですが、そのパフォーマンスは使用用途によって大きく異なります。 これを効果的かつ責任を持って使用するためには、現在の制限を理解しておく必要があります。
既知の制限
- 成功率はタスクによって異なります: このツールはウェブベースのタスクで最も高い成功率 (約 80%) を示しますが、デスクトップ アプリでは大きく低下します (約 35%)。
- パフォーマンスが安定しない: 同じタスクでも、画面の見た目やタイミングの変化によって異なる結果になる場合があります。
- 特定の UI コントロールの操作が難しい: コンピューターの使用は、ドロップダウンメニュー、日付選択ツール、カスタム ウィジェットなど、標準的ではない、あるいは動的なインターフェース要素とのやり取りに困難が生じる場合があります。
- ループやスタック状態: 画面が期待通りでない場合や、予期せぬ変化が生じた場合、エージェントがループに陥ったり、動作が停止したりすることがあります。
- 複雑なタスクへの対応: 単純な操作には有効ですが、詳細なグラフィカル インターフェースや、複雑なテキスト操作を伴うタスクでは、このツールでは対応が難しい場合があります。
-
機密性の高い、または高リスクな利用ケースには適していません: このツールは以下の用途を目的としていません:
- 採用、医療、金融などのデリケートな分野における推薦や評価
- 財務トランザクションを行う
- スパムや誤情報などの有害な行為
- 適切な承認を得ずに、組織外にデータを共有する
制限を最小化する方法
信頼性を高めるためには、タスクを構成する際に明確かつ詳細な指示を与えることで、エラーを減らし、タスクの成功率を高める必要があります。
人間の監督機能とは何ですか？
重要
コンピューターの使用エージェントは、有害または悪意のある指示に遭遇する可能性があります。これは「プロンプト インジェクション」と呼ばれ、スクリーンショットや Web ページ、その他の入力に隠されたコマンドが、意図しない方法で動作に影響を与えようとするものです。 これらのリスクを軽減するには、信頼できる隔離された環境でコンピューターの使用を行い、命令を実行する前に厳格な検証チェックを実施します。
コンピューターの使用処理では、曖昧さや情報の欠落が生じることがあります。 たとえば、必須の値が欠けている場合や、複数の解釈が考えられる場合などです。 そのような場合、人間による監督機能により、コンピューターを使用するエージェントは実行を一時停止し、承認済みかつ構成済みの人間のレビュアーに対して確認依頼を行うことができます。 レビュー担当者は、メールまたは Copilot Studio 内のエージェントの実行アクティビティ マップを使用して返信できます。 コンピューターを使用するエージェントが応答を受け取ると、マップ上の一時停止していたステップから実行を再開します。
信頼性と制限
製品ベースの評価によると、人間の監視機能は概ね期待通りに動作しているものの、動作に失敗したり、ユーザーが予期しないような挙動を示したりする場合があります。 明確化の要求は確率モデルによる動作によって引き起こされるため、人が一時停止を望むあらゆる状況で必ずしもトリガーされるとは限りません。 また、一時停止が必要ない場合でも、それらがトリガーされる可能性があります。 説明を求めるリクエストを、安全上のフェイルセーフとして、あるいはシステムが処理を進める前に必ず人間の入力を求めるという保証として、頼りにすべきではありません。
カスタム ルールの適用メカニズムではない
人間による監視を依頼しても、定義されたルール、ポリシー、または制約が確実に適用されるとは限りません。 情報の提供や望ましくない行動の防止を、説明を求めることに頼るのではなく、想定される各シナリオに適した管理措置 (例: 明確な指示、制限された環境、最小権限のアカウント、許可リスト、その他の運用上の安全対策など) をさらに講じる必要があります。
コンピューターの使用ツールを効果的かつ責任を持って使用するための操作要素や設定にはどのようなものがありますか?
コンピューターの使用ツールは、明確かつ詳細な操作手順が提供されている場合に、その性能を最大限に発揮します。 ユーザーは、タスク実行中の信頼性と正確性を高めるために、web サイトやアプリケーションの対話について、的確なヒントを与える必要があります。 可視性と管理性を高めるため、ツールの構成ページで 1 人以上の承認済みレビュー担当者を割り当て、人的な監督を有効にしてください。 モデルが潜在的に悪意のある命令を検出した場合、これらのレビュー担当者に通知が送信され、実行を継続するか中止するかを検証、判断することになります。
コンピューターの使用ツールについて、どのようにフィードバックを送ればよいですか？
コンピューターの使用ツールについて、フィードバックはありますか？ computeruse-feedback@microsoft.com までメールでお問い合わせください。