「コンピューターの使用」で、Web アプリやデスクトップアプリを自動化する

コンピューターの使用は、エージェントが Windows コンピューター上のタスクを操作および自動化できるようにする Copilot Studio のツールです。 Web サイトやデスクトップアプリで、ボタンを選択したり、メニューを選んだり、画面上のフィールドにテキストを入力したりします。コンピューターの使用で実行する処理を自然言語で記述し、仮想マウスとキーボードを使用してセットアップしたコンピューターでタスクを実行します。コンピューターの使用を利用すると、エージェントは、システムに直接接続する API がない場合でもタスクを完了できます。人がアプリやweb サイトを使用できるなら、「コンピューターの使用」も同様に可能です。自動データ入力、請求書処理、データ抽出などのタスクには、コンピューターの使用を使用できます。

コンピューターの利用は、視覚機能と高度な推論を組み合わせてグラフィカルユーザーインターフェース (GUI) と対話する AI モデルであるコンピューター利用エージェント (CUA) によって行われます。 AI を搭載しているため、インターフェイスの変更に適応します。たとえば、ボタンや画面が変更されても、ツールはフローを中断することなく動作を続けます。使い方はシンプルです。必要なものを自然言語で記述するだけです。コードを記述する必要はありません。

このビデオでは、コンピューターの使用ツールを使用して、エージェントが Web アプリケーションと対話する方法を学習します。

メモ

この機能は、生成オーケストレーションが有効になっているエージェントのみが利用できます。

コンピューターの使用をエージェントに追加する

Copilot Studio で、以下の手順に従って「コンピューターの使用」をツールとして追加します。

エージェントのツール ページに移動し、ツールの追加を選択します。
ツールの追加で、新しいツールを選択します。
コンピューターの使用を選択します。
ツールがコンピューターで実行する必要があるタスクを説明する手順を指定します。使い始めの参考になる手順テンプレートが用意されています。コンピューターの使用のベストプラクティスに従ってください。

[追加と構成] を選択します。設定ページで、次の 4 つのフィールドを設定します。

名称: コンピューターの使用ツールの表示名を入力します。この名前は、エージェントに追加する他のツールと区別するのに役立ちます。
説明: このツールが何をするのか、どのような場合に使用するのか、簡単な説明を入力します。このテキストは、このツールをいつ使用するかをエージェントに知らせます。

モデル: コンピューターの使用ツールを実行するために使用するモデルを使用してください。使用可能なモデルには以下が含まれます。

Provider	モデル	レベル	ステータス
OpenAI	コンピューターを使用するエージェント (CUA)	Standard	一般に入手可能
Anthropic	Claude Sonnet 4.5	Standard	一般に入手可能
Anthropic	Claude Sonnet 4.6	Standard	実験段階
Anthropic	Claude Opus 4.6	Premium	実験段階

メモ

Anthropic のモデルを使用するには、管理者がご利用の環境において外部モデルへのアクセスを有効にしていることを確認してください。

手順: URL やアプリケーション名など、ツールが実行する手順を一覧表示します。コンピューターの使用のベストプラクティスに従ってください。

必要に応じて、設定ページにあるその他のフィールドを確認、調整してください。
保存を選択します。

オプション設定を構成する

設定ページには、必須の 4 項目 (名前、説明、モデル、手順) 以外にも、オプションフィールドが含まれています。ご利用の環境に応じて、これらのオプションを確認し、必要に応じて構成してください。

入力

入力値を使用して、コンピューターの使用が実行されるたびに変化する動的な値を定義します。たとえば、実行のたびに異なる値でフォームに入力する場合は、そのフィールドの入力を作成します。実行時に、コンピューターの使用は、タスクを完了するために命令と入力値を組み合わせて使用します。

コンピューター

エージェントがコンピューターの使用を実行するために使用するターゲットコンピューターを選択します。コンピューターの使用の実行場所を構成するを参照してください。

更新を使用して、コンピューターの一覧を更新します。
コンピューターの管理を選択して、Power Automate でコンピューターの管理ページを開きます。
コンピューターの詳細を確認するを選択し、Power Automate でコンピューターの詳細ページを開きます。

接続

このツールで使用する接続。新しい接続を更新または作成して、使用する資格情報を変更します。

使用する資格情報

実行時のコンピューターの使用における認証方法を指定してください:

作成者提供の認証情報 (デフォルト) : 作成者の認証情報を使用します。このオプションは自律型エージェントに適しています。

警告

この設定を持つエージェントを共有している場合、そのエージェントを使用するユーザーは誰でも、構成されたコンピューター上で元の作成者と同じアクセス権限を持って操作を行うことができます。
エンドユーザーの資格情報: エージェントと対話しているユーザーの資格情報が使用されます。各ユーザーは、コンピューターへのアクセス資格情報を持っている必要があります。

人間による監視

コンピューターの使用エージェントが、モデルの動作を変更する可能性のある有害な指示を検出した場合に、メール (Outlook) 経由で連絡するユーザーを指定します。各エージェントの実行とそのアクティビティは、それを開始したユーザーに関連付けられます。コンピューターの使用エージェントを実行しているユーザー以外のレビュー担当者を選択した場合、実行を開始していないため、アクティビティが表示されない可能性があります。そのため、要求を適切に検証したり、処理したりすることはできません。さらに、受信者が承認され、そのような要求を処理するために必要なコンテキストがあることを確認します。応答時間の制限は、要求がアクティブなままの期間を定義します。この期間が経過すると、要求は期限切れになり、応答が受信されない場合、コンピューターの使用の実行は停止します。詳細については、人間による監督セクションを参照してください。

保存された資格情報

コンピューターの使用が Web サイトやアプリケーションにサインインする際に使用する認証情報を定義します。実行中にサインインのメッセージが表示された場合、「コンピューターの使用」では、このセクションでそのサイトまたはアプリケーション用に定義した認証情報を安全に使用します。パスワードは、Power Platform の内部ストレージ (構成は不要) またはユーザーが用意した Azure Key Vault のいずれかに保存されます。詳細については、Azure portal を使用してキーコンテナーを作成するを参照してください。

内部ストレージオプション: このオプションを使用することで、事前設定なしでツール内で認証情報を設定できます。 Power Platform は機密情報を暗号化して内部に保存します。資格情報ごとに、次の項目を指定します。
- タイプ: この認証情報を使用する端末に応じて、web サイトとデスクトップアプリのいずれかを選択します
- ユーザー名: 対象の Web サイトやアプリケーションにログインする際に使用するユーザー名。
- パスワード: 対象の Web サイトまたはアプリケーションにログインするために使用されるパスワード。
  
  メモ
  
  パスワードフィールドは、すべての Web サイトとほとんどの Windows アプリケーション (WinForms、WPF、UWP、WinUI、Win32) でサポートされており、ほとんどのお客様のシナリオに対応しています。 Electron、Java、Unity、ゲーム、コマンドラインインターフェイス、Citrix、その他の仮想化環境など、一部のアプリの種類はサポートされない場合があります。
- ログインドメイン (ウェブサイト) またはデスクトップアプリ名 (デスクトップアプリケーション):
  - Web サイト: メイン Web サイトのアドレス (たとえば、example.com) を入力します。その Web サイト上のすべてのページが自動的に含まれます。サブドメインにはワイルドカード (*) を使用することもできます。例: www.contoso.com、*.contoso.com、contoso.com
  - デスクトップアプリケーション: アプリケーションの製品名またはプロセス名を入力します。これを見つけるには、Ctrl + Shift + Esc キーを押してタスクマネージャーを開きます。次に、プロセス タブを確認します: Microsoft Edge、msedge、Notepad。
Azure Key Vault オプション: このオプションを利用すると、まずサブスクリプション ID、リソースグループ名、キーコンテナー名を入力して、ツール内で認証情報を設定できます。これらの情報はすべて、キーコンテナーの概要ページで確認できます。
- Power Platform で Azure Key Vault シークレットを使用するには:
  - コンテナーを持つ Azure サブスクリプションには、PowerPlatform リソースプロバイダー が登録されている必要があります。
  - 環境変数を作成するユーザーは、Azure Key Vault リソースに対する適切なアクセス許可を持っている必要があります。
- まだ行っていない場合は、Azure Key Vault の構成の手順に従い、以下の詳細情報を入力してください。
  - ユーザー名: 対象の Web サイトやアプリケーションにログインする際に使用するユーザー名。
  - Azure シークレット名: Web サイトまたはアプリケーションのパスワードを格納するキーコンテナー内のシークレットの名前
  - ログインドメイン (ウェブサイト) またはデスクトップアプリ名 (デスクトップアプリケーション):
    - Web サイト: メイン Web サイトのアドレス (たとえば、example.com) を入力します。その Web サイト上のすべてのページが自動的に含まれます。サブドメインにはワイルドカード (*) を使用することもできます。例: www.contoso.com、*.contoso.com、contoso.com
    - デスクトップアプリケーション: アプリケーションの製品名またはプロセス名を入力します。これを見つけるには、Ctrl + Shift + Esc キーを押してタスクマネージャーを開きます。次に、プロセス タブを確認します: Microsoft Edge、msedge、Notepad。

アクセス制御

既定では、コンピューターの使用は任意の Web サイトまたはアプリケーションで動作できます。このアクセスを制限したい場合は、アクセス制御を有効にして、「コンピューターの使用」を制限すべき具体的なURLやデスクトップアプリケーションを指定してください。 Web サイトとアプリケーションの両方を構成できます。

Web サイト: メイン Web サイトのアドレス (たとえば、example.com) を入力します。その Web サイト上のすべてのページが自動的に含まれます。サブドメインにはワイルドカード (*) を使用することもできます。例: www.contoso.com、*.contoso.com、contoso.com
デスクトップアプリケーション: アプリケーションの製品名またはプロセス名を入力します。これを見つけるには、Ctrl + Shift + Esc キーを押してタスクマネージャーを開きます。次に、プロセス タブを確認します: Microsoft Edge、msedge、Notepad。

メモ

アクセス制御では、許可リストに含まれていない Web サイトまたはアプリケーションに対してモデルがアクションを実行できないようにするだけです。モデルが開くのを止めるわけではありません。たとえば、許可リストに microsoft.com と Microsoft Edge しか含まれていない場合でも、モデルは Microsoft Edge の検索バーを使用して Bing を使用することができます。ただし、Bing を開くと、許可リスト内にないため、操作しようとすると失敗します。

コンピューターの使用をテストする

コンピューターの使用のテストは、作成の過程で重要な手順です。名前、説明、手順を入力し、ツールを保存したら、 テストを選択してテストエクスペリエンスを開始します。

短い読み込み期間の後、テストエクスペリエンスが表示されます。

左のパネルには、指示と、ツールの推論とアクションのステップバイステップのログが表示されます。
右側のパネルには、コンピューターの使用に設定したマシンのアクションのプレビューが表示されます。

タスクが終了すると、テストが完了しましたというメッセージが表示されます。テストが進行中であっても、テストの停止を選択することで、コンピューター上のすべてのアクションを直ちに停止することができます。

結果が期待どおりでない場合は、構成ページに移動して手順を調整してください。詳細を追加して精度を向上させます。詳細については、効果的な指示の記述のベストプラクティスを参照してください。

「コンピューターの使用」を含むエージェントを公開する

コンピューターの使用を設定してから、エージェントを公開します。エージェントの実行方法は、シナリオによって異なります。自律型または会話型にすることができます。

自律エージェントは自動的に実行され、バックグラウンドでタスクを実行します。
会話エージェントを使用すると、ユーザーは Microsoft Teams などのチャネルを介して対話できます。

コンピューターの使用は、ユーザーとの対話なしにバックグラウンドでタスクを実行する自律型エージェントに最適です。

会話エクスペリエンスでコンピューターの使用を適用することもできますが、次の考慮事項に留意してください。

認証設定としてユーザーの認証を選択した場合、会話でエージェントと対話する各ユーザーは、「コンピューターの使用」で使用するコンピューターの有効な認証情報が必要となります。
ツールが実行されると、推論メッセージとコンピューターの活動のスクリーンショットがチャットで共有されます。

ベストプラクティス

今日のデジタル環境において生産性と安全性を維持するためには、「コンピューターの使用」に関するベストプラクティスに従ってください。特に、明確な指示を作成したり、コンピューターのセキュリティを確保したりする際には注意が必要です。

コンピューターをセキュリティで保護するためのベストプラクティス

AIが自然言語を使用してタスクを実行できる「コンピューターの使用」向けの機器を設定する際は、以下のセキュリティに関する推奨事項を考慮してください：

セキュリティの推奨事項	追加情報
「コンピューターの使用」に専用のコンピューターを使用する	特定の分離されたマシンを、コンピューターの使用に関係するタスク専用に割り当てます。このアプローチにより、無関係なソフトウェア、マルウェア、または不正アクセスによる相互汚染のリスクが軽減されます。これにより、構成、更新、監視をより効果的に制御できます。
「コンピューターの使用」に使用しているユーザーアカウントにのみ権限を制限する	「コンピューターの使用」用のユーザーアカウントを設定する際は、最小権限の原則に従い、必要なツールを実行するために必要な権限のみを付与するようにしてください。
Web アクセスを特定の信頼できる Web サイトのみの許可リストに制限する	Webアクセスは、吟味された信頼できるドメインの事前定義されたリストにのみ許可します。たとえば、コンピューターの使用に使用されるコンピューターを対象とする Microsoft Edge ポリシー設定を Microsoft Intune で構成できます。
特定のデスクトップアプリの利用を制限する	目的の AI ワークフローに不可欠なアプリケーションのみをインストールし、実行を許可します。不要なソフトウェアへのアクセスを削除または無効にします。たとえば、アプリケーションコントロールを構成して、コンピューター上で実行を許可するアプリケーションを制限することができます。

コンピューターの使用手順に関するベストプラクティス

記述する指示によって、コンピューターの使用がどの程度うまく機能するかが決まります。具体的かつ詳細な指示があれば、「コンピューターの使用」を通じてタスクを正確に遂行することができます。同僚にタスクを説明するようなものだと考えてください。明確なステップバイガイダンスが確実な成功をサポートします。

効果的な説明を書くためのアドバイス:

Web サイトとアプリケーションについて具体的に説明します。 Web サイトの完全な URL と、ツールが使用するアプリケーションの正確な名前を常に含めてください。例: https://www.microsoft.com を開き、「会社のニュース」にアクセスします。
関連するアクションを明確に記述します。何かをしてほしい場合は、明確に伝えてください。特に、フォームの送信やメールの送信といった操作については、これが重要です。例: フォームに記入したら、送信を選択します。許可を求める必要はありません。
複雑な対話を分解します。 UI の操作が複雑になる可能性がある領域については、各手順を詳細に説明します。例: 右上のその他アイコンを選択するとドロップダウンが表示されます。開いたら、リストの最後の項目を選択してください。
長いタスクには段階的な形式を使用します。長い指示は、リストとして書式設定すると従いやすくなります。

指示のサンプル

これらの指示例を参考にして、「コンピューターの使用」を試してみるか、独自の指示を作成する際の参考として使用してください。

シナリオ	名前	内容	方法
請求書処理	請求書の詳細を転送して送信する	PDF から請求書データを転送し、別のフォームに送信します。	1. https://computerusedemos.blob.core.windows.net/web/Contoso/invoice-manager.html に移動し、[日付フィルター] を [過去 24 時間] に設定して、請求書の PDF を開きます。 2. 新しいタブで https://computerusedemos.blob.core.windows.net/web/Contoso/index.html を開き、その PDF のデータをフォームに入力します。請求書フォームを送信し、確認は必要ありません。
データ入力	在庫品目の送信	在庫システムに製品を追加します。	1. https://computerusedemos.blob.core.windows.net/web/Adventure/index.html に移動します。 2. 次の各項目について、新しいエントリを送信します。リアディレイラー、RD-4821、50、42.75、Tailspin Toys ペダルセット、PD-1738、80、19.99、ノースウィンドトレーダーブレーキレバー、BL-2975、35、14.50、Trey Research チェーンリングボルトセット、CB-6640、100、5.25、VanArsdel、Ltd. ボトムブラケット、BB-9320、60、24.90、Tailwind Traders
データ抽出	ポートフォリオマネージャーと値を検索する	ポートフォリオのマネージャ名と値を取得します。	1. https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html に移動します。 2. Fourth Coffee の行を探し、ポートフォリオマネージャーの名前と現在のポートフォリオの価値を表示されているとおりに正確に記録します。 3. これら 2 つの値を最終出力として返します。

データを抽出するためのベストプラクティス

コンピューターの使用を利用して、Web サイトやアプリケーションからデータを抽出する。そして、そのデータをエージェントやエージェント内の他のツールに渡します。 コンピューターの使用に対する指示 に直接抽出する情報を記述します。

抽出したデータを別のツール (電子メールで送信するなど) で使用する場合は、エージェントの指示で その必要性を指定し、両方のツールがエージェントに追加されていることを確認します。例: コンピューターの使用を利用して財務ポートフォリオダッシュボードのクライアント情報を抽出し、抽出したデータを電子メールで送信する。 この場合、エージェントには、コンピューターの使用ツールとメール ツールの両方を含める必要があります。

値をテキストとして抽出する

「コンピューターの使用」に、特定の値を抽出してプレーンテキストとして返すよう指示してください。たとえば、次のプロンプトでは、クライアントの Fourth Coffee のポートフォリオマネージャーとポートフォリオ値が抽出されます。

1. Go to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html.
1. Find the row for Fourth Coffee and record the Portfolio Manager name and the current Portfolio Value exactly as shown.
1. Return those two values as the final output.

エージェントは、要求された 2 つの値のみをテキストとして返します。

JSON として値を抽出する

また、抽出された情報を JSON 形式で返すためにコンピューターの使用を要求することもできます。この形式は、構造化データを別のツールに渡す場合に便利です。次の例では、Contoso に関連するすべてのポートフォリオ行を抽出し、適切な形式の JSON として返します。

Navigate to https://computerusedemos.blob.core.windows.net/web/Portfolio/index.html, retrieve the portfolio details for all Contoso entities, and return the results as a valid JSON object.

Structure the output so that:
*    Each top-level key is the client name
*    Each value contains the client's portfolio ID, portfolio value, portfolio manager, and last updated date (format: YYYY-MM-DD)
*    Return only the JSON, with no additional text.

この方法により、出力が確実に構造化されます。

ライセンス

コンピューターの使用は、エージェントアクション機能を通じて課金され、課金単価は Copilot クレジット 5 単位となります。詳細については、請求料金と管理を参照してください。

「コンピューターの使用」の各実行は、一連の手順を実行する AI モデルに基づいています。 1 つのステップには、クリック、入力、ナビゲーションなど、1 つまたは複数の低レベルの操作が含まれる場合があります。 各ステップごとに 5 Copilot Credit が消費されます。Premium モデルを使用する場合は15 Copilot クレジットが消費されます。

コンピューターの使用には、以下のモデルが使用可能です:

Provider	モデル	レベル	手順ごとのクレジット
OpenAI	コンピューターを使用するエージェント (CUA)	Standard	5
Anthropic	Claude Sonnet 4.5	Standard	5
Anthropic	Claude Sonnet 4.6	Standard	5
Anthropic	Claude Opus 4.6	Premium	15

たとえば、Web ベースのタイムシートフォームにコンピューターの使用を構成した場合、その実行では以下の手順が実行される可能性があります:

ブラウザーを起動し、タイムシートポータルにアクセスします。
新しいタイムシートの作成を選択します。
開始時刻、終了時刻、プロジェクトコード欄に入力します。
送信を選択します。

この例では、コンピューターの使用の実行コマンドは 4 つのステップを実行します。標準モデルを使用する場合、この処理には合計で 20 Copilot クレジットが消費されます。 Premium モデルを使用する場合、合計で 60 Copilot クレジットが消費されます。

コンピューターの使用に関するフィードバックはありますか? computeruse-feedback@microsoft.com でお知らせください。

フィードバック

このページはお役に立ちましたか?

Last updated on 2026-07-30