これらのよくある質問 (FAQ) では、デスクトップ用 Power Automate の実行時に Copilot で修復機能が AI に及ぼす影響について説明します。
ランタイムの Copilot による修復機能とは何ですか?
デスクトップ用 Power Automate では、一般的な問題は、実行時の UI および Web オートメーション アクション中に UI 要素を見つけられないことです。 この問題に対処するために、この機能により、デスクトップ用 Power Automate では Copilot 機能を使用して、エラー時に必要な UI 要素を自動的に特定できます。 このようにして、実行が続行され、自動化が正常に完了し、必要な目標が達成されます。
実行時に Copilot を使用した修復機能は何ができますか?
この特定の機能は、Copilotを使用して、UIおよびブラウザーの自動化に関連する問題を実行時に自動的に修復する機能をユーザーに提供します。 より具体的には、次のとおりです:
- この機能が適用されるのは、クラウド フローの一部としてアテンド型または非アテンド型モードで Power Automate ポータルを介してデスクトップ フローが実行された場合 (アクション "デスクトップ用 Power Automate で構築されたフローを実行する" を使用)、操作する UI 要素が見つからないために UI/ブラウザー自動化アクションが失敗しそうになったときに適用されます。
- デスクトップ用 Power Automate は、Copilot への入力として、UI 要素 (無効) の 1 つ以上の古いセレクターと、それぞれのウィンドウ/ペイン/Web タブに含まれるすべての UI 要素の階層ツリーを提供します。
- Copilot は、指定された階層ツリー内の UI 要素を検索し、出力として UI 要素 ID (ツリー内の一意の識別子) を持ちます。
- デスクトップ用 Power Automate は、指定された UI 要素の新しいセレクターを生成し、古いセレクターを修復します。
- アクションは、新しい修復されたセレクターで実行され、フローの実行が続行されます。
- ユーザーは、修復されたセレクターを特定の実行のコンテキストでのみ使用するか、修復されたセレクターを将来の実行のために保存することもできます。
システムの使用目的は何ですか？
- 関連する UI 要素のセレクターが 1 つ以上無効であっても、UI/ブラウザーの自動化アクションを実行できます。
- UI 要素のセレクターは、ユーザーが自動的に修復して保存できるため、特定のフローの将来の実行の成功率を高めることができます。
実行時に Copilot で修復する機能はどのように評価されましたか? パフォーマンスの測定にはどのようなメトリックが使用されますか?
デスクトップ用 Power Automate のこの機能は、設計、開発、リリースの各フェーズで実際のシナリオに対して評価されています。 調査とビジネスへの影響調査を組み合わせて、精度、有用性、AI サービス信頼性など、コパイロットに関するさまざまな定量的および定性的指標を評価しました。 私たちは、モデルのパフォーマンスとその結果としてのカスタマー エクスペリエンスを測定するために、追跡している強固な測定基準を用意しています。 私たちは、その機能が常に利用可能であることを確認するために、その機能の SLA に従います。 私たちは、フィードバックを提出できる各 AI アウトプットの UI エクスペリエンスに存在する親指を立てるジェスチャーと親指を下げるジェスチャーのテレメトリーを追跡します。
実行時にユーザーに修正を提案する機能の制限は何ですか? システムの使用時に、実行時にユーザーに修正を提案する機能の制限の影響を最小限に抑えるにはどうすればよいでしょうか。
- この機能は現在、米国内の環境向けにプレビュー中で、英語しかサポートしていません。
- この機能は現在、職場または学校アカウントでのみ使用できます。
- この機能は、クラウド フローの一部としての Power Automate ポータルを介したアテンド型または非アテンド型の実行のみを参照します (アクション "デスクトップ用 Power Automate で構築されたフローを実行する" を使用)。
- この機能は、既存のセレクターが有効でないために UI 要素が見つからない、つまり UI/ブラウザー自動化アクションの実行時に画面内の要素を正常に見つけることができない場合にのみ修正できます。
- この機能は、リーフレベルの UI 要素の問題のみに対処できます。無効な画面のセレクターは処理されません。
- 通知ウィンドウがユーザーが操作するまで待機する特定の時間枠があります。 ウィンドウが閉じた後、修正プログラムは適用されず、アクションは失敗します。
- この機能は、デスクトップ用 Power Automate 、管理センター、またはデスクトップ フローのプロパティ ウィンドウから完全に無効にすることができます。
デスクトップ用 Power Automate の機能を効果的に責任を持って利用できるようにするには、どのような運用要因や設定がありますか?
- このシステムは、クラウド フローの一部として、Power Automate ポータル コンポーネントを介したデスクトップ フローのアテンド型および非アテンド型の実行でのみ使用できます (アクション "デスクトップ用 Power Automate で構築されたフローを実行" を使用)。
- この機能は、特定のデスクトップ フロー (そのプロパティを使用) に対してオフにすることも、Power Platform 管理センターで環境全体に対してオフにすることもできます。
- 通知ウィンドウは、提案が AI を使用して生成されたことを示します。
- Copilot が UI 要素を提案し、それが修復されたセレクターである場合、レコメンデーションを有効にするには、ユーザーがそれを承認する必要があります。 ユーザーはそれを拒否し、(画面内のそれぞれの UI 要素を手動で指定して) 手動で問題を修正するか、実行を失敗させることができます。
- ユーザーが特定の UI 要素に対して生成、修復したセレクターを保存した場合、いつでもこれを編集または削除することができます。