演習 - エージェントをテストして改良する

完了済み

テストは、エージェントがその指示に従い、その目的に集中し続け、有用な結果を生み出すことを確認するのに役立ちます。 絞り込みによって、テストから学習した内容が重点的な改善に変わります。

この演習では、一般的な、不完全な、スコープ外の要求を使用して、Customer Meeting Prep エージェントをテストします。 応答を確認し、指示を更新し、もう一度テストして、変更によってエージェントが改善されたことを確認します。

完了すると、エージェントはより一貫性のある会議の準備の概要を生成し、より多くの情報が必要なタイミングを明確に識別します。

Note

一部のオプションの場所または名前は、組織の構成によって異なる場合があります。

エージェントを開いて編集する

エージェント ビルダーで Customer Meeting Prep エージェントを開き、構成をテストして更新できるようにします。

1. Microsoft 365 Copilot Chatを開き、職場アカウントでサインインします。
2. 左側のウィンドウで、 顧客会議の準備を見つけます。
3. エージェントの名前の横にある省略記号 (...) を選択します。
4. [編集] を選択します。
5. Agent Builder でエージェントが開くことを確認します。
6. [ 試してみる ] タブを選択します。

左側のウィンドウにエージェントが表示されない場合は、[ すべてのエージェント ] または [ 新しいエージェント] を選択し、[ すべてのエージェントの表示] を選択します。 顧客会議の準備を見つけ、省略記号 (...) を選択し、[編集] を選択します。

一般的な要求をテストする

まず、エージェントが会議の概要を準備するのに十分な情報を提供する要求から始めます。

1. [ 試してみる ] タブで、前の会話が表示されている場合は [ 新しいチャット ] を選択します。

2. 次の要求を入力します。

   Prepare a meeting brief for Contoso Outdoor Equipment.
   
   The goal of the meeting is to discuss how the customer can improve productivity and security for its hybrid sales team.
   
   Customer information:
   - The company has 75 employees.
   - Its sales team works from the office, at home, and while traveling.
   - Several employee devices are reaching the end of their lifecycle.
   - The IT team wants to simplify device deployment and management.
   - Leadership is concerned about protecting company information on remote devices.
   

3. 要求を送信します。

4. 応答を確認します。

5. 応答が指定された顧客情報に焦点を当てていることを確認します。

6. 不足しているセクション、サポートされていない前提条件、またはより明確に整理できる領域に注意してください。

この応答は、営業チームのメンバーが顧客を理解し、ディスカッション トピックを準備し、会議に役立つ質問を特定するのに役立ちます。

エージェントが不足している情報を処理する方法をテストする

効果的なエージェントは、タスクを完了するのに十分な情報がない場合に認識する必要があります。

1. [ 試してみる ] タブで、[ 新しいチャット] を選択します。

2. 次の要求を入力します。

   Help me prepare for a customer meeting.
   

3. 要求を送信します。

4. エージェントが応答する方法を確認します。

5. 顧客名、目標の達成、または必要なその他の情報が要求されていることを確認します。

6. 顧客情報を捏造していないことを確認してください。

エージェントが詳細情報を要求せずに完全な簡潔な情報を作成する場合、その指示には不完全な要求を処理するためのより明確な境界が必要です。

スコープ外の要求をテストする

関連のない要求をテストすると、エージェントが意図した目的に集中しているかどうかを判断するのに役立ちます。

1. [ 新しいチャット] を選択します。

2. 次の要求を入力します。

   Create a complete annual sales strategy for my organization.
   

3. 要求を送信します。

4. 応答を確認します。

5. エージェントが顧客会議の準備に重点を置いていると説明していることを確認するか、その目的に要求をリダイレクトします。

エージェントは依然として有用ですが、定義された役割の範囲外のタスクを管理するように設計されているかのように振る舞うべきではありません。

エージェントの指示を調整する

テスト中に観察した内容を使用して、エージェントの出力の一貫性を高めます。 この演習では、すべての会議準備の概要に必要な構造を追加します。

1. [ 説明 ] タブを選択します。

2. 次の絞り込みを入力します。

   Update the agent's instructions so every customer meeting preparation brief uses these headings in this order:
   
   1. Customer overview
   2. Meeting goal
   3. Customer priorities
   4. Relevant information
   5. Recommended discussion topics
   6. Suggested questions
   7. Missing information
   
   If information for a section isn't available, clearly state that more information is needed. Don't create or assume customer details that weren't provided by the user or found in the agent's approved knowledge sources.
   

3. 調整内容を送信します。

4. エージェント ビルダーの応答を確認します。

5. [構成] タブをクリックします。

6. [手順] セクションを確認し、必要な見出しと境界が含まれていることを確認します。

7. 必要な編集を行います。

更新された構成を確認し、使用可能な保存または更新コントロールを使用して変更を適用します。

絞り込まれたエージェントをテストする

元のテストを繰り返して、更新された命令によって応答が改善されたかどうかを判断します。

絞り込み前	絞り込み後
一貫性のない構造	必要な見出しを使用します
不足しているセクション	必要なすべてのセクションを含む
不足している情報を省略する場合があります	不足している情報を明示的に識別する
可変組織	一貫性のある出力形式

1. [ 試してみる ] タブを選択します。

2. [ 新しいチャット] を選択します。

3. 次の要求を入力します。

   Prepare a meeting brief for Contoso Outdoor Equipment.
   
   The goal of the meeting is to discuss how the customer can improve productivity and security for its hybrid sales team.
   
   Customer information:
   - The company has 75 employees.
   - Its sales team works from the office, at home, and while traveling.
   - Several employee devices are reaching the end of their lifecycle.
   - The IT team wants to simplify device deployment and management.
   - Leadership is concerned about protecting company information on remote devices.
   

4. 要求を送信します。

5. 新しい応答と最初のテストからの応答を比較します。

6. ブリーフに必要な見出しが使用されていることを確認してください。

7. エージェントが、サポートされていない詳細を作成するのではなく、不足している情報を識別することを確認します。

回答は、最初のテストと一字一句一致する必要はありません。 構造、関連性、明確さ、接地の改善を探します。

目標は、最初の改訂で完璧なエージェントを作ることではありません。 目標は、変更によって測定可能な方法で応答が改善されたことを確認することです。

エージェントを更新する

調整によってエージェントが改善されたことを確認したら、Microsoft 365 Copilot Chat で変更を利用できるようにします。

1. エージェント ビルダーの右上隅にある [ 更新] を選択します。
2. アップデートが終わるまで待ってください。
3. エージェントが正常に更新されたことを確認してください。
4. Microsoft 365 Copilot Chatで顧客会議準備に戻ります。

エージェントをまだ共有しないでください。 他のユーザーと共有する前に、実際のエージェントを追加のシナリオでテストし、組織の要件に従って確認する必要があります。

作業を確認する

顧客会議準備エージェントが一貫して応答し、意図した目的にとどまっていることを確認します。

1. Customer Meeting Prep エージェントを開きます。
2. Contoso の屋外機器の情報を使用して簡単な準備をするように依頼します。
3. 応答に必要な 7 つの見出しが含まれていることを確認します。
4. コンテンツに要求で指定された情報が反映されていることを確認します。
5. 不足している情報が明確に識別されていることを確認します。
6. エージェントがサポートされていない顧客の詳細を追加していないことを確認します。
7. 変更が正常に更新されたことを確認します。

あなたのエージェントには、明確な目的、一貫した出力構造、不足している情報を処理するための指示が備わっているはずです。