Frontier Tuningのツールは、エージェントがチューニング環境で実行できるアクションです。 たとえば、メールの検索、SharePoint ファイルの読み取り、問題の検索などです。 コネクタは、サービスのツールをグループ化します。 ツールの追加、接続、構成は、一度に 1 つのコネクターです。
エージェントの作成者は、使用するデータ ツールと、それらが加えることができる変更を検討します。 ツールの動作は、推論、評価、トレーニングによっても異なります。
ツールの選択が重要な理由
チューニング環境では、次の 3 つの段階でツールを使用します。
| ステージング | 動作 |
|---|---|
| 推論。 | エージェントまたはチューニングされたモデルは、チャットなどでリクエストを処理します。 |
| 評価。 | エージェントがサンプル タスクを完了し、応答が評価基準に照らして評価されます。 |
| トレーニング。 | モデルは、タスクを完了することを学習したときにツールを呼び出します。 |
モデルは、トレーニング中に遭遇したツール (名前、入力、結果、エラーなど) の操作方法を学習します。 推論時のツールの詳細の違いは、モデルの動作に影響を与える可能性があります。
トレーニングは、推論よりもはるかに頻繁にツールを呼び出すことができます。 コネクタを選択する際には、サービス容量とツールによる変更の影響が重要になります。
実際のツール、仮想化されたツール、モック ツール
ツールの種類によって、呼び出しで実際のサービスが使用されるかどうか、および書き込みがどのように動作するかが決まります。
| ツールの種類 | データと動作 |
|---|---|
| 実際のツール。 | 実際のサービスを呼び出し、そのデータ (Outlook メールや SharePoint など) を使用します。 |
| 仮想化されたツール。 | 実際のサービス データを読み取りますが、評価およびトレーニング中に書き込みをインターセプトします。 インターセプトされた書き込みの後の読み取りでは、更新されたデータが返されますが、結果は実際のサービスが返す結果とは異なる場合があります。 |
| モック ツール。 | サービスを呼び出したり、データを使用したりせずに、Microsoft から提供された独自のデータを使用します。 |
読み取り操作では情報を取得します。 書き込み操作では、メッセージの送信やレコードの更新など、何かを作成、変更、または削除します。
現在の v1 CLI では、ツールの種類を Mock または Live として報告できます。 コネクタにはさまざまな種類を含めることができ、省略された種類は不明を意味します。 このメタデータは、承認、ツール呼び出しの成功、または副作用からの解放を確立するものではありません。
各ステージのツールを選択する
ビジネス シナリオの推論で実際のツールを使用します。 評価とトレーニングでは、サービスが負荷を処理できるかどうか、データの使用がプライバシー要件を満たしているかどうか、操作に副作用があるかどうかを検討します。 たとえば、メッセージを読むときに、そのメッセージを既読としてマークすることができます。
ツールの動作はステージによって異なります。 次の表は、サポートされているコネクタの一覧ではありません。
| ツールの動作 | 推論 | 評価とトレーニング |
|---|---|---|
| 仮想化をサポートする実際のツール。 | 書き込み操作を含めて、実際のサービスを呼び出します。 | 実際のデータを読み取り、サポートされている書き込みをインターセプトします。 |
| 読み取り専用の評価とトレーニングに限定された実際のツール。 | 書き込み操作を含めて、実際のサービスを呼び出します。 | 読み取り専用としてマークされたツールを実行します。 読み取り専用マーキングのないツールを含む書き込みツールの呼び出しは失敗します。 |
| Microsoft 提供のモック ツール。 | この記事では説明しません。 | サンプル シナリオ用に指定されたモック データを使用します。 |
モック ツールを使用した評価またはトレーニングの場合は、提供されたデータに適合するタスク、サンプル、および評価基準を選択します。 モック シナリオの結果では、ビジネス データのパフォーマンスが確立されません。
コネクタ接続のライフサイクル
検出、コネクタとツールの有効化、承認、ステージの選択、ランタイム検証には、さまざまな目的があります。
| 操作 | 目的 |
|---|---|
| コネクタを検出する。 | テナント、環境、共有アクセスで使用できるコネクタを特定します。 |
| コネクタを有効にします。 | 個々のツール設定とカタログ ポリシーに従って、そのツールを使用できるようにします。 |
| 個別のツールを有効にします。 | サポートされている環境コネクタで 1 つのツールの設定を変更します。 コネクタとツールの両方を有効にする必要があります。 |
| 接続を承認します。 | コネクタでサインインが必要な場合は、サービスに接続します。 サービスの Web サイトへのサインインだけでは、コネクタは接続されません。 |
| コネクタを確認します。 | 保存した有効化、サインイン状態、ツール、ステージ ラベルを確認します。 これらは、ツール呼び出しが成功したことを示すものではありません。 |
| ステージを選択します。 | コネクタ全体のラベル ( Inference、 Evaluation、 Finetuning) を選択します。 |
| ツール呼び出しを確認します。 | 完了したチャット応答だけでなく、選択したツールの実行トレースと結果を調べます。 |
現在の v1 CLI では、ラベルの更新によって前の選択が置き換えられます。 保存されていない選択範囲は、デフォルトで 3 つのステージすべてに設定されます。明示的に空の選択では、カタログ コネクタは 3 つすべてから除外されます。 保存された更新は、まだすべての実行で有効であるとは限りません。新しいトレーニング ジョブを開始する前に 5 分間待ちます。 実行中のジョブは、開始コネクタ設定を保持します。
接続フローによってサインイン リンクが提供されたら、通常のブラウザーで開き、そこでアクセスを承認します。 別のアプリに埋め込まれたブラウザーが接続に失敗した場合は、代わりに通常のブラウザーを使用してください。
コネクタ カタログ以外の直接カスタム MCP ソースは、現在の v1 CLI のカタログ検出またはコネクタの詳細に表示されません。 既に構成されているカスタム ホストの場合は、再起動後および予想される負荷の下でのサービスの到達可能性、認証、動作をチェックします。 実行トレースとホスト ログは、そのツール呼び出しの証拠を提供します。
モック ツールとサンプル環境
Microsoft では、独自のデータを含むモック コネクタを提供しています。 現在の v1 CLI では、サービス所有のカタログモックは、他のカタログコネクタと同じ検出、検査、および有効化コマンドを使用します。 モック コネクタでは、実際のサービスにサインインする必要はありません。
最初の有効化は、環境のモック パッケージを保存します。 無効にすると、保存されたパッケージと設定が保持されます。削除すると、保存されたパッケージではなく、環境の登録と設定が削除されます。 登録を削除しても、テスト データが消去されたり、モックがリセットされたことの確認にはなりません。
サンプルのチューニング環境には、シナリオのスキル、評価基準、サンプル、モック データを含めることができます。 その内容は、選択したテンプレートによって異なります。 ワークフローを調べるには、 サンプル・チューニング環境でFrontierチューニングを試すを参照してください。
準備状況を確認し、小規模から始める
評価またはトレーニングの前に、次の条件を確認してください。
- 選択したツールとデータは、タスクと評価基準に適合します。
- サービスは、予想されるツール呼び出しの負荷を処理できます。
- 実際のサービス データを使用することは、プライバシー要件を満たしています。
- 読み取りおよび書き込み操作には、選択したステージで予想される副作用があります。
保存された設定と connected サインイン状態は、実行時呼び出し可能性を証明しません。 現在の v1 品質チェックでは、作成されたアセットがスコア付けされ、サービス実行が開始または参加されます。そのレポートは、選択したツールが正常に実行できることを証明するものではなく、CLI はそのコストを見積もりません。 大規模な実行の前に、承認された無害なショート実行を使用し、目的のツールのトレースと結果を検査します。
小規模な評価から始めて、大規模な評価やトレーニングを実行する前に、失敗したツール呼び出しの結果を調べます。 スロットリングとタイムアウトは、評価スコアとモデルが学習する内容に影響を与える可能性があります。
制限事項
コネクタ設定とモック データの制限は、さまざまなレベルで適用されます。
- ステージ ラベルは、ツールとインスタンスを含むカタログ コネクタ全体に適用され、カタログ ポリシーと有効化の対象となります。 ラベルはホストされたモック バインディングや組み込みツールを制限しないため、ラベルだけでは実行をモックのみにすることはできません。
- 現在の v1 CLI では、サポートされている環境コネクタの個別のツール切り替えがサポートされており、組み込みソース内の個別のアクションはサポートされていません。 ツールを有効にしても、無効なコネクタは有効になりません。
- インスタンス構成を通じて管理されるコネクタでは、コネクタ全体の切り替えはサポートされていません。
- 現在の v1 CLI では、カスタム モックの作成または生成は提供されません。 Microsoft 提供のモック データの置き換えのサポートは未確認のままです。