Frontier Tuning plugin for GitHub Copilot を使用してエージェントとスキルを構築して評価する (プレビュー)

GitHub Copilot 用の Frontier チューニング プラグインを使用して、ワークフローをチューニング環境でレビューされたスキル、サンプル、評価基準に変換します。 次に、ベースラインを評価し、回答とスコアを検査して、変更が必要かどうかを判断します。 満足のいくベースラインで停止できます。モデルのトレーニングと公開はオプションです。

GitHub Copilot が会話をホストし、プラグインがチューニング ガイダンスを提供し、Frontier Tuning CLI がサービス操作を実行します。 これは GitHub Copilot のメーカー ワークフローであり、Microsoft 365 Copilot Cowork の個別の専門家貢献の過程ではありません。 チューニング環境とアーティファクトのコンテキストについては、 チューニング プロセスを参照してください。

開始する前に、GitHub Copilot と Frontier チューニングへのアクセスを確認します。 「 前提条件」でソフトウェアと認証の要件を確認します。

前提条件

  • GitHub Copilot CLI アクセス (「GitHub Copilot CLI のインストール」で説明されている資格、組織のポリシー アクセス、インストール、ホスト サインインを含む)。 GitHub Copilot アプリは代替ホストです。
  • Frontier Tuning サービスへのアクセスは、実行する予定のアクションに対して承認されたアカウントでアクセスできます。
  • プラグインのドラフトで指定されている Frontier Tuning CLI バージョン 1.0.17 以降。 サービス操作の前に 、手動セットアップ手順 に従います。
  • 要求、予想される回答、エッジ ケース、エージェントが拒否する必要がある要求の代表的な例を記述し、代表的な例を示すワークフロー。

プラグインのインストールと検証

このドラフトのプライマリ ルートとして、ターミナル マーケットプレースのインストールを使用します。 GitHub ドキュメント 一般的なマーケットプレースとリポジトリのインストール、一覧表示、更新、削除については、「GitHub Copilot CLI 用のプラグインの検索とインストール」を参照してください。 このガイダンスを使用して、ホストとマーケットプレースを設定します。

ターミナル マーケットプレース ルート (プライマリ) を使用する

指定リストのアクセスが確認された後:

  1. プラグインをインストールします。

    copilot plugin install frontier-tuning@awesome-copilot
    
  2. インストールされたプラグインと、frontier-tuningがインストールされて有効になっているチェックを一覧表示します。

    copilot plugin list
    
  3. 新しい GitHub Copilot セッションを開始します。

別のインストール ルートを使用する

これらの代替案も確認が必要です。 インストール後、インストールされているプラグインをチェックし、新しいセッションを開始してから、同じ CLI セットアップとベースライン タスクを続行します。

  • GitHub Copilotアプリ: このビルドがソースのアプリ ルートをサポートしている場合は、左側のナビゲーションで [カスタマイズ] を選択し、[プラグイン] に移動して frontier-tuning を検索して、Frontier チューニング プラグインをインストールします。

  • Direct repository: リポジトリがアクセスに対してサポートされている確認済みルートである場合は、ソース コマンドを使用します。

    copilot plugin install microsoft/frontier-tuning-ghcp-plugin
    

Frontier Tuning CLI の設定とチェック

プライマリパスにFrontier Tuning CLIを手動で設定します。 GitHub Copilot ホストのサインインと Frontier Tuning サービスのサインインは別々です。

  1. Frontier Tuning CLI ドキュメントの公式インストーラー手順に従います。 続行する前に、インストーラーの効果を確認します。文書化されたインストーラーは、Python と依存関係を取得し、 PATH またはシェル構成を更新できます。

  2. インストールされているバージョンを、プラグインで記載されている最小値 1.0.17 と照合します。

    frontier-tuning --version
    
  3. 自分の端末で自分自身でサインインします。 目的のアカウントを選択し、プレビュー条件に同意または拒否します。

    frontier-tuning auth login --interactive
    
  4. 認証とサービス アクセスを確認します。

    frontier-tuning auth check
    

アクセスが拒否された場合は、チェック コマンドのガイダンスに従います。 認証チェックを後で変更するための承認として扱うのではなく、必要な特定の同意またはアクセス許可を確認します。

プラグイン支援セットアップの場合は、提案されたインストールとその効果を確認してから承認します。 自分で対話型サインインを完了します。アカウントの選択や条項の同意を Copilot に委任しないでください。

チューニング環境を作成または選択する

以下のサポートチケットの例を使用するか、独自のワークフローを説明してください。 提案された成果物は、固定されたテンプレートではなく、会話に依存します。

  1. 新しいセッションで、次のように入力します。

    Create a tuning environment for triaging support tickets.
    
  2. 別のチューニング環境を作成する前に、既存のチューニング環境がタスクに適合しているかどうかを確認します。 サービスから返される実際の ID を使用して、ターゲット環境とスキルを確認します。

  3. 新しい環境の場合は、要求と適切な回答の内容を説明します。 作成を承認する前に、提案された名前、説明、スキルの指示、最初の評価条件、プロンプトの例を確認します。

  4. エッジ ケースやエージェントが拒否する必要がある要求など、代表的なサンプルを確認します。 どのサンプルが評価用で、どのサンプルがトレーニング用であるかを確認します。

  5. チャットで作成された下書きを修正し、保存するコンテンツのみを承諾します。 受け入れられたアーティファクトを保存し、ターゲット環境から読み戻すように Copilot に依頼します。

Chat の提案は、保存する前にレビューが必要です。 サービスによって生成される品質チェックは異なる操作です。 次のセクションで説明するように、すぐに保存されます。

既存の作業を再開するには、「サポート チケット スキルのチューニングを続行する」と入力します。 ターゲットと現在保存されているコンテンツをもう一度確認します。以前のチャットは、環境の現在の状態の証拠ではありません。

評価前に品質チェックを確認する

評価基準は、何が答えを良いものにするのかを定義します。 チケットのトリアージの場合、ソースの例として、適切な優先順位を割り当て、正しいチームにルーティングすることが含まれます。

  1. ワークフローに対して提案されたチェックを確認します。 不明確な文言を修正するか、間違った行動に報いるチェックを行います。
  2. サービス生成の品質チェックを選択する場合は、コストを承認し、生成前にすぐに保存します。 チャットで作成された提案とは異なり、この操作により小切手がすぐに保存されます。
  3. ベースラインに含める前に、保存されたチェックとその有効な状態を調べます。 使用する前にその文言を受け入れてください。その世代が無効にしたと思い込まないでください。
  4. オプショナルの準備状況評価を要求するか、ベースラインに直接移動するかを決定します。 提案された評価と考えられる料金を個別に確認します。

専門家のレビューが役立つ場合は、評価前に手配してください。 専門家を共同作成者として追加する提案には、人物、アクセス許可、およびその役割を付与する権限の確認が必要です。コンテンツの承認だけではアクセス権は付与されません。

ベースラインの評価と検査

エージェントを変更する前に、小規模な最初の評価を使用して現在のパフォーマンスを理解します。

  1. 保存された環境のベースライン評価を提案するよう Copilot に依頼します。
  2. ターゲット、サンプル、有効な品質チェック、モデル、繰り返し数、ジョブを確認します。 情報源は、バリエーションを調べたいときに 3 つの繰り返しを提案しています。最低でも 3 つは必須ではありません。
  3. 評価を開始する前に、評価の範囲と可能な Frontier チューニング料金を承認します。 コマンド ツールの承認はコストの承認ではありません。
  4. 目的の環境のために、返されたジョブ ID と結果 ID を検査します。 サービス ジョブの実行中に進捗状況を尋ね、結果を解釈する前に最終結果を確認します。
  5. 各サンプルの実際の回答、スコア、採点を確認します。 低得点の回答とは別に得点されなかったランを調べます。 「最新の評価結果を説明してください」と質問することができます。
  6. ベースラインがニーズを満たしているかどうかを判断します。 その場合は、変更せずに停止します。

Copilot に評価レポート ファイルの作成を依頼することもできます。 保存または共有する前に、宛先と含まれるデータを確認してください。ソースはレポート パスまたは形式を確立していません。

1 つの変更を加えて比較する

ベースラインで対処する価値のある問題が明らかになった場合にのみ続行します。

  1. 修正を提案する前に、Copilot にエラーの調査を依頼します。 各エラーが回答、ワークフローの指示、または不明確な品質チェックに起因しているかどうかを確認します。
  2. 提案された 1 つの焦点を絞った変更を完全にレビューします。 問題が解決されたら命令の編集から始めて、改善すべきものと変更しない必要があるものを特定します。
  3. 変更を承認し、Copilot が適用して読み返した後、保存されたコンテンツを調べます。
  4. 一致する再評価 (可能な料金を含む) を確認して個別に承認します。 サンプル、品質チェック、繰り返しは変更されません。 いずれかがテスト中の変数でない限り、モデルと推論戦略は変更しないでください。
  5. 回答とスコアをサンプルごとにベースラインと比較してください。 変更を保持するか、以前のバージョンを復元するか、別の変更を試すか、または停止するかを決定します。

サンプルや品質チェックなどの測定を変更する場合は、改善を主張する前に新しいベースラインを確立します。 バージョンを保持または復元した後、保存された状態を確認します。正確な比較と復元の動作についてはまだ検証が必要です。

その他の機能強化はオプションであり、さまざまな効果があります。

オプション 続行する前にの決定
命令の絞り込み。 提案された命令の編集を保存する前に確認します。 情報源は、リファインメントをモデルウェイトトレーニングではなく、有償サービスジョブとして説明しています。
推論戦略。 回答が異なる場合は、BestOfN または TreeSearch を検討してください。 モデルの適格性と定期的な使用料金を確認します。推論検索はウェイト トレーニングではありません。
モデルの重み付けトレーニング。 命令の変更が役に立たなくなった場合にのみ考慮してください。 ソースと CLI リファレンスでは、初期ベースライン用ではなく、モデル チューニング用に少なくとも 11 個のトレーニング サンプルが指定されています。 適用可能なカウント範囲を確認し、評価サンプルを個別に保ちます。

個別の決定後にのみ公開する

このタスクを完了するのに公開は必要ありません。 選択した場合は、現在保存されているバージョン、正確な保存先、対象ユーザーまたはスコープを確認してから、個別の公開承認を与えます。 実際のサービス結果を検査し、公開の成功と、目的のユーザーへの検証された可用性を区別します。

該当するサービス・パブリケーション操作には、 Frontier Tuning CLI ドキュメント を使用してください。 Copilot Cowork でプラグインを使用する Frontier で生成されたパッケージの証明ではなく、一般的な Cowork ライフサイクルについて説明します。 推論モデルの変更は別のアクションであり、公開ではありません。

承認、使用状況、データを理解する

これらの決定は、会話全体を通して分けておきます。

  • ホストでのコマンドの実行を承認します。
  • 提案されたコンテンツと保存状態の変更を受け入れます。
  • 各有償操作の範囲と考えられるコストを承認します。
  • アクセス許可または接続サービス アクセスを承認します。
  • 特定のコピー先とスコープへの公開を承認します。

GitHub Copilot の会話とモデルの使用により、プランとポリシーに従って GitHub AI クレジットが使用されます。 「 個人向けの使用量ベースの請求」 または 「組織と企業向けの使用量ベースの請求」を参照してください。 すべてのプランに同じ含まれている手当があると思い込まないでください。

GitHub ホストの使用状況とは別に、Frontier チューニング サービスの使用状況を確認します。 プラグイン ソースには、評価、生成、改良、トレーニングなどの操作に対する個別のサービス料金が記載されており、サービスの使用状況は通貨ではなくトークンで記述されています。 GitHub クレジット価格を使用して Frontier チューニングの料金を見積もらないでください。

保存された環境アーティファクトを使用すると、サービス状態から作業を再開できます。 これは、チャット、プロンプト、ツール出力、レポート、または診断がホストまたはサービス ストレージに存在しないことを確立するものではありません。

プラグインを更新または削除する

GitHub のプラグイン メンテナンス ガイダンスに従って、organization のプラグイン ポリシーに従います。

  1. インストールされているプラグイン名を copilot plugin list で確認します。

  2. ソースの名前付きプラグインを更新するには、次を実行します:

    copilot plugin update frontier-tuning
    
  3. 更新後、新しい Copilot セッションを開始します。

削除する場合は、GitHub ドキュメントが copilot plugin uninstall NAME。 確認済みのインストール名が frontier-tuning で、ポリシーで削除が許可されている場合、対応するコマンドは次のようになります。

copilot plugin uninstall frontier-tuning

アプリの代替では、ソースは Customize>Plugins の下に更新と削除を配置します。 サポートされているアプリ ビルドのナビゲーションを確認します。

セットアップの問題を確認する

新規インストールや有料ジョブではなく、症状から始めてください。

  1. Copilot に "Frontier チューニングのセットアップの診断" を依頼します。変更を承認する前に、提案されたチェックと最小の修正を確認します。
  2. Copilot がプラグインを認識しない場合は、copilot plugin list を実行し、frontier-tuningが有効になっているかどうかをチェックして、新しいセッションを開始します。
  3. サインインが失敗するか期限切れになった場合は、ターミナルで frontier-tuning auth login --interactive を実行してから、再度アクセスチェック。

ソースは、バージョン、認証、ジョブ チェックを最初に推奨します。 インストールされた CLI ビルドに対する効果を確認します。CLI リファレンスでは、通常のコマンド実行時の自動更新が記述されているため、診断操作はローカルでの変更が起こらないという保証ではありません。