サンプルチューニング環境でFrontierチューニングを試す

このクイックスタートでは、Frontier Tuningでサンプルのチューニング環境(強化学習環境またはRLEとも呼ばれます)を作成し、そのアーティファクトを検査します。 次に、ベースライン モデルを評価し、モデルを調整して、結果を比較します。

サンプルテンプレートには、既製の成果物とモックデータが用意されているため、独自のビジネスデータを準備する前にワークフローを試すことができます。 ワークフローは CLI を使用します。 API の代替では、テンプレートの検出と環境の作成のみが含まれます。

開始する前に、サービス・アクセス、CLIのインストール、およびモデルを評価およびチューニングするための権限を確認してください。

前提条件

これらの例に従うには、次のものが必要です。

  • チューニング サービスへのアクセスと環境を作成するためのアクセス許可。
  • Frontier Tuning CLI がインストールされている。 Frontier Tuning CLIのインストールと設定を参照してください。
  • 環境内のモデルを評価およびチューニングするためのアクセス許可と使用可能な容量。
  • API 作成の代替手段の場合、サービスに承認されたアクセス トークン。

サンプルに含まれるもの

内容は、選択したテンプレートによって異なります。 テンプレートには次のものを含めることができます。

  • スキル: モデルが何を行うかを説明する命令。
  • 評価基準: 応答を評価するための要件。
  • サンプルとモック データ: シナリオを調べて評価またはトレーニングを試すための入力例。

たとえば、従業員のオンボーディング シナリオでは、架空の従業員情報を使用してチェックリストを生成できます。 スキルはタスクを説明し、評価基準は、応答に必要なトレーニングと最初の週のタスクが含まれているかどうかをチェックします。 この例はわかりやすいものです。テンプレート リストで使用可能なシナリオをチェックします。

サンプルのチューニング環境を作成する

使用可能なテンプレートを確認し、試すシナリオを選択します。 CLI または API を使用して環境を作成します。

CLI を使用する

テンプレートを検出したり、環境を作成したりする前にサインインします。

ftune auth login

テンプレートを一覧表示します。

ftune environments templates list

<template-id>を一覧の ID に置き換えて、その詳細を確認します。

ftune environments templates get <template-id> -o json

選択したテンプレートからチューニング環境を作成します。

ftune environments create --name "My sample RLE" --template-id <template-id>

コマンドによって返された環境 ID を保存します。 以降のコマンドで <environment-id> として使用します。

API を使用する

API は、テンプレートの検出と環境の作成にのみ使用してください。 次に、CLI を使用して環境を検査し、モデルを評価し、チューニングを実行します。

共有例またはキャプチャされた出力にアクセス トークンを含めないでください。

  1. 使用可能なテンプレートを一覧表示します。 <access-token>サービスを承認されたトークンに置き換えます。

    GET https://substrate.office.com/KnowledgeGraph/api/v1.0/Environments/Templates
    Authorization: Bearer <access-token>
    
  2. 応答からテンプレート ID をコピーして、その詳細を取得します。 <template-id>を選択した ID に置き換えます。

    GET https://substrate.office.com/KnowledgeGraph/api/v1.0/Environments/Templates/<template-id>
    Authorization: Bearer <access-token>
    
  3. 選択した templateIdで環境を作成します。

    POST https://substrate.office.com/KnowledgeGraph/api/v1.0/Environments
    Authorization: Bearer <access-token>
    Content-Type: application/json
    
    {
      "displayName": "My sample RLE",
      "description": "Explore tuning with ready-made artifacts and mock data.",
      "templateId": "<template-id>"
    }
    
  4. 応答で返された環境 ID を保存します。 以下 <environment-id> とおりに使用し、CLI にサインインしてから続行します。

    ftune auth login
    

環境を検査する

環境とその内容を確認します。

ftune environments get --env-id <environment-id>
ftune skills list --env-id <environment-id>
ftune samples list --env-id <environment-id>
ftune models list --env-id <environment-id>

スキル リストとサンプル リストは、タスクと入力例を理解するのに役立ちます。 モデル リストには、環境で使用可能なモデルが表示されます。

評価する前に、環境に評価タイプのサンプルが含まれていることを確認します。 既定の評価では、これらのサンプルを使用します。 評価可能で、チューニングの対象となる基本モデルを選択してください。 そのモデルをベースライン評価およびチューニング ジョブに使用します。

ベースライン モデルの評価

<base-model> を選択したモデルに置き換え、評価を開始します。

ftune evaluate start --env-id <environment-id> --base-model <base-model>

応答から評価ジョブ ID をコピーします。 進行状況チェックには、<evaluation-job-id> をその ID に置き換えます。

ftune evaluate status <evaluation-job-id> --env-id <environment-id>

ベースライン評価が正常に完了すると、結果が得られます:

ftune evaluate results <evaluation-job-id> --env-id <environment-id>

調整されたモデル評価と比較するために、ベースライン結果を保持します。

モデルをチューニングする

チューニングの対象となるベース モデルでチューニング ジョブを開始します。 この例では、結果のモデルに my-sample-modelの名前を付けます。

ftune tune start --env-id <environment-id> --base-model <base-model> --new-model my-sample-model

チューニング コマンドによって返されたチューニング ジョブ ID をコピーします。 進行状況チェックには、<tuning-job-id> をその ID に置き換えます。

ftune tune status <tuning-job-id> --env-id <environment-id>

結果のモデルを評価する前に、チューニングが正常に完了するのを待ちます。

調整されたモデルを評価する

モデルを再度一覧表示し、調整されたモデルを特定します。

ftune models list --env-id <environment-id>

<tuned-model-id>を結果のモデルの ID に置き換え、新しい評価を開始します。

ftune evaluate start --env-id <environment-id> --base-model <tuned-model-id>

次のコマンドでは、ベースライン評価 ID ではなく、 新しい評価ジョブ ID を使用します。

ftune evaluate status <evaluation-job-id> --env-id <environment-id>

チューニングされたモデルの評価が正常に完了したら、結果を取得します。

ftune evaluate results <evaluation-job-id> --env-id <environment-id>

結果の比較

同じ評価サンプルと評価基準を使用して、ベースライン モデルと調整されたモデルの結果を比較します。 チューニングによってすべての応答が改善されると仮定するのではなく、サンプル タスクに関係する抽出条件の変化を探します。 スコアの違いを解釈する前に、失敗したツール呼び出しを確認します。

注

サンプル成果物とモック データは、学習と実験を目的としています。 サンプル結果では、ビジネス シナリオのパフォーマンスは確立されません。 本番環境で調整されたモデルを使用する前に、代表的なデータで評価します。