Dev Proxy でローカル言語モデルを使用する

概要
目標： 開発プロキシ機能用にローカル LLM を構成する
時間: 10 分
Plugins:OpenAIMockResponsePlugin
前提条件:開発プロキシ、ローカル LLM ホスト (例: Ollama) を設定する

開発プロキシをローカル言語モデルに接続することで、開発プロキシの機能を向上させることができます。開発プロキシプラグインを選択すると、言語モデルを使用して、自然言語が関係する出力が向上します。ローカル言語モデルを使用すると、追加のコストを発生させることなく、機能の改善を利用できます。

前提条件

Dev Proxy は、OpenAI 互換 API を公開する言語モデルホストをサポートしています。また、Ollama API もサポートしています。ローカル言語モデルホストを設定するには、そのドキュメントに記載されている手順に従ってください。

ローカル言語モデルを使用するように開発プロキシを構成するには、devproxyrc.json ファイルの languageModel 設定を使用します。

ファイル：devproxyrc.json

{
  "languageModel": {
    "enabled": true
  }
}

languageModel設定では、次のオプションを使用できます。

オプション	説明	既定値
`cacheResponses`	言語モデルからの応答をキャッシュするかどうかを指定します。	`true`
`client`	使用するクライアントのタイプ。使用できる値: `Ollama`、 `OpenAI`	`OpenAI`
`enabled`	ローカル言語モデルを使用するかどうかを指定します。	`false`
`model`	使用する言語モデルの名前。	`llama3.2`
`url`	ローカルの言語モデルクライアントのURL。	`http://localhost:11434/v1/`

デフォルトでは、Dev Proxy は、llama3.2 モデルと Ollama の OpenAI 互換 API を使用する標準の Ollama 構成を使用します。また、言語モデルからの応答もキャッシュされるため、同じプロンプトに対しては、言語モデルによる処理を待たずに即座に応答を取得できます。

重要

ローカル言語モデルを使用する場合は、Dev Proxy を起動する前に、必ずローカル言語モデルクライアントを起動してください。

次の開発プロキシプラグインには、ローカル言語モデルが必要です。ローカル言語モデルを有効にしない場合、開発プロキシは次のプラグインを無効にします。

次の Dev Proxy プラグインでは、ローカル言語モデルが使用されます (使用可能な場合)。

このページはお役に立ちましたか?