開発プロキシでローカル言語モデルを使用する

開発プロキシをローカル言語モデルに接続することで、開発プロキシの機能を向上させることができます。 開発プロキシ プラグインを選択すると、言語モデルを使用して、自然言語が関係する出力が向上します。 ローカル言語モデルを使用すると、追加のコストを発生させることなく、機能の改善を利用できます。

前提条件

開発プロキシは、ローカル言語モデルのホストとして Ollama をサポートしています。 お使いのコンピューターにセットアップするには、Ollama ドキュメントの指示に従います。

ローカル言語モデルを使用するように開発プロキシを構成する

ローカル言語モデルを使用するように開発プロキシを構成するには、ファイル内の languageModel 設定を devproxyrc.json 使用します。

{
  "languageModel": {
    "enabled": true
  }
}

設定の一部として、次のオプションを languageModel 使用できます。

オプション	説明	規定値
cacheResponses	言語モデルからの応答をキャッシュするかどうかを指定します。	true
enabled	ローカル言語モデルを使用するかどうかを指定します。	false
model	使用する言語モデルの名前。	phi3
url	Ollama インスタンスの URL。	http://localhost:11434

既定では、開発プロキシは Phi-3 モデルで既定の Ollama 構成を使用します。 また、言語モデルからの応答もキャッシュされます。つまり、同じプロンプトの場合、言語モデルが処理するのを待たずにすぐに応答が返されます。

重要

ローカル言語モデルを使用する場合は、開発プロキシを開始する前に必ず Ollama を起動してください。

ローカル言語モデルを使用できる開発プロキシ プラグイン

次の開発プロキシ プラグインでは、ローカル言語モデルが使用されます (使用可能な場合)。

• OpenApiSpecGeneratorPlugin