搭配開發 Proxy 使用本機語言模型

藉由將開發 Proxy 連線到本機語言模型，您可以改善 Dev Proxy 的功能。 選取 [開發 Proxy 外掛程式] 會使用語言模型來改善其輸出，其中涉及自然語言。 藉由使用本機語言模型，您可以受益於改良的功能，而不會產生額外的成本。

必要條件

Dev Proxy 支援 Ollama 作為本機語言模型的主機。 若要在您的電腦上設定它，請遵循 Ollama 檔中的指示。

設定開發 Proxy 以使用本機語言模型

若要將 Dev Proxy 設定為使用本機語言模型，請使用 languageModel 檔案中的 devproxyrc.json 設定。

{
  "languageModel": {
    "enabled": true
  }
}

您可以使用下列選項作為設定的 languageModel 一部分：

選項	描述	預設值
cacheResponses	指定是否要從語言模型快取回應。	true
enabled	指定是否要使用本機語言模型。	false
model	要使用的語言模型名稱。	phi3
url	Ollama 實例的 URL。	http://localhost:11434

根據預設，Dev Proxy 會使用 具有 Phi-3 模型的預設 Ollama 組態。 它也會快取來自語言模型的回應，這表示針對相同的提示，您會收到立即回應，而不需要等待語言模型處理它。

重要

使用本機語言模型時，請務必先啟動 Ollama，再啟動開發 Proxy。

可使用本機語言模型的開發 Proxy 外掛程式

如果有的話，下列 Dev Proxy 外掛程式會使用本機語言模型：

• OpenApiSpecGeneratorPlugin