藉由將開發 Proxy 連線到本機語言模型，您可以改善 Dev Proxy 的功能。 選取 [開發 Proxy 外掛程式] 會使用語言模型來改善其輸出，其中涉及自然語言。 藉由使用本機語言模型，您可以受益於改良的功能，而不會產生額外的成本。
必要條件
Dev Proxy 支援公開與 OpenAI 相容的 API 的語言模型主機。 它還支援 Ollama API。 要配置本地語言模型主機，請按照其文檔中的說明進行作。
設定開發 Proxy 以使用本機語言模型
若要將 Dev Proxy 設定為使用本機語言模型，請使用 languageModel 檔案中的 devproxyrc.json 設定。
{
"languageModel": {
"enabled": true
}
}
您可以使用下列選項作為設定的 languageModel 一部分：
| 選項 | 描述 | 預設值 |
|---|---|---|
cacheResponses |
指定是否要從語言模型快取回應。 | true |
client |
要使用的客戶端的類型。 允許值︰Ollama 和 OpenAI |
OpenAI |
enabled |
指定是否要使用本機語言模型。 | false |
model |
要使用的語言模型名稱。 | llama3.2 |
url |
本地語言模型用戶端的 URL。 | http://localhost:11434/v1/ |
默認情況下，Dev Proxy 使用 Ollama 的標準 Ollama 配置和 llama3.2 模型，並使用 Ollama 的 OpenAI 相容 API。 它也會快取來自語言模型的回應，這表示針對相同的提示，您會收到立即回應，而不需要等待語言模型處理它。
重要
使用本地語言模型時，請務必在啟動 Dev Proxy 之前啟動本地語言模型用戶端。
可使用本機語言模型的開發 Proxy 外掛程式
如果有的話，下列 Dev Proxy 外掛程式會使用本機語言模型：
