다음을 통해 공유

개발자 프록시와 함께 로컬 언어 모델 사용

개발 프록시를 로컬 언어 모델에 연결하면 개발자 프록시의 기능을 향상시킬 수 있습니다. 개발자 프록시 플러그 인을 선택하여 언어 모델을 사용하여 자연어를 포함하는 출력을 개선합니다. 로컬 언어 모델을 사용하면 추가 비용 없이 향상된 기능을 활용할 수 있습니다.

필수 조건

Dev Proxy는 OpenAI 호환 API를 노출하는 언어 모델 호스트를 지원합니다. 또한 Ollama API를 지원합니다. 로컬 언어 모델 호스트를 구성하려면 해당 설명서의 지침을 따릅니다.

로컬 언어 모델을 사용하도록 개발 프록시 구성

로컬 언어 모델을 사용하도록 개발 프록시를 구성하려면 파일의 languageModel 설정을 devproxyrc.json 사용합니다.

{
  "languageModel": {
    "enabled": true
  }
}

설정의 일부로 languageModel 다음 옵션을 사용할 수 있습니다.

옵션 설명 기본값
cacheResponses 언어 모델에서 응답을 캐시할지 여부를 지정합니다. true
client 사용할 클라이언트의 유형입니다. 허용되는 값: Ollama, OpenAI OpenAI
enabled 로컬 언어 모델을 사용할지 여부를 지정합니다. false
model 사용할 언어 모델의 이름입니다. llama3.2
url 로컬 언어 모델 클라이언트의 URL입니다. http://localhost:11434/v1/

기본적으로 Dev Proxy는 Ollama의 OpenAI 호환 API를 사용하여 llama3.2 모델과 함께 표준 Ollama 구성을 사용합니다. 또한 언어 모델의 응답을 캐시합니다. 즉, 동일한 프롬프트의 경우 언어 모델이 이를 처리할 때까지 기다리지 않고 즉각적인 응답을 받습니다.

중요합니다

로컬 언어 모델을 사용하는 경우 Dev Proxy를 시작하기 전에 로컬 언어 모델 클라이언트를 시작해야 합니다.

로컬 언어 모델을 사용할 수 있는 개발자 프록시 플러그 인

다음 개발자 프록시 플러그 인은 사용 가능한 경우 로컬 언어 모델을 사용합니다.