Wtyczka OpenAIMockResponsePlugin

Symuluje odpowiedzi z usług Azure OpenAI i OpenAI przy użyciu lokalnego modelu językowego.

Przykład konfiguracji

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v2.2.0/rc.schema.json",
  "plugins": [
    {
      "name": "OpenAIMockResponsePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll"
    }
  ]
}

Właściwości konfiguracji

Brak

Opcje wiersza polecenia

Brak

Uwagi

Wtyczka OpenAIMockResponsePlugin symuluje odpowiedzi z usług Azure OpenAI i OpenAI przy użyciu lokalnego modelu językowego. Użycie tej wtyczki umożliwia emulowanie przy użyciu modelu językowego w aplikacji bez nawiązywania połączenia z usługą OpenAI lub Azure OpenAI i ponoszenia kosztów.

Wtyczka używa konfiguracji modelu języka serwera proxy dev do komunikowania się z lokalnym modelem językowym. Aby użyć tej wtyczki, skonfiguruj serwer proxy deweloperów do korzystania z lokalnego modelu językowego.

Ważne

Dokładność odpowiedzi wygenerowanych przez wtyczkę zależy od używanego modelu języka lokalnego. Przed wdrożeniem aplikacji w środowisku produkcyjnym należy przetestować ją przy użyciu modelu językowego, który ma być używany w środowisku produkcyjnym.

Wtyczka OpenAIMockResponsePlugin obsługuje następujące punkty końcowe interfejsu API openAI:

• Ukończenie czatu (/v1/chat/completions) — używa messages tablicy i zwraca z choices polamicompletion_tokensprompt_tokens/użycia
• Interfejs API odpowiedzi (/v1/responses) — używa input tablicy i zwraca z output polami input_tokens/output_tokens użycia

Wtyczka nie obsługuje innych punktów końcowych interfejsu API interfejsu OpenAI.

Następny krok

Symulowanie interfejsu API usługi Azure OpenAI