Simulación de errores de las API de OpenAI

Al usar las API de OpenAI en la aplicación, debe probar cómo controla la aplicación los errores de API. El proxy de desarrollo permite simular errores en cualquier API de OpenAI mediante GenericRandomErrorPlugin.

Sugerencia

Descargue este valor preestablecido ejecutando en el símbolo del sistema devproxy config get openai-throttling.

En la carpeta de instalación del proxy de desarrollo, busque la config carpeta . En la carpeta config, cree un nuevo archivo denominado openai-errors.json. Abra el archivo en un editor de código.

Cree un nuevo objeto en la plugins matriz que haga referencia a GenericRandomErrorPlugin. Defina la URL de la API de OpenAI para que el plugin pueda monitorear y añada una referencia a su configuración.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/rc.schema.json",
  "plugins": [    
    {
      "name": "GenericRandomErrorPlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll",
      "configSection": "openAIAPI",
      "urlsToWatch": [
        "https://api.openai.com/*"
      ]
    }
  ]
}

Cree el objeto de configuración del complemento para proporcionar al complemento la ubicación de las respuestas de error.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/rc.schema.json",
  "plugins": [    
    {
      "name": "GenericRandomErrorPlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll",
      "configSection": "openAIAPI",
      "urlsToWatch": [
        "https://api.openai.com/*"
      ]
    }
  ],
  "openAIAPI": {
    "errorsFile": "errors-openai.json"
  }
}

En la misma carpeta, cree el errors-openai.json archivo. Este archivo contiene las posibles respuestas de error que se pueden devolver cuando el complemento envía una respuesta de error.

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v1.0.0/genericrandomerrorplugin.schema.json",
  "errors": [
    {
      "request": {
        "url": "https://api.openai.com/*"
      },
      "responses": [
        {
          "statusCode": 429,
          "headers": [
            {
              "name": "content-type",
              "value": "application/json; charset=utf-8"
            }
          ],
          "body": {
            "error": {
              "message": "Rate limit reached for default-text-davinci-003 in organization org-K7hT684bLccDbBRnySOoK9f2 on tokens per min. Limit: 150000.000000 / min. Current: 160000.000000 / min. Contact support@openai.com if you continue to have issues. Please add a payment method to your account to increase your rate limit. Visit https://beta.openai.com/account/billing to add a payment method.",
              "type": "tokens",
              "param": null,
              "code": null
            }
          }
        },
        {
          "statusCode": 429,
          "headers": [
            {
              "name": "content-type",
              "value": "application/json; charset=utf-8"
            }
          ],
          "body": {
            "error": {
              "message": "Rate limit reached for default-text-davinci-003 in organization org-K7hT684bLccDbBRnySOoK9f2 on requests per min. Limit: 60.000000 / min. Current: 70.000000 / min. Contact support@openai.com if you continue to have issues. Please add a payment method to your account to increase your rate limit. Visit https://beta.openai.com/account/billing to add a payment method.",
              "type": "requests",
              "param": null,
              "code": null
            }
          }
        },
        {
          "statusCode": 429,
          "addDynamicRetryAfter": true,
          "headers": [
            {
              "name": "content-type",
              "value": "application/json; charset=utf-8"
            }
          ],
          "body": {
            "error": {
              "message": "The engine is currently overloaded, please try again later.",
              "type": "requests",
              "param": null,
              "code": null
            }
          }
        }
      ]
    }
  ]
}

Inicie el proxy de desarrollo con el archivo de configuración:

devproxy --config-file "~appFolder/config/openai-errors.json"

Cuando usas tu aplicación que utiliza las APIs de OpenAI, Dev Proxy devuelve aleatoriamente una de las respuestas de error que definiste en el archivo errors-openai.json.

Obtenga más información sobre GenericRandomErrorPlugin.

GenericRandomErrorPlugin