LanguageModelFailurePlugin

Simulerar olika scenarier med stora språkmodeller (LLM) för att testa motståndskraften hos språkmodellberoende program.

Konfigurationsexempel

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v2.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "LanguageModelFailurePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll",
      "configSection": "languageModelFailurePlugin"
    }
  ],
  "urlsToWatch": [
    "https://api.openai.com/*",
    "http://localhost:11434/*"
  ],
  "languageModelFailurePlugin": {
    "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v2.0.0/languagemodelfailureplugin.schema.json",
    "failures": [
      "Hallucination",
      "PlausibleIncorrect"
    ]
  }
}

Konfigurationsegenskaper

Fastighet	Description	Förinställning
failures	Matris med specifika feltyper som ska simuleras. När det inte anges väljer plugin-programmet slumpmässigt från alla tillgängliga feltyper.	Alla tillgängliga fel

Tillgängliga feltyper

Plugin-programmet stöder följande feltyper som simulerar vanliga LLM-beteenden:

Feltyp	Description
AmbiguityVagueness	Ger tvetydiga eller vaga svar
BiasStereotyping	Introducerar bias eller stereotyper i svar
CircularReasoning	Använder cirkulärt resonemang i förklaringar
ContradictoryInformation	Tillhandahåller motstridig information
FailureDisclaimHedge	Använder överdrivna ansvarsfriskrivningar eller säkring
FailureFollowInstructions	Det går inte att följa specifika instruktioner
Hallucination	Genererar falsk eller pågjord information
IncorrectFormatStyle	Ger svar i felaktigt format eller format
Misinterpretation	Feltolkar användarens begäran
OutdatedInformation	Innehåller inaktuell eller föråldrad information
OverSpecification	Ger onödigt detaljerade svar
OverconfidenceUncertainty	Visar övertro på osäker information
Overgeneralization	Gör alltför breda generaliseringar
OverreliancePriorConversation	Förlitar sig för mycket på tidigare konversationskontext
PlausibleIncorrect	Ger rimlig men felaktig information

Anpassade feltyper

Du kan lägga till anpassade feltyper genom att skapa .prompty filer i ~appFolder/prompts katalogen. Filen måste namnges lmfailure_<failure>.prompty där <failure> är skrivet i kebab-case (till exempel my-failure). I plugin-konfigurationen refererar du till den med Hjälp av PascalCase (till exempel MyFailure).

Användningsscenarier

LanguageModelFailurePlugin är utformat för att hjälpa utvecklare att testa sina program mot olika LLM-fellägen:

• Hallucinationtestning: Kontrollera att appen hanterar falsk information på rätt sätt
• Biasidentifiering: Testa svar på partiskt eller stereotypt innehåll
• Formatverifiering: Se till att appen hanterar felaktigt formaterade svar
• Instruktioner: Testa motståndskraft när LLM inte följer anvisningarna
• Osäkerhetshantering: Kontrollera att din app hanterar överkonidentifierade felaktiga svar

Nästa steg

Testa min app med språkmodellfel