LanguageModelFailurePlugin

Simuluje různé scénáře selhání velkého jazykového modelu (LLM) za účelem testování odolnosti aplikací závislých na jazykovém modelu.

Příklad konfigurace

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v2.1.0/rc.schema.json",
  "plugins": [
    {
      "name": "LanguageModelFailurePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll",
      "configSection": "languageModelFailurePlugin"
    }
  ],
  "urlsToWatch": [
    "https://api.openai.com/*",
    "http://localhost:11434/*"
  ],
  "languageModelFailurePlugin": {
    "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v2.1.0/languagemodelfailureplugin.schema.json",
    "failures": [
      "Hallucination",
      "PlausibleIncorrect"
    ]
  }
}

Vlastnosti konfigurace

Vlastnictví	Description	Výchozí
failures	Pole konkrétních typů selhání pro simulaci Pokud není zadaný, modul plug-in náhodně vybere ze všech dostupných typů selhání.	Všechna dostupná selhání

Dostupné typy selhání

Modul plug-in podporuje následující typy selhání, které simulují běžné chování LLM:

Typ selhání	Description
AmbiguityVagueness	Poskytuje nejednoznačné nebo vágní odpovědi.
BiasStereotyping	Představuje předsudky nebo stereotypy v odpovědích.
CircularReasoning	Používá kruhové odůvodnění v vysvětleních.
ContradictoryInformation	Poskytuje protichůdné informace
FailureDisclaimHedge	Používá nadměrné právní omezení nebo hedging.
FailureFollowInstructions	Nedaří se postupovat podle konkrétních pokynů
Hallucination	Generuje nepravdivé nebo složené informace.
IncorrectFormatStyle	Poskytuje odpovědi v nesprávném formátu nebo stylu.
Misinterpretation	Nesprávně interpretuje požadavek uživatele.
OutdatedInformation	Poskytuje zastaralé nebo zastaralé informace.
OverSpecification	Poskytuje zbytečně podrobné odpovědi.
OverconfidenceUncertainty	Zobrazuje nepřesvědčení ohledně nejistých informací.
Overgeneralization	Zobecňuje příliš široké generalizace
OverreliancePriorConversation	Příliš spoléhá na kontext předchozí konverzace.
PlausibleIncorrect	Poskytuje přijatelné, ale nesprávné informace.

Vlastní typy selhání

Vlastní typy selhání můžete přidat vytvořením .prompty souborů v ~appFolder/prompts adresáři. Soubor musí být pojmenován lmfailure_<failure>.prompty , kde <failure> je zapsán v kebab-case (například my-failure). V konfiguraci modulu plug-in na ni odkazujte pomocí PascalCase (například MyFailure).

Scénáře použití

LanguageModelFailurePlugin je navržený tak, aby vývojářům pomohl otestovat své aplikace v různých režimech selhání LLM:

• Testování halucinace: Ověřte, že aplikace správně zpracovává nepravdivé informace
• Detekce předsudků: Testování odpovědí na zkreslený nebo stereotypní obsah
• Ověření formátu: Ujistěte se, že aplikace zpracovává nesprávně formátované odpovědi.
• Následující instrukce: Otestujte odolnost, pokud LLM nedodržuje pokyny
• Zpracování nejistoty: Ověření, že vaše aplikace spravuje nepřehledné nesprávné odpovědi

Další krok

Testování aplikace s chybami jazykového modelu