LanguageModelFailurePlugin

Különböző nagy nyelvi modellek (LLM) hibaforgatókönyveit szimulálja a nyelvi modelltől függő alkalmazások rugalmasságának teszteléséhez.

Példa konfigurációra

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v3.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "LanguageModelFailurePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll",
      "configSection": "languageModelFailurePlugin"
    }
  ],
  "urlsToWatch": [
    "https://api.openai.com/*",
    "http://localhost:11434/*"
  ],
  "languageModelFailurePlugin": {
    "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v3.0.0/languagemodelfailureplugin.schema.json",
    "failures": [
      "Hallucination",
      "PlausibleIncorrect"
    ]
  }
}

Konfigurációs tulajdonságok

Ingatlan	Description	Alapértelmezett
failures	Adott szimulálandó hibatípusok tömbje. Ha nincs megadva, a beépülő modul véletlenszerűen kiválasztja az összes elérhető hibatípust.	Minden elérhető hiba

Elérhető hibatípusok

A beépülő modul a következő hibatípusokat támogatja, amelyek a gyakori LLM-viselkedéseket szimulálják:

Hiba típusa	Description
AmbiguityVagueness	Nem egyértelmű vagy homályos válaszokat biztosít
BiasStereotyping	Torzítást vagy sztereotipizálást vezet be a válaszokban
CircularReasoning	Körkörös érvelést használ a magyarázatokban
ContradictoryInformation	Ellentmondásos információkat nyújt
FailureDisclaimHedge	Túlzott jogi nyilatkozatokat vagy fedezeti fedezetet használ
FailureFollowInstructions	Nem követi a megadott utasításokat
Hallucination	Hamis vagy kész információkat hoz létre
IncorrectFormatStyle	Helytelen formátumban vagy stílusban adja meg a válaszokat
Misinterpretation	Félreértelmezi a felhasználó kérését
OutdatedInformation	Elavult vagy elavult információkat biztosít
OverSpecification	Szükségtelenül részletes válaszokat biztosít
OverconfidenceUncertainty	A bizonytalan információk túlzott konkonfigurációja
Overgeneralization	Túl széles körű általánosításokat tesz lehetővé
OverreliancePriorConversation	Túlzottan támaszkodik a korábbi beszélgetési környezetre
PlausibleIncorrect	Elfogadható, de helytelen információkat tartalmaz

Egyéni hibatípusok

Egyéni hibatípusok hozzáadásához hozzon létre .prompty fájlokat a ~appFolder/prompts címtárban. A fájlt el kell nevezni lmfailure_<failure>.prompty , ahol <failure> a rendszer kebab-esetet ír (például my-failure). A beépülő modul konfigurációjában hivatkozzon rá a PascalCase használatával (például MyFailure).

Használati forgatókönyvek

A LanguageModelFailurePlugin úgy lett kialakítva, hogy segítse a fejlesztőket abban, hogy teszteljék az alkalmazásaikat a különböző LLM-hibamódok ellen:

• Hallucináció tesztelése: Ellenőrizze, hogy az alkalmazás megfelelően kezeli-e a hamis információkat
• Torzítás észlelése: Elfogult vagy sztereotip tartalomra adott válaszok tesztelése
• Formátumérvényesítés: Győződjön meg arról, hogy az alkalmazás helytelenül formázott válaszokat kezel
• Utasítások: A rugalmasság tesztelése, ha az LLM nem követi az utasításokat
• Bizonytalanság kezelése: Ellenőrizze, hogy az alkalmazás kezeli-e a nem megfelelő válaszokat

Remarks

A hiba szimulálásakor a beépülő modul egy üzenetet injektál a system hibát szimuláló tartalmat tartalmazó szerepkörrel a nyelvi modell kérésébe.

Következő lépés

Alkalmazás tesztelése nyelvi modellhibákkal