LanguageModelFailurePlugin

Dil modeline bağımlı uygulamaların dayanıklılığını test etmek için çeşitli büyük dil modeli (LLM) hata senaryolarının benzetimini yapar.

Yapılandırma örneği

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v2.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "LanguageModelFailurePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll",
      "configSection": "languageModelFailurePlugin"
    }
  ],
  "urlsToWatch": [
    "https://api.openai.com/*",
    "http://localhost:11434/*"
  ],
  "languageModelFailurePlugin": {
    "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v2.0.0/languagemodelfailureplugin.schema.json",
    "failures": [
      "Hallucination",
      "PlausibleIncorrect"
    ]
  }
}

Yapılandırma özellikleri

Mülkiyet	Description	Varsayılan
failures	Benzetimi yapılan belirli hata türlerinin dizisi. Belirtilmediğinde, eklenti tüm kullanılabilir hata türlerinden rastgele seçer.	Tüm kullanılabilir hatalar

Kullanılabilir hata türleri

Eklenti, yaygın LLM davranışlarının benzetimini yapacak aşağıdaki hata türlerini destekler:

Hata Türü	Description
AmbiguityVagueness	Belirsiz veya belirsiz yanıtlar sağlar
BiasStereotyping	Yanıtlarda yanlılık veya stereotipleme sunar
CircularReasoning	Açıklamalarda döngüsel mantık kullanır
ContradictoryInformation	Çelişkili bilgiler sağlar
FailureDisclaimHedge	Aşırı sorumluluk reddi veya riskten korunma kullanır
FailureFollowInstructions	Belirli yönergeler izlenemiyor
Hallucination	Yanlış veya uydurma bilgiler oluşturur
IncorrectFormatStyle	Yanlış biçimde veya stilde yanıtlar sağlar
Misinterpretation	Kullanıcının isteğini yanlış yorumlar
OutdatedInformation	Eski veya eski bilgiler sağlar
OverSpecification	Gereksiz ayrıntılı yanıtlar sağlar
OverconfidenceUncertainty	Belirsiz bilgiler hakkında fazla uygunluk gösterir
Overgeneralization	Aşırı geniş kapsamlı genelleştirmeler yapar
OverreliancePriorConversation	Önceki konuşma bağlamı fazla dayanır
PlausibleIncorrect	Makul ancak yanlış bilgiler sağlar

Özel hata türleri

Dizinde ~appFolder/prompts dosya oluşturarak .prompty özel hata türleri ekleyebilirsiniz. Dosya, kebab-case (örneğin, my-failure) içinde yazıldığı yerde <failure> olarak adlandırılmalıdırlmfailure_<failure>.prompty. Eklenti yapılandırmasında PascalCase kullanarak buna başvurun (örneğin, MyFailure).

Kullanım senaryoları

LanguageModelFailurePlugin, geliştiricilerin uygulamalarını çeşitli LLM hata modlarında test etmelerine yardımcı olmak için tasarlanmıştır:

• Halüsinasyon testi: Uygulamanızın yanlış bilgileri uygun şekilde işlediğini doğrulayın
• Yanlılık algılama: Yanlı veya stereotipik içeriğe yönelik yanıtları test etme
• Biçim doğrulama: Uygulamanızın yanlış biçimlendirilmiş yanıtları işlediğine emin olun
• Aşağıdaki yönerge: LLM yönergeleri izlemediğinde dayanıklılığı test etme
• Belirsizlik işleme: Uygulamanızın fazla güvenen yanlış yanıtları yönettiğini doğrulayın

Sonraki adım

Uygulamamı dil modeli hatalarıyla test etme