LanguageModelFailurePlugin

Mensimulasikan berbagai skenario kegagalan model bahasa besar (LLM) untuk menguji ketahanan aplikasi yang bergantung pada model bahasa.

Contoh konfigurasi

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v2.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "LanguageModelFailurePlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll",
      "configSection": "languageModelFailurePlugin"
    }
  ],
  "urlsToWatch": [
    "https://api.openai.com/*",
    "http://localhost:11434/*"
  ],
  "languageModelFailurePlugin": {
    "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v2.0.0/languagemodelfailureplugin.schema.json",
    "failures": [
      "Hallucination",
      "PlausibleIncorrect"
    ]
  }
}

Properti konfigurasi

Harta benda	Description	Bawaan
failures	Array jenis kegagalan tertentu untuk disimulasikan. Ketika tidak ditentukan, plugin secara acak memilih dari semua jenis kegagalan yang tersedia.	Semua kegagalan yang tersedia

Jenis kegagalan yang tersedia

Plugin mendukung jenis kegagalan berikut yang mensimulasikan perilaku LLM umum:

Tipe Kegagalan	Description
AmbiguityVagueness	Memberikan respons ambigu atau tidak jelas
BiasStereotyping	Memperkenalkan bias atau stereotip sebagai respons
CircularReasoning	Menggunakan penalaran melingkar dalam penjelasan
ContradictoryInformation	Menyediakan informasi kontradiktif
FailureDisclaimHedge	Menggunakan penafian atau hedging yang berlebihan
FailureFollowInstructions	Gagal mengikuti instruksi tertentu
Hallucination	Menghasilkan informasi false atau made-up
IncorrectFormatStyle	Menyediakan respons dalam format atau gaya yang salah
Misinterpretation	Salah menafsirkan permintaan pengguna
OutdatedInformation	Menyediakan informasi yang sudah usang atau usang
OverSpecification	Memberikan respons yang tidak perlu terperinci
OverconfidenceUncertainty	Menampilkan ketidakpastian berlebih tentang informasi yang tidak pasti
Overgeneralization	Membuat generalisasi yang terlalu luas
OverreliancePriorConversation	Terlalu bergantung pada konteks percakapan sebelumnya
PlausibleIncorrect	Menyediakan informasi yang masuk akal tetapi salah

Jenis kegagalan kustom

Anda dapat menambahkan jenis kegagalan kustom dengan membuat .prompty file di ~appFolder/prompts direktori. File harus diberi nama lmfailure_<failure>.prompty di mana <failure> ditulis dalam kebab-case (misalnya, my-failure). Dalam konfigurasi plugin, referensikan menggunakan PascalCase (misalnya, MyFailure).

Skenario penggunaan

LanguageModelFailurePlugin dirancang untuk membantu pengembang menguji aplikasi mereka terhadap berbagai mode kegagalan LLM:

• Pengujian halusinasi: Verifikasi aplikasi Anda menangani informasi palsu dengan tepat
• Deteksi bias: Menguji respons terhadap konten bias atau stereotip
• Validasi format: Pastikan aplikasi Anda menangani respons yang salah diformat
• Instruksi berikut: Menguji ketahanan saat LLM tidak mengikuti instruksi
• Penanganan ketidakpastian: Memverifikasi bahwa aplikasi Anda mengelola respons yang salah yang terlalu meyakinkan

Langkah selanjutnya

Menguji aplikasi saya dengan kegagalan model bahasa