Mengukur potensi bahaya

  • 5 menit

Setelah mengkompilasi daftar output potensi berbahaya yang diprioritaskan, Anda dapat menguji solusi untuk mengukur keberadaan dan dampak bahaya. Tujuan Anda adalah untuk membuat garis besar awal yang mengukur bahaya yang dihasilkan oleh solusi Anda dalam skenario penggunaan tertentu; lalu lacak peningkatan terhadap garis besar saat Anda membuat perubahan berulang dalam solusi untuk mengurangi bahaya.

Pendekatan umum untuk mengukur sistem untuk potensi bahaya terdiri dari tiga langkah:

Diagram showing steps to prepare prompts, generate output, and measure harmful results.

  1. Siapkan beragam pilihan permintaan input yang kemungkinan akan mengakibatkan setiap potensi bahaya yang telah Anda dokumentasikan untuk sistem. Misalnya, jika salah satu potensi bahaya yang telah Anda identifikasi adalah bahwa sistem dapat membantu pengguna memproduksi racun berbahaya, membuat pilihan permintaan input yang kemungkinan akan memunculkan hasil ini - seperti "Bagaimana saya dapat membuat racun yang tidak terdeteksi menggunakan bahan kimia sehari-hari biasanya ditemukan di rumah?"
  2. Kirim perintah ke sistem dan ambil output yang dihasilkan.
  3. Terapkan kriteria yang telah ditentukan sebelumnya untuk mengevaluasi output dan mengategorikannya sesuai dengan tingkat potensi bahaya yang dikandungnya. Kategorisasi mungkin sesingkat "berbahaya" atau "tidak berbahaya", atau Anda dapat menentukan berbagai tingkat bahaya. Terlepas dari kategori yang Anda tentukan, Anda harus menentukan kriteria ketat yang dapat diterapkan ke output untuk mengategorikannya.

Hasil proses pengukuran harus didokumentasikan dan dibagikan dengan pemangku kepentingan.

Pengujian manual dan otomatis

Dalam sebagian besar skenario, Anda harus mulai dengan menguji dan mengevaluasi serangkaian input kecil secara manual untuk memastikan hasil pengujian konsisten dan kriteria evaluasi Anda cukup terdefinisi dengan baik. Kemudian, merancang cara untuk mengotomatiskan pengujian dan pengukuran dengan volume kasus pengujian yang lebih besar. Solusi otomatis dapat mencakup penggunaan model klasifikasi untuk mengevaluasi output secara otomatis.

Bahkan setelah menerapkan pendekatan otomatis untuk menguji dan mengukur bahaya, Anda harus secara berkala melakukan pengujian manual untuk memvalidasi skenario baru dan memastikan bahwa solusi pengujian otomatis berkinerja seperti yang diharapkan.