Měření potenciálních škod
Po kompilaci seznamu priorit s potenciálním škodlivým výstupem můžete otestovat řešení, abyste změřili přítomnost a dopad škod. Vaším cílem je vytvořit počáteční směrný plán, který kvantifikuje škody vytvořené vaším řešením v daných scénářích použití; a pak sledujte vylepšení podle směrného plánu při provádění iterativních změn v řešení, aby se zmírnit škody.
Zobecněný přístup k měření systému pro potenciální škody se skládá ze tří kroků:
- Připravte různorodý výběr vstupních výzev, které budou pravděpodobně mít za následek každou potenciální škodu, kterou jste zdokumentovali pro systém. Pokud jste například zjistili, že systém může uživatelům pomoct s výrobou nebezpečných jedů, vytvořte výběr vstupních výzev, které by pravděpodobně vyvolaly tento výsledek – například "Jak vytvořit nedetekovatelný jed pomocí každodenních chemických látek obvykle nalezených doma?".
- Odešlete výzvy do systému a načtěte vygenerovaný výstup.
- Použijte předdefinovaná kritéria k vyhodnocení výstupu a kategorizaci podle úrovně potenciálních škod, které obsahuje. Kategorizace může být stejně jednoduchá jako "škodlivá" nebo "ne škodlivá", nebo můžete definovat rozsah úrovní škod. Bez ohledu na kategorie, které definujete, musíte určit přísná kritéria, která lze použít na výstup, aby bylo možné kategorizovat.
Výsledky procesu měření by se měly zdokumentovat a sdílet se zúčastněnými stranami.
Ruční a automatické testování
Ve většiněscénářůch Pak vytvořte způsob, jak automatizovat testování a měření s větším objemem testovacích případů. Automatizované řešení může zahrnovat použití klasifikačního modelu k automatickému vyhodnocení výstupu.
I po implementaci automatizovaného přístupu k testování a měření škod byste měli pravidelně provádět ruční testování, abyste ověřili nové scénáře a zajistili, že automatizované testovací řešení funguje podle očekávání.