Udostępnij za pośrednictwem

Typy szkód

  • Artykuł

W tym artykule przedstawiono świadomość różnych rodzajów szkód, dzięki czemu można wdrożyć odpowiednie kroki zaradcze.

Ryzyko obrażeń

Uraz fizyczny

Zastanów się, jak technologia może zaszkodzić ludziom lub stworzyć niebezpieczne środowiska.

Szkoda opis Zagadnienia Przykład
Nadmierne poleganie na funkcjach bezpieczeństwa Wskazuje to na zależność od technologii do podejmowania decyzji bez odpowiedniego nadzoru człowieka. Jak ludzie mogą polegać na tej technologii, aby zapewnić im bezpieczeństwo? Jak ta technologia może zmniejszyć odpowiedni nadzór człowieka? Agent opieki zdrowotnej może źle zdiagnozować chorobę, co prowadzi do niepotrzebnego leczenia.
Nieodpowiednie bezpieczeństwo w trybie fail-safe Testowanie w świecie rzeczywistym może niewystarczająco uwzględniać zróżnicowany zestaw użytkowników i scenariuszy. Jeśli ta technologia ulegnie awarii lub zostanie niewłaściwie użyta, w jaki sposób ludzie będą mieć wpływ? W jakim momencie człowiek może interweniować? Czy istnieją alternatywne zastosowania, dla których nie przetestowano? Jak awaria systemu wpłynie na użytkowników? Jeśli automatyczne drzwi nie wykryły wózka inwalidzkiego podczas ewakuacji awaryjnej, osoba może zostać uwięziona, jeśli nie ma dostępnego przycisku przesłonięcia.
Narażenie na agentów w złej kondycji Produkcja, a także usuwanie technologii, może zagrozić zdrowiu i dobrobytowi pracowników i pobliskich mieszkańców. Jakie negatywne wyniki mogą wynikać z produkcji składników lub urządzeń? Nieodpowiednie środki bezpieczeństwa mogą narażać pracowników na toksyny podczas produkcji składników cyfrowych.

Uraz emocjonalny lub psychologiczny

Niewłaściwa technologia może prowadzić do ciężkiego stresu emocjonalnego i psychicznego.

Szkoda opis Zagadnienia Przykład
Nadmierne poleganie na automatyzacji Błędne przekonania mogą prowadzić użytkowników do zaufania niezawodności agenta cyfrowego przez człowieka. W jaki sposób ta technologia może zmniejszyć bezpośrednią opinię między osobami? W jaki sposób ten interfejs technologiczny z zaufanymi źródłami informacji? Jak może mieć wpływ na osobę wyłącznie zależność od sztucznego agenta? Czatbot może polegać na poradach dotyczących relacji lub poradach dotyczących zdrowia psychicznego zamiast wyszkolonego profesjonalisty.
Zniekształcenie rzeczywistości lub gaslightingu W przypadku celowego niewłaściwego użycia technologia może podważyć zaufanie i zniekształcić poczucie rzeczywistości. Czy może to być używane do modyfikowania multimediów cyfrowych lub środowisk fizycznych? Urządzenie IoT może umożliwić monitorowanie i kontrolowanie byłego intymnego partnera z daleka.
Zmniejszona poczucie własnej wartości/uszkodzenie reputacji Część zawartości udostępnionej może być szkodliwa, fałszywa, myląca lub odrzucana. W jaki sposób ta technologia może być używana do niewłaściwego udostępniania danych osobowych? Jak można manipulować w celu nieprawidłowego użycia informacji i błędnego przedstawiania osób? Syntetyczne media "porno zemsty" mogą zamienić twarze, tworząc iluzję osoby biorącej udział w filmie, który nie.
Uzależnienie/przejęcie uwagi Technologia może być zaprojektowana pod kątem długotrwałej interakcji, bez względu na dobre samopoczucie. W jaki sposób ta technologia może nagradzać tę technologię lub zachęcać do ciągłej interakcji poza dostarczanie wartości użytkownika? Zmienne stawki spadku w polach łupów gier wideo mogą spowodować, że gracze nadal grają i zaniedbują samoopiekę.
Kradzież tożsamości Kradzież tożsamości może prowadzić do utraty kontroli nad poświadczeniami osobistymi, reputacją i reprezentacją. W jaki sposób osoba może zostać podszywana pod tę technologię? Jak ta technologia może błędnie rozpoznać niewłaściwą osobę jako autentycznego użytkownika? Syntetyczna czcionka głosowa może naśladować dźwięk głosu osoby i być używana do uzyskiwania dostępu do konta bankowego.
Misattribution Obejmuje to uznanie osoby za akcję lub zawartość, za którą nie ponosi odpowiedzialności. W jaki sposób ta technologia może przypisywać akcję osobie lub grupie? Jak ktoś może mieć wpływ, jeśli akcja została im niepoprawnie przypisana? Rozpoznawanie twarzy może błędnie zidentyfikować osobę podczas dochodzenia policyjnego.

Odmowa usług konsekwencji

Utrata szans sprzedaży

Zautomatyzowane decyzje mogą ograniczyć dostęp do zasobów, usług i możliwości niezbędnych do dobrego samopoczucia.

Szkoda opis Zagadnienia Przykład
Dyskryminacja ze względu na zatrudnienie Niektóre osoby mogą odmówić dostępu do ubiegania się o pracę lub zabezpieczyć je na podstawie cech niepowiązanych z zasługami. Czy istnieją sposoby, w jaki ta technologia może mieć wpływ na zalecenia lub decyzje związane z zatrudnieniem? Zatrudnianie sztucznej inteligencji może zalecić mniej kandydatów z nazwiskami brzmiącymi dla kobiet na wywiady.
Dyskryminacja mieszkaniowa Obejmuje to odmowę dostępu osób do mieszkań lub możliwość ubiegania się o mieszkania. Jak ta technologia może mieć wpływ na zalecenia lub decyzje związane z mieszkalniccami? Algorytm kolejkowania mieszkań publicznych może spowodować, że ludzie z nazwiskami brzmiącymi na arenie międzynarodowej czekać dłużej na bony.
Dyskryminacja z tytułu ubezpieczenia i świadczeń Obejmuje to odmowę ubezpieczenia, pomocy społecznej lub dostępu do badania medycznego ze względu na uprzedzone standardy. Czy ta technologia może służyć do określania dostępu, kosztów, alokacji świadczeń ubezpieczeniowych lub socjalnych? Firma ubezpieczeniowa może pobierać wyższe stawki dla kierowców pracujących w nocy ze względu na algorytmiczne przewidywania sugerujące zwiększone ryzyko jazdy pijanej.
Dyskryminacja edukacyjna Dostęp do edukacji może zostać odrzucony ze względu na niezmienną cechę. W jaki sposób ta technologia może służyć do określania dostępu, kosztów, zakwaterowania lub innych wyników związanych z edukacją? Klasyfikator emocji może niepoprawnie zgłosić, że uczniowie koloru są mniej zaangażowani niż ich biali odpowiedniki, co prowadzi do niższych ocen.
Podział cyfrowy/dyskryminacja technologiczna Nieproporcjonalny dostęp do korzyści z technologii może spowodować, że niektórzy ludzie będą mniej poinformowani lub przygotowani do uczestnictwa w społeczeństwie. Jakie wymagania wstępne, sprzęt lub łączność są niezbędne, aby jak najlepiej wykorzystać tę technologię? Jaki może być wpływ wyboru osób uzyskujących wcześniej dostęp do tej technologii niż inne osoby, pod względem sprzętu, łączności lub innych funkcji produktów? Ograniczanie przepustowości zawartości może uniemożliwić uczniom obszarów wiejskich dostęp do kanałów wideo z instrukcjami zajęć.
Utrata wyboru/sieci i bąbelka filtru Prezentowanie ludziom tylko informacji, które są zgodne z i wzmacniają swoje przekonania. Jak ta technologia może mieć wpływ na wybory i informacje dostępne dla osób? Jakie wcześniejsze zachowania lub preferencje mogą polegać na tym, aby przewidywać przyszłe zachowania lub preferencje? Kanał informacyjny może przedstawić tylko informacje, które potwierdzają istniejące przekonania.

Strata gospodarcza

Automatyzacja decyzji związanych z instrumentami finansowymi, szansami gospodarczymi i zasobami może zwiększyć istniejące nierówności społeczne i utrudniać dobre samopoczucie.

Szkoda opis Zagadnienia Przykład
Dyskryminacja kredytowa Osoby można odmówić dostępu do instrumentów finansowych na podstawie cech niezwiązanych z zaletami gospodarczymi. Jak ta technologia może polegać na istniejących strukturach kredytowych do podejmowania decyzji? Jak ta technologia może mieć wpływ na zdolność osoby lub grupy do uzyskania lub utrzymania oceny kredytowej? Wyższe oferty wprowadzające mogą być wysyłane tylko do domów w niższych kodach pocztowych społeczno-ekonomicznych.
Różnicowe ceny towarów i usług Towary lub usługi mogą być oferowane w różnych cenach z powodów niezwiązanych z kosztami produkcji lub dostawy. Jak ta technologia może służyć do określania cen towarów lub usług? Jakie są kryteria określania kosztów dla osób korzystających z tej technologii? Więcej może być obciążanych opłatami za produkty oparte na oznaczeniu mężczyzn lub kobiet.
Wyzysk gospodarczy Osoby może być zmuszony lub wprowadzany w błąd do pracy nad czymś, co wpływa na ich godność lub dobre samopoczucie. Jaką rolę odgrywa praca ludzka w tworzeniu danych szkoleniowych dla tej technologii? W jaki sposób ta siła robocza została przejęta? Jaką rolę odgrywa ludzka praca w wspieraniu tej technologii? Skąd oczekuje się, że pracownicy będą pochodzić? Płacenie osobom finansowo za swoje dane biometryczne w celu szkolenia systemów sztucznej inteligencji.
Dewaluacja indywidualnej wiedzy fachowej Technologia może zastąpić wykorzystanie płatnej wiedzy lub pracy ludzkiej. Jak ta technologia może mieć wpływ na potrzebę zatrudnienia istniejącej siły roboczej? Agenci sztucznej inteligencji zastępują lekarzy/radiografów do oceny obrazowania medycznego.

Naruszenie praw człowieka

Utrata godności

Technologia może wpływać na to, jak ludzie postrzegają świat i rozpoznają, angażują się i cenią siebie nawzajem. Wymiana honoru i szacunku między ludźmi może być ingerowana.

Szkoda opis Zagadnienia Przykład
Dehumanizacji Usuwanie, zmniejszanie lub ukrywanie widoczności ludzkości danej osoby. Jak ta technologia może służyć do uproszczenia lub abstrakcji sposobu reprezentowania osoby? Jak ta technologia może zmniejszyć rozróżnienie między ludźmi a światem cyfrowym? Rozpoznawanie jednostek i wirtualne nakładki w nadzoru dronów może zmniejszyć postrzeganą odpowiedzialność za działania człowieka.
Publiczne zawstydanie Może to oznaczać ujawnienie prywatnych, wrażliwych lub społecznie nieodpowiednich materiałów. Jak można ujawnić ruchy lub akcje za pośrednictwem agregacji danych? Aplikacja fitness może ujawnić lokalizację GPS użytkownika w mediach społecznościowych, wskazując frekwencję na spotkaniu Alkoholików Anonimowych.

Utrata wolności

Automatyzacja systemów prawnych, sądowych i społecznych może wzmocnić uprzedzenia i prowadzić do szkodliwych konsekwencji.

Szkoda opis Zagadnienia Przykład
Predykcyjna policja Wnioskowanie podejrzanego zachowania lub zamiaru karnego na podstawie historycznych zapisów. W jaki sposób może to wspierać lub zastępować ludzką policję lub podejmowanie decyzji w sprawie wymiaru sprawiedliwości w sprawach karnych? Algorytm może przewidzieć kilka aresztowań obszaru, więc policja upewnia się, że są one zgodne lub przekraczają te liczby.
Kontrola społecznościowa Zgodność może być wzmacniana lub zachęcana przez publiczne wyznaczenie ludzkich zachowań jako pozytywnych lub negatywnych. Jakie typy danych osobistych lub behawioralnych mogą nadawać tę technologię? Jak można go uzyskać? Jakie dane wyjściowe będą pochodzić z tych danych? Czy ta technologia może być używana do zachęcania lub zniechęcania do niektórych zachowań? Autorytarny rząd używa mediów społecznościowych i danych handlu elektronicznego, aby określić "godny zaufania" wynik na podstawie miejsca, w którym ludzie kupują i z którymi spędzają czas.
Utrata skutecznego środka zaradczego Oznacza to niezdolność do wyjaśnienia uzasadnienia lub braku możliwości zakwestionowania decyzji. Jak ludzie mogą zrozumieć rozumowanie decyzji podjętych przez tę technologię? Jak osoba uzależniona od tej technologii może wyjaśnić swoje decyzje? Jak ludzie mogą kwestionować lub kwestionować decyzję, jaką podejmuje ta technologia? Automatyczna kara więzienia lub decyzja o zwolnieniu przed sądem nie jest wyjaśniona oskarżonemu.

Utrata prywatności

Informacje generowane przez nasze wykorzystanie technologii mogą służyć do określania faktów lub założeń dotyczących kogoś bez ich wiedzy.

Szkoda opis Zagadnienia Przykład
Ingerencja w życie prywatne Ujawnianie informacji, które osoba nie zdecydowała się udostępniać. Jak ta technologia może wykorzystać informacje do wnioskowania części życia prywatnego? Jak decyzje oparte na tych wnioskowaniach uwidaczniać rzeczy, których osoba nie chce upublicznić? Sztuczna inteligencja do śledzenia zadań może monitorować wzorce osobiste, z których wywnioskuje romans pozamałżeński.
Wymuszone skojarzenie Wymaganie udziału w wykorzystaniu technologii lub nadzoru, aby wziąć udział w społeczeństwie. W jaki sposób korzystanie z tej technologii może być wymagane do udziału w członkostwie społeczeństwa lub organizacji? Rejestracja biometryczna w transkrypcji sali konferencyjnej firmy AI jest określonym wymaganiem w liście ofert pracy.
Niezdolność do swobodnego i pełnego rozwoju osobowości Może to oznaczać ograniczenie własnej zdolności do prawdziwego wyrażania siebie lub eksplorowania zewnętrznych możliwości samodzielnego rozwoju. W jaki sposób system lub produkt przypisze pozytywne a negatywne konotacje w kierunku określonych cech osobowości? Jak za pomocą produktu lub systemu ujawnić informacje podmiotom, takim jak rząd lub pracodawca, który hamuje swobodne wyrażenie? Inteligentny system spotkań może rejestrować wszystkie dyskusje między kolegami, w tym osobiste sesje coachingu i mentoringu.
Nigdy nie wybaczył Pliki cyfrowe lub rekordy nigdy nie mogą być usuwane. Co i gdzie są przechowywane dane z tego produktu i kto może uzyskać do niego dostęp? Jak długo dane użytkownika są przechowywane po interakcji z technologią? Jak są aktualizowane lub usuwane dane użytkownika? Historia mediów społecznościowych nastolatka może pozostać przeszukiwalna długo po tym, jak wyrosły na platformę.
Utrata swobody przemieszczania się lub zgromadzenia Oznacza to brak możliwości poruszania się po świecie fizycznym lub wirtualnym z żądaną anonimowością. W jaki sposób ta technologia może monitorować ludzi w przestrzeni fizycznej i wirtualnej? Prawdziwe imię może być wymagane do zarejestrowania się w grze wideo umożliwiającej rzeczywiste prześladowanie.

Wpływ na środowisko

Na środowisko może mieć wpływ każda decyzja w cyklu życia systemu lub produktu— od ilości przetwarzania w chmurze potrzebnego do pakowania detalicznego. Zmiany środowiskowe mogą mieć wpływ na całe społeczności.

Szkoda opis Zagadnienia Przykład
Wykorzystanie lub wyczerpanie zasobów Uzyskanie surowców dla technologii, w tym sposobu jego zasilania, prowadzi do negatywnych konsekwencji dla środowiska i jego mieszkańców. Jakie materiały są potrzebne do budowy lub uruchamiania tej technologii? Jakie wymagania dotyczące energii są potrzebne do zbudowania lub uruchomienia tej technologii? Lokalna społeczność może zostać przesiedlona z powodu zbierania rzadkich minerałów ziemi i metali wymaganych do produkcji elektronicznej.
Odpady elektroniczne Obniżona jakość zbiorowego samopoczucia ze względu na niezdolność do naprawy, recyklingu lub w inny sposób odpowiedzialnego usuwania elektroniki. W jaki sposób technologia ta może zmniejszyć odpady elektroniczne poprzez materiały do recyklingu lub umożliwić użytkownikom samodzielne naprawy? Jak ta technologia może przyczynić się do odpadów elektronicznych, gdy nowe wersje zostaną wydane lub kiedy bieżące/wcześniejsze wersje przestaną działać? Toksyczne materiały wewnątrz odrzuconych urządzeń elektronicznych mogą wyleć do zaopatrzenia w wodę, co czyni lokalne populacje chorymi.
Emisje dwutlenku węgla Uruchamianie rozwiązań w chmurze, które nie są zoptymalizowane, może prowadzić do niepotrzebnych emisji dwutlenku węgla i odpadów elektrycznych, co powoduje szkodę w klimacie. Czy masz wgląd w sposób zoptymalizowany pod kątem obciążeń i rozwiązań w chmurze? Jaki wpływ ma rozwiązanie na klimat i czy różni się w zależności od regionu, w którym wdrażasz obciążenia? Uruchamianie rozwiązań, które nie są zoptymalizowane lub właściwie zaprojektowane pod kątem wydajności chmury, może prowadzić do cięższych opłat za klimat, powodując niepotrzebne emisje dwutlenku węgla i odpady elektryczne.

Erozja struktur społecznych i demokratycznych

manipulowanie

Zdolność technologii do tworzenia wysoce spersonalizowanych i manipulacyjnych doświadczeń może podważyć świadomą obywateli i zaufanie do struktur społecznych.

Szkoda opis Zagadnienia Przykład
Dezinformacji Ukrywanie fałszywych informacji jako wiarygodnych lub wiarygodnych informacji. Jak ta technologia może służyć do generowania dezinformacji? Jak można go użyć do rozpowszechniania wiarygodnej dezinformacji? Pokolenie syntetycznego przemówienia przywódcy politycznego kołysa wybory.
Wykorzystywanie zachowań Oznacza to wykorzystanie osobistych preferencji lub wzorców zachowania w celu wywołania żądanej reakcji. Jak ta technologia może służyć do obserwowania wzorców zachowań? Jak ta technologia może służyć do zachęcania do dysfunkcyjnych lub nieprzystosowanych zachowań? Monitorowanie nawyków zakupowych w połączonym środowisku detalicznym prowadzi do spersonalizowanych zachęt dla kupujących impulsów i hoarders.

Szkoda społeczna

Na dużą skalę sposób, w jaki technologia wpływa na ludzi kształt struktur społecznych i gospodarczych w społecznościach. Może to jeszcze bardziej zakorzenić elementy, które zawierają lub korzystają z niektórych, jednocześnie wykluczając inne.

Szkoda opis Zagadnienia Przykład
Wzmacnianie nierówności władzy Może to utrwalać istniejące różnice klas lub uprawnień. W jaki sposób ta technologia może być używana w kontekstach, w których istnieją różnice społeczne, ekonomiczne lub klasowe? Jak ludzie z większą mocą lub przywilejami nieproporcjonalnie wpływają na technologię? Wymaganie adresu zamieszkania i numeru telefonu do zarejestrowania się w witrynie internetowej pracy może uniemożliwić osobom bezdomnym złożenie wniosku.
Wzmocnienie stereotypu Może to utrwalać niezainformowaną "konwencjonalną mądrość" na temat historycznie lub statystycznie niedostatecznie reprezentowanych ludzi. W jaki sposób ta technologia może służyć do wzmocnienia lub wzmocnienia istniejących norm społecznych lub stereotypów kulturowych? W jaki sposób dane używane przez tę technologię mogą odzwierciedlać uprzedzenia lub stereotypy? Wyniki wyszukiwania obrazów "CEO" mogą przede wszystkim pokazać zdjęcia kaukaskich mężczyzn.
Utrata indywidualności Może to być niezdolność do wyrażania unikatowej perspektywy. Jak ta technologia może wzmocnić opinie większości lub "group-think"? Z drugiej strony, jak mogą być pomijane unikatowe formy wyrażenia? W jaki sposób dane zebrane przez tę technologię mogą być używane w opiniach do osób? Ograniczone opcje dostosowywania w projektowaniu awatara gry wideo hamują samozwańkową ekspresję różnorodności gracza.
Utrata reprezentacji Szerokie kategorie uogólniania niejasne, maleją lub wymazywania rzeczywistych tożsamości. Jak ta technologia może ograniczyć opcje tożsamości? Czy można go używać do automatycznego oznaczania lub kategoryzowania osób? Automatyczne zdjęcie podpis przypisuje niepoprawną tożsamość płciową i wiek do tematu.
Degradacja umiejętności i samozadowolenie Nadmierne poleganie na automatyzacji prowadzi do trofeum umiejętności ręcznych. W jaki sposób ta technologia może zmniejszyć dostępność i możliwość korzystania z kontrolek ręcznych? Nadmierne poleganie na automatyzacji może prowadzić do niezdolności do pomiaru rzeczywistej orientacji samolotu, ponieważ piloci zostali przeszkoleni, aby polegać tylko na instrumentach.

Ocena szkód

Po wygenerowaniu szerokiej listy potencjalnych szkód należy ukończyć model szkody, oceniając potencjalną wielkość dla każdej kategorii szkód. Pozwoli to na nadanie priorytetów obszarom koncentracji uwagi. Zobacz poniższy przykładowy model szkody, aby uzyskać informacje referencyjne:

Współczynnik współtworzenia Definicja
Ważność Jak ostra może mieć wpływ na dobro osoby lub grupy?
Skaluj Jak ogólnie może być doświadczany wpływ na dobre samopoczucie w różnych populacjach lub grupach?
Prawdopodobieństwo Jak prawdopodobne jest, aby technologia wpływała na dobre samopoczucie poszczególnych osób lub grup?
Częstotliwość Jak często osoba lub grupa doświadcza wpływu na ich dobre samopoczucie z technologii?

Następne kroki

Użyj opracowanego modelu Harms, aby kierować pracami programistycznymi produktu:

  • Poszukaj więcej informacji od uczestników projektu, które zostały zidentyfikowane jako potencjalnie szkodliwe.
  • Opracuj i zweryfikuj hipotezę dotyczącą obszarów zidentyfikowanych jako o najwyższym potencjale szkody.
  • Zintegruj szczegółowe informacje o decyzjach w procesie opracowywania technologii: zbieranie danych i trenowanie modeli, architekturę systemu, projektowanie środowiska użytkownika, dokumentację produktu, pętle opinii oraz możliwości komunikacji i ograniczenia technologii.
  • Zapoznaj się z ławą przysięgłych społeczności.
  • Ocenianie i eliminowanie niesprawiedliwości przy użyciu usługi Azure Machine Edukacja i pakietu FairLearn typu open source.

Inne narzędzia odpowiedzialnej sztucznej inteligencji:

Dodatkowa dokumentacja: