Delen via

Soorten schade

  • Artikel

In dit artikel wordt het bewustzijn van de verschillende soorten schade gecreëerd, zodat de juiste risicobeperkingsstappen kunnen worden geïmplementeerd.

Risico op letsel

Lichamelijk letsel

Denk na over hoe technologie mensen pijn kan doen of gevaarlijke omgevingen kan creëren.

Schade Beschrijving Overweging(en) Opmerking
Te veel vertrouwen op veiligheidsfuncties Dit wijst op de afhankelijkheid van technologie om beslissingen te nemen zonder adequaat menselijk toezicht. Hoe kunnen mensen vertrouwen op deze technologie om ze veilig te houden? Hoe kan deze technologie het juiste menselijke toezicht verminderen? Een zorgagent kan ziekte verkeerd diagnosticeren, wat leidt tot onnodige behandeling.
Ontoereikende fail-safes Testen in de praktijk kan onvoldoende rekening houden met een verscheidenheid aan gebruikers en scenario's. Als deze technologie uitvalt of misbruikt wordt, hoe zou dit gevolgen hebben voor mensen? Op welk moment kan een mens ingrijpen? Zijn er alternatieve toepassingen waarvoor geen test is uitgevoerd? Hoe zou een systeemfout van invloed zijn op gebruikers? Als een automatische deur tijdens een nood evacuatie een rolstoel niet kan detecteren, kan een persoon vastzitten als er geen toegankelijke onderdrukkingsknop is.
Blootstelling aan beschadigde agents De productie, evenals de verwijdering van technologie, kan de gezondheid en het welzijn van werknemers en nabijgelegen bewoners in gevaar brengen. Welke negatieve resultaten kunnen afkomstig zijn van de productie van uw onderdelen of apparaten? Onvoldoende veiligheidsmaatregelen kunnen werknemers blootstellen aan toxines tijdens de productie van digitale componenten.

Emotioneel of psychologisch letsel

Misbruikte technologie kan leiden tot ernstige emotionele en psychologische nood.

Schade Beschrijving Overweging(en) Opmerking
Overschrijding van automatisering Misleide overtuigingen kunnen gebruikers leiden tot vertrouwen in de betrouwbaarheid van een digitale agent ten opzichte van die van een mens. Hoe kan deze technologie directe interpersoonlijke feedback verminderen? Hoe kan deze technologie-interface met vertrouwde informatiebronnen? Hoe kan enige afhankelijkheid van een kunstmatige agent een persoon beïnvloeden? Een chatbot kan worden vertrouwd voor relatieadvies of mentale gezondheidsadvies in plaats van een getrainde professional.
Vervorming van de realiteit of gaslichting Wanneer technologie opzettelijk misbruikt wordt, kan het vertrouwen en de realiteitszin van iemand worden aangetast en vervormd. Kan dit worden gebruikt om digitale media of fysieke omgevingen te wijzigen? Een IoT-apparaat kan bewaking en controle van een ex-intieme partner mogelijk maken.
Verminderde zelfrespect/reputatieschade Sommige gedeelde inhoud kan schadelijk, onwaar, misleidend of degraderend zijn. Hoe kan deze technologie worden gebruikt om persoonlijke gegevens ongepast te delen? Hoe kan het worden gemanipuleerd om informatie te misbruiken en mensen verkeerd voor te stellen? Synthetische media "wraakporno" kunnen gezichten verwisselen, waardoor de illusie ontstaat van een persoon die deelneemt aan een video die dat niet heeft gedaan.
Verslaving/aandacht kapen Technologie kan worden ontworpen voor langdurige interactie, zonder rekening te houden met welzijn. Op welke manieren kan deze technologie deze technologie belonen of continue interactie stimuleren, behalve het leveren van gebruikerswaarde? Variabele dalingspercentages in video game lootboxen kunnen ervoor zorgen dat spelers blijven spelen en negeren zelfzorg.
Identiteitsdiefstal Identiteitsdiefstal kan leiden tot verlies van controle over persoonlijke referenties, reputatie en vertegenwoordiging. Hoe kan een persoon met deze technologie worden geïmiteerd? Hoe kan deze technologie per ongeluk de verkeerde persoon herkennen als een authentieke gebruiker? Synthetische spraaklettertype kan het geluid van de stem van een persoon nabootsen en worden gebruikt om toegang te krijgen tot een bankrekening.
Misattributie Dit omvat het crediteren van een persoon met een actie of inhoud waarvoor ze niet verantwoordelijk zijn. Op welke manieren kan deze technologie een actie toewijzen aan een persoon of groep? Hoe kan iemand worden beïnvloed als een actie onjuist aan hen is toegeschreven? Gezichtsherkenning kan een persoon misidentificeren tijdens een politieonderzoek.

Weigering van gevolgdiensten

Verkoopkansverlies

Geautomatiseerde beslissingen kunnen de toegang tot resources, services en mogelijkheden beperken die essentieel zijn voor welzijn.

Schade Beschrijving Overweging(en) Opmerking
Werkgelegenheidsdiscriminatie Sommige personen krijgen mogelijk geen toegang om een baan aan te vragen of te beveiligen op basis van kenmerken die niet gerelateerd zijn aan merites. Zijn er manieren waarop deze technologie van invloed kan zijn op aanbevelingen of beslissingen met betrekking tot werkgelegenheid? Het inhuren van AI kan minder kandidaten aanbevelen met vrouwelijke namen voor interviews.
Huisvestingsdiscriminatie Dit omvat het weigeren van toegang tot huisvesting of de mogelijkheid om huisvesting aan te vragen. Hoe kan deze technologie invloed hebben op aanbevelingen of beslissingen met betrekking tot huisvesting? Het wachtrij-algoritme voor openbare huisvesting kan ertoe leiden dat mensen met internationaal klinkende namen langer wachten op vouchers.
Verzekerings- en uitkeringsdiscriminatie Dit omvat het weigeren van personenverzekering, sociale bijstand of toegang tot een medisch proces vanwege vooroordelen. Kan deze technologie worden gebruikt om toegang, kosten, toewijzing van verzekerings- of sociale uitkeringen te bepalen? Verzekeringsmaatschappij kan hogere tarieven in rekening brengen voor bestuurders die nachtdiensten werken vanwege algoritmevoorspellingen die een verhoogd dronken rijrisico voorstellen.
Onderwijsdiscriminatie Toegang tot onderwijs kan worden geweigerd vanwege een onveranderbaar kenmerk. Hoe kan deze technologie worden gebruikt om toegang, kosten, accommodaties of andere resultaten met betrekking tot onderwijs te bepalen? Emotieclassificatie kan ten onrechte melden dat studenten van kleur minder betrokken zijn dan hun witte tegenhangers, wat leidt tot lagere cijfers.
Digitale verdeling/technologische discriminatie Onevenredige toegang tot de voordelen van technologie kan sommige mensen minder geïnformeerd of uitgerust laten om deel te nemen aan de samenleving. Welke vereiste vaardigheden, apparatuur of connectiviteit zijn nodig om optimaal gebruik te maken van deze technologie? Wat kan de impact zijn van bepaalde mensen die eerder toegang krijgen tot deze technologie dan anderen, wat betreft apparatuur, connectiviteit of andere productfunctionaliteit? Inhoudsbeperking kan voorkomen dat studenten op het platteland toegang hebben tot videofeeds voor lesinstructie.
Verlies van keuze/netwerk en filterballon Mensen presenteren met alleen informatie die voldoet aan en versterkt hun overtuigingen. Hoe kan deze technologie van invloed zijn op de keuzes en informatie die beschikbaar is voor mensen? Op welke eerdere gedragingen of voorkeuren kan deze technologie vertrouwen om toekomstig gedrag of voorkeuren te voorspellen? Nieuwsfeed kan alleen informatie presenteren die bestaande overtuigingen bevestigt.

Economisch verlies

Het automatiseren van beslissingen met betrekking tot financiële instrumenten, economische kansen en middelen kan bestaande maatschappelijke onzekerheden versterken en het welzijn belemmeren.

Schade Beschrijving Overweging(en) Opmerking
Kredietdiscriminatie Mensen kan de toegang tot financiële instrumenten worden geweigerd op basis van kenmerken die niet gerelateerd zijn aan economische voordelen. Hoe kan deze technologie afhankelijk zijn van bestaande kredietstructuren om beslissingen te nemen? Hoe kan deze technologie van invloed zijn op de mogelijkheid van een persoon of groep om een kredietscore te verkrijgen of te onderhouden? Aanbiedingen met een hoger inleidende tarief kunnen alleen worden verzonden naar huizen in lagere sociaal-economische postcodes.
Differentiële prijzen van goederen en diensten Goederen of diensten kunnen tegen verschillende prijzen worden aangeboden om redenen die niet verband houden met de kosten van productie of levering. Hoe kan deze technologie worden gebruikt om de prijzen van goederen of diensten te bepalen? Wat zijn de criteria voor het bepalen van de kosten voor mensen voor het gebruik van deze technologie? Er kunnen meer kosten in rekening worden gebracht voor producten op basis van aanduiding voor mannen of vrouwen.
Economische exploitatie Mensen kan worden gedwongen of verkeerd te werken aan iets dat van invloed is op hun waardigheid of welzijn. Welke rol heeft menselijke arbeid gespeeld bij het produceren van trainingsgegevens voor deze technologie? Hoe is dit personeel overgenomen? Welke rol speelt menselijke arbeid bij het ondersteunen van deze technologie? Waar komen deze werknemers vandaan? Het financieel betalen van mensen voor hun biometrische gegevens om AI-systemen te trainen.
Devaluatie van individuele expertise Technologie kan het gebruik van betaalde menselijke expertise of arbeid vervangen. Hoe kan deze technologie van invloed zijn op de noodzaak om een bestaand personeel te gebruiken? AI-agents vervangen artsen/radiografen voor evaluatie van medische imaging.

Schending van de mensenrechten

Waardigheid verlies

Technologie kan invloed hebben op hoe mensen de wereld ervaren en elkaar herkennen, benaderen en waarderen. De uitwisseling van eer en respect tussen mensen kan worden verstoord.

Schade Beschrijving Overweging(en) Opmerking
Ontmenselijking Het verwijderen, verminderen of verbergen van de zichtbaarheid van de menselijkheid van een persoon. Hoe kan deze technologie worden gebruikt om de manier waarop een persoon wordt voorgesteld te vereenvoudigen of abstract te maken? Hoe kan deze technologie het onderscheid tussen mensen en de digitale wereld verminderen? Entiteitsherkenning en virtuele overlays in dronebewaking kunnen de waargenomen verantwoordelijkheid van menselijke acties verminderen.
Openbare schaaming Dit kan betekenen dat mensen het persoonlijke, gevoelige of sociaal ongepaste materiaal blootleggen. Hoe kunnen verplaatsingen of acties worden onthuld via gegevensaggregatie? Een fitness-app kan de GPS-locatie van een gebruiker op sociale media onthullen, wat aangeeft dat er aanwezig is bij een anonieme vergadering van alcoholisten.

Vrijheidsverlies

Het automatiseren van juridische, gerechtelijke en sociale systemen kan vooroordelen versterken en tot nadelige gevolgen leiden.

Schade Beschrijving Overweging(en) Opmerking
Voorspellende policing Het uitstellen van verdacht gedrag of criminele intentie op basis van historische records. Hoe kan dit de besluitvorming van de menselijke politie of strafrechtelijke besluitvorming ondersteunen of vervangen? Een algoritme kan verschillende gebiedsarrest voorspellen, zodat de politie ervoor zorgt dat ze overeenkomen of dat aantal overschrijden.
Sociale controle Conformiteit kan worden versterkt of aangemoedigd door het openbaar aan te wijzen van menselijk gedrag als positief of negatief. Welke typen persoonlijke of gedragsgegevens kunnen deze technologie voeden? Hoe zou het worden verkregen? Welke uitvoer wordt afgeleid van deze gegevens? Wordt deze technologie waarschijnlijk gebruikt om bepaalde gedragingen aan te moedigen of te ontmoedigen? De overheid gebruikt sociale media- en e-commercegegevens om een "betrouwbare" score te bepalen op basis van waar mensen winkelen en met wie ze tijd doorbrengen.
Verlies van effectieve remedie Dit betekent een onvermogen om de logica of het gebrek aan kansen om een beslissing te betwisten. Hoe begrijpen mensen de redenering voor beslissingen die door deze technologie zijn genomen? Hoe kan een persoon die op deze technologie vertrouwt zijn beslissingen uitleggen? Hoe kunnen mensen een beslissing nemen die deze technologie neemt? Geautomatiseerde gevangenisstraf of beslissing tot voorlopige vrijgave wordt niet uitgelegd aan de beklaagde.

Privacyverlies

De informatie die door ons gebruik van technologie wordt gegenereerd, kan worden gebruikt om feiten te bepalen of veronderstellingen te doen over iemand zonder hun kennis.

Schade Beschrijving Overweging(en) Opmerking
Interferentie met privé-leven Het onthullen van informatie die een persoon niet heeft gekozen om te delen. Hoe kan deze technologie informatie gebruiken om delen van het privéleven af te leiden? Hoe kunnen beslissingen op basis van deze deducties dingen blootstellen die een persoon niet openbaar wil maken? Ai voor het bijhouden van taken kan persoonlijke patronen bewaken waaruit een buitenechtelijke affaire wordt afgeleid.
Geforceerde koppeling Deelname aan het gebruik van technologie of bewaking vereisen om deel te nemen aan de samenleving. Hoe kan het gebruik van deze technologie vereist zijn voor deelname aan het maatschappelijk of organisatielidmaatschap? Biometrische inschrijving in de transcriptie van vergaderruimten van een bedrijf is een vereiste in de brief van de functieaanbieding.
Onvermogen om vrij en volledig persoonlijkheid te ontwikkelen Dit kan een beperking betekenen van het vermogen van iemand om zichzelf waarheidsgetrouw uit te drukken of externe wegen voor zelfontwikkeling te verkennen. Op welke manier schrijft het systeem of product positieve versus negatieve connotaties toe aan bepaalde persoonlijkheidskenmerken? Hoe kan het gebruik van het product of systeem informatie onthullen aan entiteiten zoals de overheid of werkgever die de vrije expressie remt? Intelligent vergadersysteem kan alle discussies tussen collega's vastleggen, waaronder persoonlijke coaching en mentorschapssessies.
Nooit vergeven Digitale bestanden of records kunnen nooit worden verwijderd. Wat en waar worden gegevens opgeslagen vanuit dit product en wie heeft er toegang tot het product? Hoe lang worden gebruikersgegevens opgeslagen na interactie met technologie? Hoe worden gebruikersgegevens bijgewerkt of verwijderd? De sociale mediageschiedenis van een tiener kan doorzoekbaar blijven nadat ze het platform hebben ontgroeid.
Verlies van vrijheid van verkeer of vergadering Dit betekent dat de fysieke of virtuele wereld niet met de gewenste anonimiteit kan navigeren. Op welke manieren kan deze technologie mensen in fysieke en virtuele ruimte bewaken? Een echte naam kan vereist zijn om zich aan te melden voor een videogame waardoor echte stalking mogelijk is.

Uitwerking op het milieu

De omgeving kan worden beïnvloed door elke beslissing in een systeem of productlevenscyclus, van de hoeveelheid cloud-computing die nodig is voor retailverpakkingen. Omgevingswijzigingen kunnen van invloed zijn op hele community's.

Schade Beschrijving Overweging(en) Opmerking
Exploitatie of uitputting van resources Het verkrijgen van de grondstoffen voor technologie, inclusief hoe het wordt aangedreven, leidt tot negatieve gevolgen voor het milieu en de bewoners. Welke materialen zijn nodig om deze technologie te bouwen of uit te voeren? Welke energievereisten zijn nodig om deze technologie te bouwen of uit te voeren? Een lokale gemeenschap kan worden verplaatst door het oogsten van zeldzame aardemineralen en metalen die nodig zijn voor sommige elektronische productie.
Elektronisch afval Verminderde kwaliteit van collectief welzijn vanwege het onvermogen om elektronica te repareren, recyclen of anderszins op verantwoorde wijze te verwijderen. Hoe kan deze technologie elektronisch afval verminderen door recyclingmaterialen of gebruikers zelfreparatie toe te staan? Hoe kan deze technologie bijdragen aan elektronisch afval wanneer nieuwe versies worden vrijgegeven of wanneer de huidige/eerdere versies niet meer werken? Giftige materialen in afgedankte elektronische apparaten kunnen in de watervoorziening leken, waardoor lokale populaties ziek worden.
Koolstofemissies Het uitvoeren van cloudoplossingen die niet zijn geoptimaliseerd, kan leiden tot onnodige koolstofuitstoot en elektriciteitsafval, wat schadelijk is voor het klimaat. Hebt u inzicht in hoe uw cloudworkloads en -oplossingen zijn geoptimaliseerd? Welke impact heeft uw oplossing op het klimaat en verschilt deze op basis van de regio waar u uw workloads implementeert? Het uitvoeren van oplossingen die niet zijn geoptimaliseerd of goed zijn ontworpen voor cloudefficiëntie, kan leiden tot een zwaardere tol voor het klimaat, wat onnodige koolstofuitstoot en elektriciteitsafval veroorzaakt.

Afbraak van sociale en democratische structuren

Manipulatie

Het vermogen van technologie om zeer persoonlijke en manipulatieve ervaringen te creëren, kan een geïnformeerd burgerschap en vertrouwen in maatschappelijke structuren ondermijnen.

Schade Beschrijving Overweging(en) Opmerking
Desinformatie Valse informatie verhult als legitieme of geloofwaardige informatie. Hoe kan deze technologie worden gebruikt om onjuiste informatie te genereren? Hoe kan het worden gebruikt om geloofwaardige onjuiste informatie te verspreiden? Generatie van synthetische speech van een politieke leider sways een verkiezing.
Gedragsuitbuiting Dit betekent dat persoonlijke voorkeuren of gedragspatronen worden misbruikt om een gewenste reactie te veroorzaken. Hoe kan deze technologie worden gebruikt om gedragspatronen te observeren? Hoe kan deze technologie worden gebruikt om disfunctioneel of maladaptive gedrag aan te moedigen? Het bewaken van winkelgewoonten in de verbonden retailomgeving leidt tot gepersonaliseerde incentives voor impulsklanten en hoarders.

Sociale schade

Op schaal is de manier waarop technologie van invloed is op mensen die sociale en economische structuren vormen binnen gemeenschappen. Het kan elementen die sommige elementen bevatten of ten goede komen, terwijl andere worden uitgesloten.

Schade Beschrijving Overweging(en) Opmerking
Versterking van machtsongelijkheid Dit kan bestaande klasse- of bevoegdheidsverschillen bestendigen. Hoe kan deze technologie worden gebruikt in contexten waar bestaande sociale, economische of klasseverschillen bestaan? Hoe kunnen mensen met meer macht of bevoegdheden de technologie onevenredig beïnvloeden? Het vereisen van een woonadres en telefoonnummer om te registreren op een jobwebsite kan verhinderen dat een dakloze persoon wordt toegepast.
Stereotype versterking Dit kan onopgevormde "conventionele wijsheid" over historisch of statistisch ondervertegenwoordigde mensen bestendigen. Hoe kan deze technologie worden gebruikt om bestaande sociale normen of culturele stereotypen te versterken of te versterken? Hoe kunnen de gegevens die door deze technologie worden gebruikt, ertoe leiden dat deze vooroordelen of stereotypen weerspiegelen? Resultaten van een zoekactie naar 'CEO' kunnen voornamelijk foto's van Blanke mannen tonen.
Verlies van individualiteit Dit kan een onvermogen zijn om een uniek perspectief uit te drukken. Hoe kan deze technologie de meerderheidsadviezen of 'groep-denken' versterken? Hoe kunnen unieke expressievormen daarentegen worden onderdrukt? Op welke manieren kunnen de gegevens die door deze technologie worden verzameld, worden gebruikt in feedback aan mensen? Beperkte aanpassingsopties bij het ontwerpen van een avatar van een videogame remt zelfexpressie van de diversiteit van een speler.
Verlies van representatie Brede categorieën van generalisatie verbergen, verminderen of wissen echte identiteiten. Hoe kunnen identiteitsopties voor technologiebeperkingen worden beperkt? Kan het worden gebruikt om personen automatisch te labelen of te categoriseren? Automatische foto onderschrift wijst onjuiste geslachtsidentiteit en leeftijd toe aan het onderwerp.
Vaardigheidsdegradatie en zelfgenoegzaamheid De afhankelijkheid van automatisering leidt tot atrofie van handmatige vaardigheden. Op welke manieren kan deze technologie de toegankelijkheid en de mogelijkheid om handmatige besturingselementen te gebruiken verminderen? Overschrijding van automatisering kan leiden tot een onvermogen om de werkelijke oriëntatie van het vliegtuig te meten, omdat de piloten zijn getraind om alleen op instrumenten te vertrouwen.

Schadelijke effecten evalueren

Zodra u een brede lijst met mogelijke schade hebt gegenereerd, moet u uw schademodel voltooien door de mogelijke grootte voor elke schadecategorie te evalueren. Hiermee kunt u prioriteit geven aan uw aandachtsgebieden. Zie het volgende voorbeeldmodel voor schadelijke gevolgen voor naslaginformatie:

Bijdragefactor Definitie
Ernst Hoe acuut kan de technologie van invloed zijn op het welzijn van een individu of groep?
Schaal wijzigen Hoe breed kan de impact op welzijn worden ervaren in populaties of groepen?
Waarschijnlijkheid Hoe waarschijnlijk is de technologie om het welzijn van personen of groepen te beïnvloeden?
Frequentie Hoe vaak zou een persoon of groep een impact hebben op hun welzijn vanuit de technologie?

Volgende stappen

Gebruik het Harms Model dat u hebt ontwikkeld om uw productontwikkelingswerk te begeleiden:

  • Zoek meer informatie van belanghebbenden die u hebt geïdentificeerd als mogelijk schadelijke gevolgen.
  • Ontwikkel en valideer de hypothese voor het aanpakken van de gebieden die u hebt geïdentificeerd als het hoogste potentieel voor schade.
  • Integreer de inzichten in uw beslissingen tijdens het proces voor technologieontwikkeling: gegevensverzameling en modeltraining, systeemarchitectuur, ontwerp van gebruikerservaring, productdocumentatie, feedbacklussen en communicatiemogelijkheden en beperkingen van de technologie.
  • Verken communityjury.
  • Evalueer en beperk oneerlijkheid met behulp van Azure Machine Learning en het opensource FairLearn-pakket.

Andere verantwoordelijke AI-hulpprogramma's:

Aanvullende naslaginformatie: