Typer av skada
Den här artikeln skapar medvetenhet om de olika typerna av skador, så att lämpliga åtgärdssteg kan implementeras.
Risk för skada
Fysisk skada
Tänk på hur tekniken kan skada människor eller skapa farliga miljöer.
Skada beskrivning Överväganden Exempel Övertro på säkerhetsfunktioner Detta pekar på teknikens beroende av att fatta beslut utan tillräcklig mänsklig tillsyn. Hur kan människor förlita sig på den här tekniken för att hålla dem säkra? Hur kan denna teknik minska lämplig mänsklig tillsyn? En sjukvårdsagent kan feldiagnostisera sjukdom, vilket leder till onödig behandling. Otillräckliga felsäkra Verkliga tester kan inte tillräckligt överväga en mängd olika användare och scenarier. Hur skulle människor påverkas om den här tekniken misslyckas eller missbrukas? Vid vilken tidpunkt kan en människa ingripa? Finns det alternativa användningsområden som inte har testats för? Hur skulle ett systemfel påverka användarna? Om en automatisk dörr inte kunde identifiera en rullstol under en nödutrymning, kan en person fångas om det inte finns en tillgänglig åsidosättningsknapp. Exponering för ej felfria agenter Tillverkning, liksom bortskaffande av teknik, kan äventyra hälsan och välbefinnandet för arbetstagare och närliggande invånare. Vilka negativa resultat kan komma från tillverkningen av dina komponenter eller enheter? Otillräckliga säkerhetsåtgärder kan utsätta arbetstagare för toxiner under tillverkningen av digitala komponenter.
Känslomässig eller psykisk skada
Missbrukad teknik kan leda till allvarlig känslomässig och psykologisk nöd.
Skada beskrivning Överväganden Exempel Överberoende av automatisering Missriktade övertygelser kan leda till att användarna litar på en digital agent tillförlitlighet framför en människas. Hur kan den här tekniken minska direkt interpersonell feedback? Hur kan tekniken samverka med betrodda informationskällor? Hur kan ett enda beroende av en artificiell agent påverka en person? En chattrobot kan förlita sig på relationsrådgivning eller mentalvårdsrådgivning istället för en utbildad professionell. Förvrängning av verkligheten eller gaslighting När tekniken avsiktligt missbrukas kan den undergräva förtroendet och förvränga någons verklighetskänsla. Kan detta användas för att ändra digitala medier eller fysiska miljöer? En IoT-enhet kan möjliggöra övervakning och kontroll av en före detta intim partner på avstånd. Minskad självkänsla/ryktesskada En del delat innehåll kan vara skadligt, falskt, vilseledande eller nedsättande. Hur kan den här tekniken användas för att dela personlig information på ett olämpligt sätt? Hur kan det manipuleras för att missbruka information och förvränga människor? Syntetiska medier "hämndporr" kan byta ansikten, vilket skapar illusionen av en person som deltar i en video som inte gjorde det. Kapning av missbruk/uppmärksamhet Tekniken skulle kunna utformas för långvarig interaktion, utan hänsyn till välbefinnande. På vilka sätt kan den här tekniken belöna eller uppmuntra till fortsatt interaktion utöver att leverera användarvärde? Varierande fallfrekvenser i byteslådor för videospel kan få spelare att fortsätta spela och försumma egenvård. Identitetsstöld Identitetsstöld kan leda till förlust av kontroll över personliga autentiseringsuppgifter, rykte och representation. Hur kan en person person personifieras med den här tekniken? Hur kan den här tekniken felaktigt identifiera fel person som en autentisk användare? Syntetiskt röstteckensnitt kan efterlikna ljudet av en persons röst och användas för att komma åt ett bankkonto. Felattribution Detta inkluderar att kreditera en person med en åtgärd eller innehåll som de inte är ansvariga för. På vilka sätt kan den här tekniken tillskriva en åtgärd till en individ eller grupp? Hur kan någon påverkas om en åtgärd felaktigt tillskrevs dem? Ansiktsigenkänning kan felidentifiera en person under en polisutredning.
Nekande av följdtjänster
Affärsmöjlighetsförlust
Automatiserade beslut kan begränsa åtkomsten till resurser, tjänster och möjligheter som är viktiga för välbefinnandet.
Skada beskrivning Överväganden Exempel Diskriminering på arbetsmarknaden Vissa personer kan nekas åtkomst för att ansöka om eller skydda ett jobb baserat på egenskaper som inte är relaterade till meriter. Finns det sätt på vilka denna teknik kan påverka rekommendationer eller beslut som rör sysselsättning? Att anställa AI kan rekommendera färre kandidater med kvinnoklingande namn för intervjuer. Bostadsdiskriminering Detta inkluderar att neka människor tillgång till bostäder eller möjlighet att ansöka om bostäder. Hur kan denna teknik påverka rekommendationer eller beslut som rör bostäder? Köalgoritmen för offentliga bostäder kan få personer med internationellt klingande namn att vänta längre på kuponger. Diskriminering av försäkringar och förmåner Detta inkluderar nekande av personförsäkring, socialt stöd eller tillgång till en medicinsk rättegång på grund av partiska standarder. Kan denna teknik användas för att fastställa tillgång, kostnad, fördelning av försäkringar eller sociala förmåner? Försäkringsbolag kan ta ut högre priser för förare som arbetar nattskift på grund av algoritmiska förutsägelser som tyder på ökad rattfylleririsk. Utbildningsdiskriminering Tillgång till utbildning kan nekas på grund av en oföränderlig egenskap. Hur kan den här tekniken användas för att fastställa åtkomst, kostnader, boenden eller andra resultat som rör utbildning? Känsloklassificerare kan felaktigt rapportera att färgstudenter är mindre engagerade än sina vita motsvarigheter, vilket leder till lägre betyg. Digital klyfta/teknisk diskriminering Oproportionerlig tillgång till fördelarna med teknik kan göra vissa människor mindre informerade eller utrustade för att delta i samhället. Vilka nödvändiga kunskaper, utrustning eller anslutningar krävs för att få ut mesta möjliga av den här tekniken? Vad kan påverkas av att utvalda personer får tidigare åtkomst till den här tekniken än andra när det gäller utrustning, anslutning eller andra produktfunktioner? Innehållsbegränsning kan hindra landsbygdsstudenter från att komma åt videoflöden för klassrumsinstruktioner. Förlust av val/nätverk och filterbubbla Presentera människor med endast information som överensstämmer med och förstärker deras övertygelser. Hur kan den här tekniken påverka de val och den information som är tillgänglig för människor? Vilka tidigare beteenden eller inställningar kan den här tekniken förlita sig på för att förutsäga framtida beteenden eller inställningar? Nyhetsflödet kunde bara visa information som bekräftar befintliga övertygelser.
Ekonomisk förlust
Att automatisera beslut som rör finansiella instrument, ekonomiska möjligheter och resurser kan förstärka befintliga samhälleliga orättvisor och hindra välbefinnandet.
Skada beskrivning Överväganden Exempel Kreditdiskriminering Personer får nekas tillgång till finansiella instrument på grundval av egenskaper som inte är relaterade till ekonomiska fördelar. Hur kan den här tekniken förlita sig på befintliga kreditstrukturer för att fatta beslut? Hur kan den här tekniken påverka en individs eller grupps förmåga att erhålla eller upprätthålla en kreditpoäng? Högre introduktionspriserbjudanden kunde endast skickas till bostäder med lägre socioekonomiska postnummer. Differentierad prissättning för varor och tjänster Varor eller tjänster kan erbjudas till olika priser av skäl som inte är relaterade till produktions- eller leveranskostnader. Hur kan den här tekniken användas för att fastställa prissättningen för varor eller tjänster? Vilka är kriterierna för att fastställa kostnaden för människor för användning av denna teknik? Mer kan debiteras för produkter baserade på beteckning för män eller kvinnor. Ekonomiskt utnyttjande Personer kan tvingas eller vilseledas att arbeta med något som påverkar deras värdighet eller välbefinnande. Vilken roll spelade mänskligt arbete för att producera träningsdata för den här tekniken? Hur förvärvades den här personalen? Vilken roll spelar mänskligt arbete för att stödja denna teknik? Varifrån förväntas den här arbetsstyrkan komma ifrån? Betala ekonomiskt utblottade personer för deras biometriska data för att träna AI-system. Devalvering av individuell expertis Tekniken kan ersätta användningen av betald mänsklig expertis eller arbetskraft. Hur kan den här tekniken påverka behovet av att anställa en befintlig personalstyrka? AI-agenter ersätter läkare/röntgenläkare för utvärdering av medicinsk avbildning.
Brott mot de mänskliga rättigheterna
Värdighetsförlust
Tekniken kan påverka hur människor uppfattar världen och känner igen, engagerar och värdesätter varandra. Utbytet av heder och respekt mellan människor kan störas.
Skada beskrivning Överväganden Exempel Avhumanisering Ta bort, minska eller dölja synligheten för en persons mänsklighet. Hur kan den här tekniken användas för att förenkla eller abstrahera hur en person representeras? Hur kan denna teknik minska skillnaden mellan människor och den digitala världen? Entitetsigenkänning och virtuella överlägg i drönarövervakning kan minska den upplevda ansvarsskyldigheten för mänskliga åtgärder. Offentlig shaming Detta kan innebära att exponera människors privata, känsliga eller socialt olämpliga material. Hur kan rörelser eller åtgärder avslöjas genom dataaggregering? En fitnessapp kan avslöja en användares GPS-plats på sociala medier, vilket indikerar närvaro vid ett anonymt alkoholistmöte.
Frihetsförlust
Att automatisera rättsliga, rättsliga och sociala system kan förstärka fördomarna och leda till skadliga konsekvenser.
Skada beskrivning Överväganden Exempel Förutsägande polisarbete Härleda misstänkt beteende eller brottslig avsikt baserat på historiska register. Hur skulle detta kunna stödja eller ersätta mänskligt polisarbete eller beslutsfattande inom straffrätten? En algoritm kan förutsäga flera gripanden i området, så polisen ser till att de matchar eller överskrider det antalet. Social kontroll Överensstämmelse kan förstärkas eller uppmuntras genom att offentligt beteckna mänskliga beteenden som positiva eller negativa. Vilka typer av personliga data eller beteendedata kan ge den här tekniken? Hur skulle det erhållas? Vilka utdata skulle härledas från dessa data? Kommer den här tekniken sannolikt att användas för att uppmuntra eller avskräcka från vissa beteenden? Auktoritära myndigheter använder sociala medier och e-handelsdata för att fastställa en "pålitlig" poäng baserat på var människor handlar och vem de tillbringar tid med. Förlust av effektiv åtgärd Detta innebär en oförmåga att förklara motiveringen eller bristen på möjlighet att bestrida ett beslut. Hur kan människor förstå resonemanget för beslut som fattas av den här tekniken? Hur kan en person som förlitar sig på den här tekniken förklara sina beslut? Hur kan folk bestrida eller ifrågasätta ett beslut som denna teknik fattar? Automatiserat fängelsestraff eller frigivningsbeslut före rättegången förklaras inte för den anklagade.
Sekretessförlust
Den information som genereras av vår teknikanvändning kan användas för att fastställa fakta eller göra antaganden om någon utan deras vetskap.
Skada beskrivning Överväganden Exempel Interferens med privatlivet Avslöjande av information som en person inte har valt att dela. Hur kan den här tekniken använda information för att härleda delar av privatlivet? Hur kan beslut baserade på dessa slutsatsdragningar avslöja saker som en person inte vill ska offentliggöras? Ai för uppgiftsspårning kan övervaka personliga mönster som den härleder en utomäktenskaplig affär från. Tvingad association Att kräva deltagande i användningen av teknik eller övervakning för att delta i samhället. Hur kan användningen av den här tekniken krävas för deltagande i samhället eller organisationsmedlemskap? Biometrisk registrering i ett företags transkriptions-AI för mötesrum är ett stipulerat krav i jobberbjudandets brev. Oförmåga att fritt och fullt ut utveckla personlighet Detta kan innebära begränsning av ens förmåga att sanningsenligt uttrycka sig eller utforska externa vägar för självutveckling. På vilket sätt tillskriver systemet eller produkten positiva kontra negativa konnotationer mot vissa personlighetsdrag? Hur kan användningen av produkten eller systemet avslöja information för entiteter som regeringen eller arbetsgivaren som hämmar yttrandefriheten? Intelligenta mötessystem kan registrera alla diskussioner mellan kollegor, inklusive personliga coachnings- och mentorskapssessioner. Aldrig förlåten Digitala filer eller poster kanske aldrig tas bort. Vad och var lagras data från den här produkten och vem kan komma åt dem? Hur länge lagras användardata efter teknikinteraktion? Hur uppdateras eller tas användardata bort? En tonårings historia på sociala medier kan förbli sökbar långt efter att de har vuxit ur plattformen. Förlust av rörelsefrihet eller mötesfrihet Det innebär en oförmåga att navigera i den fysiska eller virtuella världen med önskad anonymitet. På vilka sätt kan den här tekniken övervaka människor i fysiska och virtuella utrymmen? Ett riktigt namn kan krävas för att registrera sig för ett tv-spel som möjliggör verklig stalking.
Miljöpåverkan
Miljön kan påverkas av varje beslut i ett system eller produktlivscykel, från mängden molnbaserad databehandling som behövs till detaljhandelsförpackningar. Miljöförändringar kan påverka hela samhällen.
Skada beskrivning Överväganden Exempel Utnyttjande eller uttömning av resurser Att få råvarorna för teknik, inklusive hur den drivs, leder till negativa konsekvenser för miljön och dess invånare. Vilka material behövs för att bygga eller köra den här tekniken? Vilka energikrav krävs för att bygga eller köra den här tekniken? Ett lokalsamhälle kan fördrivas på grund av skörd av sällsynta jordartsmetaller och metaller som krävs för viss elektronisk tillverkning. Elektroniskt avfall Försämrad kvalitet på kollektivt välbefinnande på grund av att elektroniken inte kan repareras, återvinnas eller på annat sätt tas bort på ett ansvarsfullt sätt. Hur kan denna teknik minska elektroniskt avfall genom att återvinna material eller tillåta användare att självreparation? Hur kan den här tekniken bidra till elektroniskt avfall när nya versioner släpps eller när aktuella/tidigare versioner slutar fungera? Giftiga material inuti kasserade elektroniska enheter kan läcka ut i vattenförsörjningen, vilket gör lokalbefolkningen sjuk. Koldioxidutsläpp Att köra molnlösningar som inte är optimerade kan leda till onödiga koldioxidutsläpp och elavfall, vilket skadar klimatet. Har du insikter om hur optimerade dina molnarbetsbelastningar och lösningar är? Vilken inverkan har din lösning på klimatet och skiljer det sig beroende på den region där du distribuerar dina arbetsbelastningar? Att köra lösningar som inte är optimerade eller korrekt utformade för molneffektivitet kan leda till en tyngre avgift på klimatet, vilket orsakar onödiga koldioxidutsläpp och elavfall.
Urholkning av sociala och demokratiska strukturer
Manipulering
Teknikens förmåga att skapa mycket personliga och manipulativa upplevelser kan undergräva en informerad medborgare och förtroende för samhällsstrukturer.
Skada beskrivning Överväganden Exempel Desinformation Dölja falsk information som legitim eller trovärdig information. Hur kan den här tekniken användas för att generera felaktig information? Hur kan den användas för att sprida trovärdig felaktig information? Generation av syntetiskt tal av en politisk ledare svänger ett val. Beteendeexploatering Det innebär att utnyttja personliga preferenser eller beteendemönster för att framkalla en önskad reaktion. Hur kan den här tekniken användas för att observera beteendemönster? Hur kan denna teknik användas för att uppmuntra dysfunktionella eller maladapiva beteenden? Övervakning av shoppingvanor i den anslutna detaljhandelsmiljön leder till personliga incitament för impulser shoppare och hamstrar.
Social nackdel
I stor skala påverkar tekniken människors form av sociala och ekonomiska strukturer i samhällen. Det kan ytterligare ingrain-element som inkluderar eller drar nytta av vissa samtidigt som andra undantas.
Skada beskrivning Överväganden Exempel Förstärkning av maktskillnader Detta kan vidmakthålla befintliga klass- eller behörighetsskillnader. Hur kan denna teknik användas i sammanhang där det finns befintliga sociala, ekonomiska eller klassmässiga skillnader? Hur kan personer med mer makt eller privilegier oproportionerligt påverka tekniken? Att kräva en bostadsadress och telefonnummer för att registrera sig på en jobbwebbplats kan förhindra att en hemlös person ansöker. Stereotyp förstärkning Detta kan vidmakthålla oinformerad "konventionell visdom" om historiskt eller statistiskt underrepresenterade människor. Hur kan denna teknik användas för att förstärka eller förstärka befintliga sociala normer eller kulturella stereotyper? Hur kan de data som används av den här tekniken göra så att de återspeglar fördomar eller stereotyper? Resultat av en bildsökning efter "VD" kan främst visa bilder av kaukasiska män. Förlust av individualitet Detta kan vara en oförmåga att uttrycka ett unikt perspektiv. Hur kan den här tekniken förstärka majoritetens åsikter eller "grupptänkande"? Omvänt, hur kan unika uttrycksformer ignoreras? På vilka sätt kan de data som samlas in av den här tekniken användas i feedback till människor? Begränsade anpassningsalternativ vid utformning av en videospelsavatar hämmar självuttrycket av en spelares mångfald. Förlust av representation Breda kategorier av generalisering döljer, minskar eller raderar verkliga identiteter. Hur kan den här tekniken begränsa identitetsalternativ? Kan den användas för att märka eller kategorisera personer automatiskt? Automatiskt foto bildtext tilldelar ämnet felaktig könsidentitet och ålder. Kompetensförsämring och självbelåtenhet Övertro på automatisering leder till atrofi av manuella färdigheter. På vilka sätt kan den här tekniken minska tillgängligheten och möjligheten att använda manuella kontroller? Övertro på automatisering kan leda till en oförmåga att mäta flygplanets sanna orientering eftersom piloterna endast har tränats att förlita sig på instrument.
Utvärdera skador
När du har genererat en bred lista över potentiella skador bör du slutföra din skademodell genom att utvärdera den potentiella omfattningen för varje skadekategori. På så sätt kan du prioritera dina fokusområden. Se följande exempel på skademodell som referens:
| Bidragande faktor | Definition |
|---|---|
| Allvarlighet | Hur akut kan tekniken påverka en individs eller grupps välbefinnande? |
| Skala | Hur brett kan effekten på välbefinnandet upplevas i populationer eller grupper? |
| Sannolikhet | Hur sannolikt är tekniken för att påverka individens eller gruppens välbefinnande? |
| Frekvens | Hur ofta skulle en individ eller grupp uppleva en inverkan på deras välbefinnande från tekniken? |
Nästa steg
Använd den skademodell som du utvecklade för att vägleda ditt produktutvecklingsarbete:
- Sök efter mer information från intressenter som du har identifierat som potentiellt skadliga.
- Utveckla och validera hypotesen för att ta itu med de områden som du har identifierat som har störst risk för skada.
- Integrera insikterna i dina beslut under hela teknikutvecklingsprocessen: datainsamling och modellträning, systemarkitektur, användarupplevelsedesign, produktdokumentation, feedbackloopar och kommunikationsfunktioner och begränsningar för tekniken.
- Utforska communityjuryn.
- Utvärdera och minimera orättvishet med hjälp av Azure Machine Learning och FairLearn-paketet med öppen källkod.
Andra ansvarsfulla AI-verktyg:
- Ansvarigt AI-resurscenter
- Riktlinjer för interaktion med mänsklig AI
- Riktlinjer för konversations-AI
- Riktlinjer för inkluderande design
- Checklista för AI-rättvisa
Ytterligare referenser: