Types de dommage

  • Article

Cet article vise à informer les lecteurs des différents types de dommages pour leur permettre d’implémenter les étapes d’atténuation appropriées.

Risque de blessure

Blessure physique

Réfléchissez à la façon dont la technologie peut blesser les personnes ou créer des environnements dangereux.

Dommage Description Considération(s) Exemple
Dépendance excessive vis-à-vis des fonctionnalités de sécurité Cela désigne une dépendance vis-à-vis de la technologie pour la prise de décisions sans supervision humaine appropriée. Comment les personnes peuvent-elles utiliser cette technologie pour assurer leur sécurité ? Comment cette technologie peut-elle réduire la supervision humaine appropriée ? Un agent de santé peut faire un diagnostic erroné, ce qui peut conduire à l’administration d’un traitement inutile.
Solutions de secours inadaptées Les tests effectués dans le monde réel peuvent ne pas suffisamment prendre en compte la variété des utilisateurs et scénarios. En quoi la défaillance ou l’utilisation inappropriée de cette technologie peut-elle impacter les utilisateurs ? À quel moment une intervention humaine est-elle possible ? Existe-t-il des utilisations alternatives n’ayant pas fait l’objet de tests ? Quel serait l’impact d’une défaillance du système sur les utilisateurs ? Si une porte automatique ne détecte pas un fauteuil roulant pendant une évacuation d’urgence, une personne pourrait se retrouver piégée si aucun bouton de neutralisation accessible n’est disponible.
Exposition à des agents dangereux pour la santé La fabrication ainsi que la mise en œuvre des technologies peuvent compromettre la santé et le bien-être des travailleurs, ainsi que celle des personnes vivant à proximité des sites de production. Quelles conséquences négatives peut avoir la fabrication de vos composants ou appareils ? Des mesures de sécurité inadaptées dans le cadre de la fabrication des composants numériques peut exposer les travailleurs à des substances toxiques.

Blessure émotionnelle ou psychologique

L’utilisation inappropriée d’une technologie peut provoquer une détresse émotionnelle et psychologique grave.

Dommage Description Considération(s) Exemple
Dépendance excessive vis-à-vis de l’automatisation Certaines fausses croyances peuvent inciter des utilisateurs à faire davantage confiance à un agent numérique qu’au discernement d’un être humain. Comment cette technologie peut-elle réduire les échanges interpersonnels directs ? Comment cette technologie peut-elle interagir avec des sources d’informations fiables ? Comment la dépendance exclusive envers un agent artificiel peut-elle impacter une personne ? Des utilisateurs pourraient faire confiance à un chatbot pour obtenir des conseils sur leurs relations ou leur santé mentale, au lieu de consulter un professionnel expérimenté.
Déformation de la réalité ou gaslighting Lorsqu’elle est intentionnellement détournée, la technologie peut saper la confiance et déformer le sens des réalités d’une personne. Cette technologie peut-elle être servir à modifier des médias numériques ou des environnements physiques ? Un utilisateur malintentionné peut se servir d’un appareil IoT pour surveiller et contrôler un ex-partenaire à distance.
Diminution de l’estime de soi/atteinte à la réputation Certains contenus partagés peuvent être dangereux, faux, trompeurs ou dénigrants. Comment cette technologie pourrait-elle être utilisée pour partager des informations personnelles de façon inappropriée ? Comment pourrait-elle être manipulée afin de détourner des informations et présenter des personnes sous un faux jour ? Les médias de synthèse, par exemple le « revenge porn », peuvent remplacer des visages afin de donner l’illusion qu’une personne a participé à une vidéo alors que ce n’était pas le cas.
Addiction/détournement de l’attention La technologie peut être conçue pour encourager les interactions prolongées, sans tenir compte du bien-être des utilisateurs. De quelles façons cette technologie peut-elle encourager ou récompenser l’interaction continue, au-delà de la valeur qu’elle est censée apporter aux utilisateurs ? La probabilité hautement hypothétique d’accéder à des « loot boxes » dans les jeux vidéo peut conduire les utilisateurs à jouer de façon immodérée et à négliger leur bien-être.
Usurpation d’identité L’usurpation d’identité peut entraîner une perte de contrôle des informations d’identification personnelles, de la réputation et de la représentation. Comment cette technologie pourrait-elle permettre d’emprunter l’identité d’un individu ? Comment cette technologie pourrait-elle se tromper et reconnaître un autre individu comme étant l’utilisateur authentique ? Il est possible d’utiliser une police vocale synthétique pour imiter le son de la voix d’une personne afin d’accéder à son compte bancaire.
Attribution erronée Ceci implique d’attribuer à une personne une action ou du contenu dont elle n’est pas responsable. De quelles façons cette technologie peut-elle attribuer une action à un individu ou un groupe ? De quelle façon une personne pourrait-elle être impactée si une action lui était incorrectement attribuée ? La reconnaissance faciale peut identifier un individu de façon incorrecte dans le cadre d’une enquête de police.

Refus de services importants

Perte d’opportunité

Les décisions automatisées peuvent restreindre l’accès à des ressources, services et opportunités essentiels au bien-être.

Dommage Description Considération(s) Exemple
Discrimination à l’embauche Certaines personnes peuvent ne pas avoir la possibilité de postuler à un emploi ou de décrocher un poste en raison de caractéristiques non liées au mérite. Cette technologie peut-elle affecter les recommandations ou décisions d’embauche ? Des services de recrutement basés sur l’intelligence artificielle pourraient retenir moins de candidats dont le nom a une consonance féminine pour les entretiens.
Discrimination au logement Cette forme de discrimination empêche certaines personnes d’accéder à un logement ou de présenter une demande de logement. Comment cette technologie peut-elle affecter les recommandations ou décisions relatives à l’attribution d’un logement ? Un algorithme gérant la liste d’attente d’attribution de logements sociaux pourrait soumettre à une attente plus longue les demandeurs dont le nom a une consonance étrangère.
Discrimination à l’assurance et aux allocations Cette forme de discrimination empêche certaines personnes de bénéficier d’une assurance ou de l’aide sociale, ou d’accéder à un essai clinique en raison de normes partiales. Cette technologie peut-elle être utilisée pour déterminer l’accès à une assurance ou à l’aide sociale, ou le coût ou l’attribution de ces prestations ? Une compagnie d’assurance peut appliquer des taux plus élevés aux conducteurs travaillant de nuit sur la base de prédictions algorithmiques suggérant un risque supérieur de conduite en état d’ivresse.
Discrimination à l’éducation Certaines personnes peuvent être empêchées d’accéder à l’éducation en raison d’une caractéristique immuable. Comment cette technologie peut-elle être utilisée pour déterminer l’accès à l’éducation, ainsi que le coût, les ajustements ou d’autres résultats liés ? Un programme de classification des émotions pourrait conclure à tort que les étudiants de couleur sont moins impliqués que leurs homologues blancs, ce qui entraînerait l’attribution de notes inférieures.
Discrimination technologique ou liée à la fracture numérique En raison d’un accès disproportionné aux avantages de la technologie, certaines personnes peuvent être moins informées ou armées pour participer à la vie en société. Quels équipements, compétences ou niveau de connectivité sont nécessaires pour tirer pleinement parti de cette technologie ? Quel pourrait être l’impact de l’accès anticipé de certaines personnes à cette technologie, en termes d’équipement, de niveau de connectivité ou d’autres fonctionnalités du produit ? Des limitations quant aux contenus pourraient empêcher les étudiants vivant en milieu rural d’accéder à des flux vidéo pour leurs cours.
Restriction de choix/réseau et bulle de filtres Le fait de ne présenter aux personnes que des informations conformes à leurs croyances et susceptibles de renforcer celles-ci. Comment cette technologie peut-elle affecter les choix et les informations présentés aux gens ? Sur quels comportements ou préférences antérieurs cette technologie peut-elle se baser pour prédire des comportements ou préférences futurs ? Un flux d’actualités pourrait ne présenter que des informations confirmant des croyances existantes.

Perte financière

L’automatisation des décisions liées aux instruments financiers, opportunités économiques et ressources peut amplifier les inégalités sociales existantes et impacter le bien-être des personnes.

Dommage Description Considération(s) Exemple
Discrimination au crédit Certaines personnes peuvent ne pas avoir la possibilité d’accéder à des instruments financiers en raison de caractéristiques non liées au mérite. Comment cette technologie pourrait-elle utiliser des structures de crédit existantes pour prendre des décisions ? Comment cette technologie pourrait-elle affecter la possibilité pour une personne ou un groupe d’obtenir ou conserver un score de solvabilité ? Des taux de lancement plus élevés pourraient être proposés aux seules personnes dont le code postal correspond à une zone d’habitation présentant un niveau socio-économique moins favorisé.
Tarification différentielle des biens et services Les biens ou services peuvent être proposés à des prix différents pour des raisons non liées au coût de production ou de livraison. Comment cette technologie pourrait-elle être utilisée pour déterminer la tarification de biens ou de services ? Quels sont les critères pris en compte pour déterminer le coût appliqué aux utilisateurs de cette technologie ? Un tarif plus élevé pourrait être appliqué aux produits selon une désignation pour hommes ou pour femmes.
Exploitation économique Des personnes peuvent être induites en erreur ou contraintes de travailler à des tâches qui affectent leur dignité ou leur bien-être. Quel rôle a joué le travail humain dans la production des données d’entraînement utilisées pour cette technologie ? Comment cette main-d’œuvre a-t-elle été acquise ? Quel rôle joue le travail humain dans le support de cette technologie ? D’où est censée provenir cette main-d’œuvre ? Indemnisation de personnes démunies en vue de récupérer leurs données biométriques à des fins d’entraînement de systèmes basés sur l’intelligence artificielle.
Dévaluation de l’expertise individuelle La technologie peut supplanter l’utilisation d’une expertise humaine ou main-d’œuvre payante. Comment cette technologie peut-elle affecter la nécessité d’employer une main-d’œuvre existante ? Des agents basés sur l’intelligence artificielle peuvent remplacer des médecins ou radiologues dans le cadre de l’évaluation de l’imagerie médicale.

Atteinte aux droits humains

Perte de dignité

La technologie peut influencer la façon dont les personnes perçoivent le monde, et comment elles se reconnaissent, s’engagent et apprécient mutuellement leur valeur. Cela peut empêcher les personnes d’échanger avec dignité et respect.

Dommage Description Considération(s) Exemple
Déshumanisation Supprimer, diminuer ou invisibiliser l’humanité d’une personne. Comment cette technologie peut-elle être utilisée pour simplifier ou résumer la représentation d’une personne ? Comment cette technologie peut-elle réduire la distinction entre les êtres humains et le monde numérique ? La reconnaissance d’entités et les superpositions virtuelles liées à la surveillance par drone peuvent réduire la perception de la responsabilité des actions humaines.
Humiliation publique Cela peut désigner l’exposition de contenu privé, sensible ou socialement inapproprié. Comment les mouvements ou actions d’un personne peuvent-ils être révélés via l’agrégation de données ? Une application de fitness pourrait indiquer l’emplacement GPS d’un utilisateur sur les réseaux sociaux et révéler sa présence à une réunion des alcooliques anonymes.

Perte de liberté

L’automatisation des systèmes légaux, judiciaires et sociaux peut renforcer les biais et avoir des conséquences néfastes.

Dommage Description Considération(s) Exemple
Police prédictive Déduire un comportement suspect ou une intention criminelle sur la base de données d’historique. Comment cette technologie pourrait-elle assister ou remplacer la prise de décisions humaines liées au maintien de l’ordre ou à la justice pénale ? Un algorithme peut prédire un certain nombre d’arrestations dans une zone, et inciter les forces de l’ordre à chercher à atteindre ou dépasser cet objectif.
Contrôle social La conformité peut être renforcée ou encouragée en désignant publiquement des comportements humains comme positifs ou négatifs. Quels types de données personnelles ou comportementales peuvent alimenter cette technologie ? Comment seraient-elles obtenues ? Quels résultats seraient dérivés de ces données ? Cette technologie est-elle susceptible d’être utilisée pour encourager ou dissuader certains comportements ? Les régimes autoritaires utilisent les données des réseaux sociaux et des sites d’e-commerce pour calculer un score de « fiabilité » qui tient compte des sites sur lesquels les utilisateurs effectuent des achats et des personnes qu’ils fréquentent.
Perte de recours effectif Cela désigne l’impossibilité d’exposer des raisons ou le manque d’occasions pour contester une décision. Comment les personnes peuvent-elles comprendre le raisonnement motivant les décisions prises par cette technologie ? Comment une personne qui s’appuie sur cette technologie peut-elle expliquer ses décisions ? Comment les personnes peuvent-elles contester ou interroger une décision prise par cette technologie ? Les décisions automatisées d’emprisonnement ou d’audience préliminaire ne sont pas expliquées aux accusés.

Perte de confidentialité

Les informations générées par notre utilisation de la technologie peuvent servir à établir des faits ou élaborer des hypothèses concernant une personne sans qu’elle en soit informée.

Dommage Description Considération(s) Exemple
Interférence avec la vie privée Révéler des informations qu’une personne n’a pas choisi de partager. Comment cette technologie pourrait-elle utiliser des informations pour faire des déductions portant sur la vie privée d’une personne ? Comment les décisions basées sur ces déductions exposent-elles des aspects qu’une personne ne souhaite pas divulguer ? Un système de suivi des tâches basé sur l’intelligence artificielle peut surveiller des modèles personnels et en déduire que l’utilisateur a une aventure extraconjugale.
Association forcée Exiger l’utilisation d’une technologie ou d’une surveillance pour participer à la société. Comment l’utilisation de cette technologie pourrait-elle être obligatoire pour participer à la société ou appartenir à une organisation ? L’inscription des données biométriques dans l’IA de transcription des salles de réunion d’une entreprise est une condition stipulée dans la proposition d’embauche.
Incapacité à développer librement et entièrement la personnalité Cela peut désigner la possibilité restreinte pour une personne d’exprimer véritablement sa personnalité ou d’explorer des pistes externes à des fins de développement personnel. De quelle façon le système ou le produit attribue-t-il une connotation positive ou négative à des traits de caractère particuliers ? Comment l’utilisation du produit ou du système peut-elle révéler des informations à des entités, comme l’administration ou l’employeur, qui inhibent la libre expression ? Un système de conférence intelligent pourrait enregistrer toutes les discussions entre des collègues, y compris des sessions de coaching et d’encadrement personnel.
Absence d’oubli Les fichiers ou enregistrements numériques peuvent ne jamais être supprimés. Quelles données liées à ce produit sont stockées, à quel emplacement, et qui peut y accéder ? Combien de temps les données utilisateur sont-elles stockées après une interaction avec la technologie ? Comment les données utilisateur sont-elles mises à jour ou supprimées ? L’historique des activités d’un adolescent sur les réseaux sociaux peut continuer de faire l’objet de recherches longtemps après qu’il ait cessé d’utiliser la plateforme.
Perte de liberté de mouvement ou d’assemblée Cela désigne l’impossibilité de parcourir le monde physique ou virtuel avec l’anonymat souhaité. De quelles manières cette technologie peut-elle surveiller les personnes dans l’espace physique et virtuel ? Donner son vrai nom pourrait être obligatoire pour pouvoir utiliser un jeu en ligne, ce qui permettrait de traquer les personnes dans le monde réel.

Incidence sur l’environnement

L’environnement peut être affecté par chaque décision prise dans le cadre du cycle de vie d’un système ou produit (quantité de ressources de cloud computing nécessaires, conditionnement, etc.). Les changements environnementaux peuvent affecter des communautés entières.

Dommage Description Considération(s) Exemple
Exploitation ou épuisement de ressources L’obtention de matières premières nécessaires à une technologie, y compris son mode d’alimentation, peut avoir des conséquences négatives sur l’environnement et les personnes qui y vivent. Quels matériaux sont nécessaires à la fabrication ou l’utilisation de cette technologie ? Quels besoins énergétiques sont nécessaires à la fabrication ou l’utilisation de cette technologie ? L’extraction des minerais et des métaux rares nécessaires à la fabrication de certains dispositifs électroniques peut conduire au déplacement d’une communauté locale.
Déchets électroniques Qualité réduite du bien-être collectif liée à l’impossibilité de réparer, recycler ou éliminer de manière responsable les produits électroniques. Comment cette technologie peut-elle réduire les déchets électroniques en recyclant les matériaux ou en permettant aux utilisateurs de procéder eux-mêmes à la réparation ? Comment cette technologie contribue-t-elle aux déchets électroniques lorsque de nouvelles versions sont commercialisées ou lorsque les versions actuelles ou antérieures cessent de fonctionner ? Les matières toxiques à l’intérieur des appareils électroniques jetés par les utilisateurs peuvent contaminer l’eau potable et rendre des populations malades.
Émissions de carbone L’exploitation de solutions cloud qui ne sont pas optimisées peut entraîner des émissions de carbone inutiles et le gaspillage d’électricité, ce qui nuit au climat. Avez-vous des insights sur la façon dont vos charges de travail et vos solutions cloud sont optimisées ? Quel est l’impact de votre solution sur le climat et diffère-t-elle en fonction de la région où vous déployez vos charges de travail ? L’exploitation de solutions qui ne sont pas optimisées ou correctement conçues pour l’efficacité du cloud peut avoir un impact plus lourd sur le climat, entraînant des émissions de carbone inutiles et un gaspillage d’électricité.

Érosion des structures sociales et démocratiques

Manipulation

La capacité de la technologie à créer des expériences fortement personnalisées et manipulatrices peut compromettre l’information des citoyens et saper la confiance dans les structures sociétales.

Dommage Description Considération(s) Exemple
Désinformation Présenter de fausses informations comme légitimes ou crédibles. Comment cette technologie peut-elle être utilisée pour générer de fausses informations ? Comment pourrait-elle être utilisée pour diffuser des informations fausses mais crédibles ? La manipulation du discours d’un leader politique à l’aide de la synthèse vocale peut influencer les électeurs.
Exploitation des comportements Cela désigne l’exploitation des préférences personnelles ou des modèles de comportement afin de provoquer une réaction souhaitée. Comment cette technologie peut-elle être utilisée pour observer des modèles de comportement ? Comment cette technologie peut-elle être utilisée pour encourager des comportements problématiques ou inadéquats ? La surveillance des habitudes de consommation dans les environnements commerciaux connectés dans le but de proposer des avantages personnalisés encourage les comportements d’achat impulsif et compulsif.

Détriment social

À grande échelle, l’impact de la technologie sur les personnes façonne les structures sociales et économiques au sein des communautés. Elle peut même instiller des éléments qui intègrent ou avantagent certaines personnes, au détriment des autres.

Dommage Description Considération(s) Exemple
Amplification des inégalités de pouvoir Cela peut perpétuer des disparités de classe ou de privilège existantes. Comment cette technologie peut-elle être utilisée dans des contextes impliquant des disparités sociales, économiques ou de classe ? En quoi les personnes disposant d’un pouvoir ou privilège supérieur ont-elles une influence disproportionnée sur la technologie ? L’obligation de saisie d’une adresse de résidence et d’un numéro de téléphone durant l’inscription sur un site web dédié à la recherche d’un emploi peut empêcher les personnes sans domicile de soumettre leur candidature.
Renforcement des stéréotypes Cela peut perpétuer des croyances populaires mal informées concernant des personnes historiquement ou statistiquement sous-représentées. Comment cette technologie peut-elle être utilisée pour renforcer ou amplifier les normes sociales ou stéréotypes culturels existants ? Comment les données utilisées par cette technologie peuvent-elles la conduire à refléter des préjugés ou stéréotypes ? Une recherche d’images de « PDG » peut retourner des résultats montrant essentiellement des photos d’hommes d’origine caucasienne.
Perte d’individualité Cela peut se traduire par une incapacité à exprimer un point de vue unique. Comment cette technologie amplifie-t-elle les opinions majoritaires ou la « pensée de groupe » ? À l’inverse, comment les formes d’expression uniques peuvent-elles être supprimées ? De quelles manières les données recueillies par cette technologie peuvent-elles être utilisées dans les commentaires adressés aux utilisateurs ? La limitation des options de personnalisation d’un avatar de jeu vidéo peut inhiber l’expression personnelle de la diversité d’un joueur.
Perte de représentation L’utilisation de grandes catégories généralistes masque, réduit ou efface les identités réelles. Comment cette technologie peut-elle contraindre les options d’identité ? Peut-elle être utilisée pour étiqueter ou catégoriser automatiquement les personnes ? La légende d’une photo générée automatiquement peut affecter une identité de genre et un âge incorrects au sujet.
Dégradation des compétences et autosatisfaction Le recours excessif à l’automatisation atrophie les compétences manuelles. De quelle manière cette technologie peut-elle réduire l’accessibilité et la possibilité d’utiliser des contrôles manuels ? L’utilisation excessive d’outils automatiques peut empêcher un pilote d’avion, habitué à ne recourir qu’aux instruments pendant sa formation, d’évaluer l’orientation réelle de l’appareil.

Évaluation des dommages

Une fois que vous avez dressé la liste exhaustive des dommages potentiels, nous vous recommandons d’évaluer l’ampleur des différentes catégories dont ils relèvent en complétant votre modèle d’évaluation des dommages. Cela vous aidera à identifier les domaines à traiter en priorité. Nous vous invitons à consulter l’exemple suivant de modèle d’évaluation des dommages :

Facteur contributif Définition
severity Dans quelle mesure la technologie pourrait-elle impacter le bien-être d’une personne ou d’un groupe ?
Scale À quelle échelle l’impact en termes de bien-être pourrait-il être ressenti par des populations ou groupes ?
Probabilité Dans quelle mesure la technologie pourrait-elle impacter le bien-être d’une personne ou d’un groupe ?
Fréquence Dans quelle mesure une personne ou un groupe ressentirait-il l’impact de la technologie sur son bien-être ?

Étapes suivantes

Utilisez le modèle d’évaluation des dommages que vous avez élaboré pour guider le travail de développement de votre produit :

  • Renseignez-vous auprès des parties prenantes que vous avez identifiées comme susceptible de subir des dommages.
  • Développez et validez les hypothèses pour trouver des solutions aux problèmes que vous avez identifiés comme les plus susceptibles de provoquer des dommages.
  • Tenez compte de ces informations en les intégrant aux décisions que vous prenez tout au long du processus de développement de votre technologie : collecte de données et formation du modèle, architecture système, conception de l’expérience utilisateur, documentation du produit, boucles de rétroaction, capacités de communication et limitations de la technologie.
  • Découvrez le jury communautaire.
  • Évaluez et atténuez la partialité à l’aide d’Azure Machine Learning et du package open source FairLearn.

Autres outils pour une IA responsable :

Références supplémentaires :