Fondements de l’évaluation des dommages

2025-04-18

La modélisation des préjudices est une pratique qui vous permet d’anticiper le risque de préjudice, d’identifier les lacunes dans le produit qui pourraient mettre les personnes à risque et de créer des approches qui répondent de manière proactive aux dommages.

Ces conseils sont destinés aux architectes qui conçoivent des systèmes pilotés par des algorithmes, tels que des infrastructures de prise de décision codées personnalisées. Il s’applique également aux processus de prise de décision externalisés, tels que les processus qui impliquent l’IA ou les modèles Machine Learning.

En tant que constructeurs technologiques, votre travail a un impact mondial. Pour concevoir des systèmes basés sur des algorithmes fiables, vous devez créer des solutions qui reflètent des principes éthiques qui sont enracinés dans des valeurs humaines importantes et intemporelles. Pendant le processus de conception et de développement, vous devez évaluer non seulement les résultats idéaux pour vos utilisateurs, mais également les résultats négatifs possibles, appelés dommages. Ces préjudices peuvent se produire dans toute architecture de prise de décision qui n’implique pas de surveillance humaine.

Conseil / Astuce

Pour obtenir des conseils spécifiques à l’IA responsable, consultez les principes et l’approche de l’IA responsable.

Considérations relatives aux parties prenantes

Pour construire des systèmes dignes de confiance, reconnaître et valoriser les droits de l’homme comme un aspect fondamental et considérer les perspectives de nombreuses personnes. Pour concevoir et construire de meilleurs produits, vous devez demander qui sont les parties prenantes, ce qu’elles apprécient, comment elles pourraient tirer parti de votre technologie et comment elles pourraient être blessées par votre technologie.

Qui sont les clients de votre technologie ?

À quoi sont-ils attachés ?
Comment devraient-ils tirer parti de votre technologie ?
Comment votre technologie pourrait-elle les endommager ?

Qui sont les parties prenantes non concernées ?

À quoi sont-ils attachés ?
Comment devraient-ils tirer parti de votre technologie ?
Comment votre technologie pourrait-elle les endommager ?

Posez ces questions pour mieux comprendre ce qui est important pour les parties prenantes et comment ces aspects influencent leur relation avec le produit.

Types de préjudices

Les tableaux suivants décrivent différents types de préjudices que les utilisateurs technologiques peuvent rencontrer. Ils incluent un large éventail de préjudices qui peuvent affecter les personnes dans différents scénarios, mais ce n’est pas exhaustif. Votre charge de travail peut avoir le potentiel d’entraîner d’autres types de préjudices qui ne sont pas répertoriés.

Risque de blessure

Blessure physique

Réfléchissez à la façon dont la technologie peut blesser des personnes ou créer des environnements dangereux.

Dommage	Description	Considérations	Exemple :
Dépendance excessive sur les fonctionnalités de sécurité	Dépendance vis-à-vis de la technologie pour prendre des décisions sans surveillance humaine adéquate.	Comment les gens peuvent-ils compter sur cette technologie pour les maintenir en sécurité ? Comment cette technologie pourrait-elle réduire la surveillance humaine appropriée ?	Un agent de santé a mal diagnostiqué la maladie, ce qui entraîne un traitement inutile.
Dispositifs de sécurité inadéquats	Les tests réels ne couvrent pas un ensemble diversifié d’utilisateurs et de scénarios.	Si cette technologie échoue ou est mal utilisée, comment cela affecte-t-il les personnes ? À quel moment pourrait-on intervenir ? Existe-t-il d’autres utilisations que vous n’avez pas testées ? Comment une défaillance système affecte-t-elle les utilisateurs ?	Une porte automatique ne détecte pas un fauteuil roulant lors d’une évacuation d’urgence, donc une personne est piégée s’il n’y a pas de bouton de remplacement accessible.
Exposition à des agents défectueux	La fabrication, ainsi que l’élimination de la technologie, met en péril la santé et le bien-être des travailleurs et des habitants voisins.	Quels sont les résultats négatifs de la fabrication de vos composants ou appareils ?	Des mesures de sécurité insuffisantes exposent les travailleurs aux toxines pendant la fabrication de composants numériques.

Blessure émotionnelle ou psychologique

Une technologie mal utilisée peut entraîner une détresse émotionnelle et psychologique grave.

Dommage	Description	Considérations	Exemple :
Dépendance excessive sur l’automatisation	Les croyances erronées amènent les utilisateurs à faire confiance à la fiabilité d’un agent numérique sur un humain.	Comment cette technologie pourrait-elle réduire les commentaires directs interpersonnelles ? Comment cette technologie peut-elle s’interfacer avec des sources d’information approuvées ? Comment la dépendance unique d’un agent artificiel peut-elle affecter une personne ?	Une personne s’appuie sur un chatbot pour des conseils de relation ou des conseils en santé mentale au lieu d’un professionnel formé.
Déformation de la réalité ou gaslighting	La technologie est intentionnellement mal utilisée pour compromettre la confiance et fausser le sens de la réalité d’une personne.	Cette technologie peut-elle être utilisée pour modifier des médias numériques ou des environnements physiques ?	Un appareil IoT permet la surveillance et le contrôle d’un partenaire ex-intime de loin.
Réduction de l’estime de soi ou des dommages à la réputation	Contenu partagé dangereux, faux, trompeur ou dénigrat.	Comment cette technologie pourrait-elle être utilisée pour partager des informations personnelles de manière inappropriée ? Comment pourrait-il être manipulé pour utiliser des informations incorrectes et fausser les gens ?	Le média synthétique « porno de vengeance » échange des visages, ce qui crée l’illusion d’une personne participant à une vidéo.
Dépendance ou détournement d’attention	Technologie conçue pour une interaction prolongée, sans tenir compte du bien-être.	Comment cette technologie peut-elle encourager ou récompenser l’interaction continue, au-delà de la valeur qu’elle est censée apporter aux utilisateurs ?	La probabilité hautement hypothétique d’accéder à des « loot boxes » dans les jeux vidéo conduit les utilisateurs à jouer de façon immodérée et à négliger leur bien-être.
Vol d’identité	Le vol d’identité peut entraîner une perte de contrôle sur les informations d’identification personnelles, la réputation et la représentation.	Comment un individu peut-il être usurpé avec cette technologie ? Comment cette technologie peut-elle reconnaître par erreur la mauvaise personne en tant qu’utilisateur authentique ?	La police vocale synthétique imite le son de la voix d’une personne et est utilisée pour accéder à un compte bancaire.
Attribution erronée	La technologie attribue à une personne une action ou un contenu dont elle n’est pas responsable.	Comment cette technologie peut-elle attribuer une action à un individu ou un groupe ? Quel impact pourrait avoir une attribution incorrecte d’une action sur quelqu’un ?	La reconnaissance faciale désidentifie un individu lors d’une enquête policière.

Refus de services importants

Perte d’opportunités

Les décisions automatisées peuvent limiter l’accès aux ressources, services et opportunités essentiels au bien-être.

Dommage	Description	Considérations	Exemple :
Discrimination à l’emploi	Certaines personnes se voient refuser l'accès pour postuler à ou obtenir un emploi en raison de caractéristiques sans rapport avec le mérite.	Comment cette technologie pourrait-elle affecter des recommandations ou des décisions liées à l’emploi ?	L'IA de recrutement recommande moins de candidats ayant des noms féminins pour les entretiens.
Discrimination dans le logement	Refuser aux personnes l’accès au logement ou la possibilité de demander un logement.	Comment cette technologie pourrait-elle affecter les recommandations ou les décisions relatives au logement ?	Un algorithme de mise en file d’attente pour le logement public fait en sorte que les personnes ayant des noms à consonance internationale attendent plus longtemps pour obtenir des bons.
Discrimination à l’assurance et aux prestations	Refus de l’assurance des personnes, de l’aide sociale ou de l’accès à un procès médical en raison de normes biaisées.	Cette technologie pourrait-elle être utilisée pour déterminer l’accès, le coût ou l’allocation d’assurance ou d’avantages sociaux ?	Une compagnie d’assurance facture des tarifs plus élevés pour les conducteurs qui travaillent la nuit, car les prédictions algorithmiques suggèrent un risque accru de conduite ivre.
Discrimination éducative	L’accès à l’éducation est refusé en raison d’une caractéristique inchangeable.	Comment cette technologie peut-elle être utilisée pour déterminer l’accès, le coût, l’hébergement ou d’autres résultats liés à l’éducation ?	Un classifieur d’émotion signale incorrectement que les étudiants d’un groupe racial sont moins engagés que d’un autre groupe racial, ce qui entraîne des notes inférieures.
Division numérique ou discrimination technologique	L’accès disproportionné aux avantages de la technologie laisse certaines personnes moins informées ou équipées pour participer à la société.	Quelles sont les compétences requises, l’équipement ou la connectivité nécessaires pour tirer le meilleur parti de cette technologie ? Quelles pourraient être les conséquences de certains individus qui obtiennent un accès précoce à cette technologie, en termes d’équipement, de connectivité ou d’autres fonctionnalités de produits ?	La limitation du contenu empêche les étudiants ruraux d’accéder aux flux vidéo d’instruction de classe.
Perte de choix/réseau et bulle de filtre	Présenter aux personnes uniquement des informations qui confirment et renforcent leurs croyances.	Comment cette technologie peut-elle affecter les choix et les informations disponibles pour les personnes ? Quels comportements ou préférences passés cette technologie peut-elle s’appuyer pour prédire les futurs comportements ou préférences ?	Un flux d’actualités présente uniquement les informations qui confirment les croyances existantes.

Perte économique

Les décisions automatisées liées aux instruments financiers, aux opportunités économiques et aux ressources peuvent amplifier les inégalités sociales existantes et obstruer le bien-être.

Préjudice	Description	Considérations	Exemple :
Discrimination au crédit	Refuser aux personnes l’accès à des instruments financiers basés sur des caractéristiques qui ne sont pas liées au mérite économique.	Comment cette technologie peut-elle s’appuyer sur des structures de crédit existantes pour prendre des décisions ? Comment cette technologie peut-elle affecter la capacité d’un individu ou d’un groupe à obtenir ou à maintenir un score de crédit ?	Les offres à taux introductifs avantageux ne sont envoyées qu'aux foyers dans des codes postaux socio-économiquement défavorisés.
Tarification différentielle des biens et services	Les biens ou services sont offerts à des prix différents pour des raisons non liées au coût de la production ou de la livraison.	Comment cette technologie pourrait-elle être utilisée pour déterminer la tarification des biens ou services ? Quels sont les critères utilisés pour déterminer le coût pour les personnes qui utilisent cette technologie ?	Les produits sont offerts à un prix plus élevé en fonction d’une détermination de genre.
Exploitation économique	Les gens sont contraints ou trompés de travailler sur quelque chose qui affecte leur dignité ou leur bien-être.	Comment le travail humain influence-t-il la production de données d’apprentissage pour cette technologie ? Comment cette main-d’œuvre est-elle acquise ? Comment le travail humain prend-il en charge cette technologie ? Où cette main-d’œuvre devrait-elle provenir ?	Les personnes démunies financièrement sont payées pour leurs données biométriques afin d’entraîner des systèmes IA.
Dévaluation de l’expertise individuelle	La technologie supplante l’utilisation d’une expertise humaine ou d’un travail rémunéré.	Comment cette technologie peut-elle affecter la nécessité d’employer une main-d’œuvre existante ?	Les agents d’IA remplacent les médecins ou les radiographes pour l’évaluation de l’imagerie médicale.

Violation des droits de l’homme

Perte de dignité

La technologie peut influencer la façon dont les gens perçoivent le monde et comment ils reconnaissent, s’engagent et apprécient les uns les autres. La technologie peut interférer avec l’échange d’honneur et de respect entre les gens.

Dommage	Description	Considérations	Exemple :
Déshumanisation	Supprimer, diminuer ou invisibiliser l’humanité d’une personne.	Comment cette technologie peut-elle être utilisée pour simplifier ou abstractionr la représentation d’une personne ? Comment cette technologie pourrait-elle réduire la distinction entre les humains et le monde numérique ?	La reconnaissance des entités et les superpositions virtuelles dans la surveillance par drone réduisent la responsabilité perçue des actions humaines.
Humiliation publique	Exposer le matériel privé, sensible ou socialement inapproprié des personnes.	Comment l’agrégation de données peut-elle révéler les mouvements ou actions d’une personne ?	Une application de fitness révèle l’emplacement GPS d’un utilisateur sur les réseaux sociaux, ce qui indique la présence à une réunion alcoolique anonyme.

Perte de liberté

Les systèmes juridiques, judiciaires et sociaux automatisés peuvent renforcer les préjugés et entraîner des conséquences néfastes.

Préjudice	Description	Considérations	Exemple :
Police prédictive	Inférence d’un comportement suspect ou d’une intention criminelle basée sur des enregistrements historiques.	Comment cette technologie pourrait-elle soutenir ou remplacer la prise de décision en matière de police ou de justice pénale ?	Un algorithme prédit plusieurs arrestations de zone, de sorte que la police s’assure qu’elles correspondent ou dépassent ce nombre.
Contrôle social	La conformité est renforcée ou encouragée par la conception publique de comportements humains comme positifs ou négatifs.	Quels types de données personnelles ou comportementales alimentent cette technologie ? Comment est-il obtenu ? Quelles sont les sorties dérivées de ces données ? Cette technologie peut-elle être utilisée pour encourager ou décourager certains comportements ?	Le gouvernement autoritaire utilise des données de médias sociaux et de commerce électronique pour déterminer un score « fiable » en fonction de l’endroit où les gens magasinent et avec qui ils passent du temps.
Perte d’un recours effectif	Incapacité d’expliquer la justification ou l’absence de possibilité de contester une décision.	Comment les gens peuvent-ils comprendre le raisonnement pour les décisions de cette technologie ? Comment une personne qui s’appuie sur cette technologie peut-elle expliquer ses décisions ? Comment les gens peuvent-ils contester ou interroger une décision que cette technologie prend ?	Une peine d’emprisonnement automatisée ou une décision de libération préliminaire n’est pas expliquée à la personne accusée.

Perte de confidentialité

Les informations générées par la technologie peuvent être utilisées pour déterminer des faits ou faire des hypothèses sur quelqu’un sans leur connaissance.

Dommage	Description	Considérations	Exemple :
Interférence avec la vie privée	Révéler des informations qu’une personne a choisi de ne pas partager.	Comment cette technologie pourrait-elle utiliser des informations pour déduire des parties de la vie privée d’une personne ? Comment les décisions basées sur ces inférences peuvent-elles exposer des informations qu’une personne préfère garder privées ?	Une fonctionnalité de suivi des tâches surveille les modèles personnels à partir desquels il déduit une affaire extramaritale.
Association forcée	Exiger la participation à l’utilisation de la technologie ou de la surveillance pour participer à la société.	Comment les gens peuvent-ils avoir besoin de cette technologie pour participer à l’adhésion à la société ou à l’organisation ?	Une lettre d'offre d'emploi nécessite l'enregistrement biométrique dans l'IA de transcription de réunion de l'entreprise.
Incapacité à développer librement et pleinement la personnalité	Restriction de la capacité d’un utilisateur à s’exprimer sincèrement ou à explorer des avenues externes pour le développement autonome.	Comment cette technologie attribue-t-elle des connotations positives et négatives à des caractéristiques de personnalité particulières ? Comment cette technologie révèle-t-elle des informations à des entités telles que le gouvernement ou l’employeur et empêche-t-elle l’expression libre ?	Un système de réunion intelligent enregistre toutes les discussions entre collègues, y compris le coaching personnel et les sessions de mentorat.
Jamais oublié	Les fichiers numériques ou les enregistrements ne sont jamais supprimés.	Qu’est-ce que et où les données sont stockées à partir de ce produit et qui peut y accéder ? Combien de temps les données utilisateur sont-elles stockées après l’interaction technologique ? Comment les données utilisateur sont-elles mises à jour ou supprimées ?	L’historique des activités d’un adolescent sur les réseaux sociaux continue de faire l’objet de recherches longtemps après qu’il cesse d’utiliser la plateforme.
Perte de liberté de mouvement ou d’assemblée	Incapacité à naviguer dans le monde physique ou virtuel avec l’anonymat souhaité.	Comment cette technologie peut-elle surveiller les personnes dans l’espace physique et virtuel ?	Un vrai nom est requis pour pouvoir utiliser un jeu en ligne, ce qui permet de traquer les personnes dans le monde réel.

Impact sur l’environnement

Chaque décision d’un système ou d’un cycle de vie de produit peut affecter l’environnement, de la quantité requise de cloud computing à l’emballage au détail. Les changements environnementaux peuvent affecter l’ensemble des communautés.

Dommage	Description	Considérations	Exemple :
Exploitation ou épuisement des ressources	L’obtention des matières premières pour la technologie, y compris la façon dont elle est alimentée, entraîne des conséquences négatives sur l’environnement et ses habitants.	Quels matériaux sont nécessaires pour construire ou exécuter cette technologie ? Quelles sont les exigences énergétiques nécessaires pour construire ou exécuter cette technologie ?	Une communauté locale est déplacée parce qu’un calcul détermine que la récolte de minéraux de terre rares dans cet emplacement peut entraîner un grand retour sur investissement.
Déchets électroniques	Réduction de la qualité du bien-être collectif en raison de l’incapacité à réparer, recycler ou supprimer de manière responsable l’électronique.	Comment cette technologie pourrait-elle réduire les déchets électroniques en récupérant des matériaux ou en permettant aux utilisateurs d’autoréparer ? Comment cette technologie peut-elle contribuer au gaspillage électronique lorsque de nouvelles versions sont publiées ou lorsque les versions actuelles ou passées cessent de fonctionner ?	Les matières toxiques présents dans les appareils électroniques jetables contaminent l’eau potable, ce qui rend les populations locales malades.
Émissions de carbone	L’exécution de solutions cloud inefficaces entraîne des émissions de carbone inutiles et des déchets électriques, ce qui nuit au climat.	Avez-vous des insights sur la façon dont vos charges de travail et solutions cloud sont optimisées ? Quel impact votre solution a-t-elle sur le climat et diffère-t-elle en fonction de la région où vous déployez vos charges de travail ?	Des solutions inefficaces ou mal conçues pour l’efficacité du cloud entraînent un plus lourd péage sur le climat, ce qui provoque des émissions de carbone inutiles et des déchets électriques.

Manipulation

La capacité de la technologie à créer des expériences hautement personnalisées et manipulateurs peut compromettre un citoyen informé et la confiance dans les structures sociales.

Préjudice	Description	Considérations	Exemple :
Désinformation	Déguisement de fausses informations comme des informations légitimes ou crédibles.	Comment cette technologie peut-elle être utilisée pour générer des informations erronées ? Comment pourrait-il être utilisé pour propager des fausses informations crédibles ?	Le discours synthétique d’un dirigeant politique est généré, influençant ainsi le résultat d’une élection.
Exploitation comportementale	Exploiter les préférences personnelles ou les modèles de comportement pour provoquer une réaction souhaitée.	Comment cette technologie peut-elle être utilisée pour observer des modèles de comportement ? Comment cette technologie pourrait-elle être utilisée pour encourager les comportements dysfonctionnels ou maladaptés ?	La surveillance des habitudes d’achat dans l’environnement de vente au détail connecté conduit à des incitations personnalisées pour les acheteurs impulsifs et les hoardeurs.

À grande échelle, la façon dont cette technologie affecte les personnes forme des structures sociales et économiques au sein des communautés. Il peut approfondir les éléments qui incluent ou profitent à certaines personnes tout en excluant d’autres.

Dommage	Description	Considérations	Exemple :
Amplification de l’inégalité de puissance	Perpétuation des disparités existantes entre classes ou privilèges.	Comment cette technologie peut-elle être utilisée dans des contextes qui ont des disparités sociales, économiques ou de classe existantes ? Comment les gens avec plus de pouvoir ou de privilège influencent-ils de façon disproportionnée cette technologie ?	Un site web d’emploi nécessite une adresse résidentielle et un numéro de téléphone pour s’inscrire, ce qui empêche une personne sans abri de s’inscrire.
Renforcement des stéréotypes	Perpétuer une « sagesse conventionnelle » sans forme sur les personnes historiquement ou statistiquement sous-représentées.	Comment cette technologie pourrait-elle être utilisée pour renforcer ou amplifier les normes sociales existantes ou les stéréotypes culturels ? Comment les données utilisées par cette technologie peuvent-elles refléter des préjugés ou des stéréotypes ?	Les résultats d’une recherche d’images pour « PDG » montrent principalement des photos d’hommes caucasiens.
Perte d’individualité	Incapacité à exprimer une perspective unique.	Comment cette technologie peut-elle amplifier les opinions majoritaires ou « group-think » ? À l’inverse, comment cette technologie peut-elle supprimer des formes d’expression uniques ? Comment cette technologie peut-elle utiliser ses données collectées comme commentaires pour les personnes ?	Les options de personnalisation limitées pour un avatar de jeu vidéo empêchent l’expression d’auto-expression de la diversité d’un joueur.
Perte de représentation	Les grandes catégories de généralisation masquent, diminuent ou effacent les identités réelles.	Comment cette technologie pourrait-elle limiter les options d’identité ? Peut-il être utilisé pour étiqueter ou catégoriser automatiquement des personnes ?	Une légende de photo automatisée affecte l’identité et l’âge de genre incorrects à un sujet.
Dégradation et complaisance des compétences	La dépendance à l’automatisation entraîne l’atrophie des compétences manuelles.	Comment cette technologie peut-elle réduire l’accessibilité et la capacité à utiliser des contrôles manuels ?	Les pilotes ne peuvent pas jauger l’orientation réelle d’un avion parce qu’ils sont formés pour s’appuyer uniquement sur des instruments.

Définir des dommages spécifiques à vos charges de travail

Utilisez les catégories, questions et exemples précédents pour générer des idées spécifiques sur la façon dont les dommages peuvent se produire dans votre charge de travail. Adaptez et adoptez d’autres catégories pertinentes pour votre scénario.

Vous pouvez effectuer cette activité de modélisation individuellement, mais dans l’idéal, vous devez collaborer avec les parties prenantes. Lorsque vous concevez et implémentez la technologie, impliquez des développeurs, des scientifiques des données, des concepteurs, des chercheurs utilisateur, des décideurs commerciaux et d’autres disciplines.

Utilisation prévue : Si [fonctionnalité] est utilisé pour [cas d’usage], [partie prenantes] pourrait rencontrer [description du préjudice].
Utilisation inattendue : Si [utilisateur] a essayé d’utiliser [fonctionnalité] pour [cas d’usage], [partie prenantes] pouvait rencontrer [description du préjudice].
Erreur système : Si [fonctionnalité] n’a pas pu fonctionner correctement lorsqu’il est utilisé pour [cas d’usage], [partie prenantes] pourrait rencontrer [description du préjudice].
Mauvaise utilisation : [Acteur malveillant] pourrait potentiellement utiliser [fonctionnalité] pour provoquer [description du préjudice] à [partie prenantes].

Utiliser des documents de transparence

Certains services fournissent des documents de transparence. Les documents de transparence fournissent des insights sur le fonctionnement du service, ses fonctionnalités, ses limitations et ses considérations éthiques. Vous pouvez consulter ces documents pour comprendre les fonctionnements internes du service et vous aider à garantir une utilisation responsable.

Lorsque vous créez des solutions sur Azure, lisez les documents de transparence que votre service propose. Déterminez la façon dont ces solutions s’alignent sur la modélisation des dommages de votre charge de travail. Déterminez si les fonctionnalités et limitations du service introduisent ou atténuent les risques dans votre cas d’usage spécifique.

Évaluer les dommages

Après avoir généré une vaste liste de dommages potentiels, évaluez l’ampleur potentielle de chaque catégorie de dommages. Cette étape hiérarchise vos domaines d’intérêt. Tenez compte des facteurs suivants.

Facteur contribuant	Définition
Sévérité	Quelle est l’incidence aiguë de la technologie sur le bien-être d’un individu ou d’un groupe ?
Échelle	Quelle est l’ampleur de l’impact sur le bien-être des populations ou des groupes ?
Probabilité	Quelle est la probabilité que la technologie affecte le bien-être d’un individu ou d’un groupe ?
Fréquence	À quelle fréquence la technologie pourrait-elle affecter le bien-être d’un individu ou d’un groupe ?

Étapes suivantes

Microsoft Inclusive Design

Consultez les articles pertinents sur l’IA responsable :