Compartir a través de

Tipos de daño

  • Artículo

En este artículo se establece el reconocimiento de los distintos tipos de daño, con el fin de que se puedan implementar los pasos de mitigación adecuados.

Riesgo de lesiones

Lesiones físicas

Considere la posibilidad de que la tecnología perjudique a personas o cree entornos peligrosos.

Daño Descripción Consideraciones Ejemplo
Dependencia excesiva de las características de seguridad Destaca la dependencia de la tecnología para tomar decisiones sin la supervisión humana adecuada. ¿Cómo pueden los usuarios confiar en esta tecnología para mantenerse seguros? ¿Cómo puede esta tecnología reducir la supervisión humana apropiada? Un agente de atención sanitaria podría diagnosticar erróneamente una enfermedad, lo que llevaría a un tratamiento innecesario.
Notificaciones de error inadecuadas Es posible que las pruebas del mundo real no tengan suficientemente en cuenta un conjunto diverso de usuarios y escenarios. Si esta tecnología no funciona o se usa incorrectamente, ¿cómo se verá afectada la gente? ¿En qué momento podría intervenir una persona? ¿Hay usos alternativos que no se han probado? ¿Cómo afectaría un error del sistema a los usuarios? Si una puerta automática no detectara una silla de ruedas durante una evacuación de emergencia, una persona podría quedar atrapada si no hay un botón de invalidación accesible.
Exposición a agentes perjudiciales Tanto la fabricación como la eliminación de la tecnología, pueden poner en peligro el estado y el bienestar de los trabajadores y los habitantes cercanos. ¿Qué resultados negativos podrían derivarse de la fabricación de sus componentes o dispositivos? Unas medidas de seguridad poco adecuadas pueden exponer a los trabajadores a toxinas durante la fabricación de componentes digitales.

Lesiones emocionales o psicológicas

El uso indebido de la tecnología puede provocar una grave angustia emocional y psicológica.

Daño Descripción Consideraciones Ejemplo
Dependencia excesiva de la automatización Las creencias erróneas pueden llevar a los usuarios a confiar en la confiabilidad de un agente digital más que en la de una persona. ¿Cómo podría esta tecnología reducir los comentarios interpersonales directos? ¿Cómo podría esta tecnología interactuar con fuentes de información de confianza? ¿Cómo podría afectar a una persona la dependencia exclusiva de un agente artificial? Se puede utilizar un bot de chat, en lugar de un profesional cualificado, para el asesoramiento sobre relaciones o sobre salud mental.
Distorsión de la realidad o de la propia percepción Cuando se usa mal intencionadamente, la tecnología puede socavar la confianza y distorsionar el sentido de la realidad de alguien. ¿Podría usarse esto para modificar medios digitales o entornos físicos? Un dispositivo IoT podría habilitar la supervisión y el control de una ex pareja a distancia.
Menor autoestima y daños a la reputación Algunos contenidos compartidos pueden ser dañinos, falsos, engañosos o denigrantes. ¿Cómo podría utilizarse esta tecnología para compartir información personal de manera inapropiada? ¿Cómo podría manipularse para hacer un uso indebido de la información y tergiversar a las personas? La "pornografía de la venganza" de los elementos multimedia sintéticos puede intercambiar rostros, lo que crea la ilusión de que una persona participa en un video sin que lo haya hecho.
Apropiación/secuestro de la atención La tecnología podría diseñarse para una interacción prolongada, sin tener en cuenta el bienestar. ¿De qué manera podría esta tecnología recompensar o fomentar la interacción continua más allá de la entrega de valor de usuario? Las tasas de caída variables en los cofres botín de los videojuegos podrían hacer que los jugadores no dejaran de jugar y descuidaran el cuidado personal.
Robo de identidad El robo de identidad puede llevar a la pérdida del control sobre las credenciales, la reputación y la representación personales. ¿Cómo se puede suplantar a un individuo con esta tecnología? ¿Cómo podría esta tecnología reconocer erróneamente a una persona equivocada como usuario auténtico? La fuente de voz sintética podría imitar el sonido de la voz de una persona y usarse para tener acceso a una cuenta bancaria.
Atribución errónea Aquí se incluye la atribución a una persona de una acción o contenido de los que no es responsable. ¿De qué manera podría esta tecnología atribuir una acción a una persona o grupo? ¿Cómo podría verse alguien afectado si se le atribuyese una acción incorrectamente? El reconocimiento facial puede identificar erróneamente a una persona durante una investigación policial.

Denegación de servicios consecuentes

Pérdida de oportunidades

Las decisiones automatizadas podrían limitar el acceso a los recursos, los servicios y las oportunidades esenciales para el bienestar.

Daño Descripción Consideraciones Ejemplo
Discriminación en el empleo A algunas personas se les puede negar el acceso para solicitar o conseguir un empleo basándose en características no relacionadas con el mérito. ¿Hay alguna manera en que esta tecnología podría afectar repercutir en las recomendaciones o decisiones relacionadas con el empleo? La contratación mediante inteligencia artificial podría recomendar menos candidatos con nombres que suenen femeninos para las entrevistas.
Discriminación en la vivienda Incluye la negación a las personas del acceso a la vivienda o a la posibilidad de solicitar una vivienda. ¿Cómo podría afectar esta tecnología a las recomendaciones o decisiones relacionadas con la vivienda? El algoritmo de puesta en cola de viviendas públicas podría hacer que las personas con nombres que parecieran internacionales esperen más tiempo para obtener los vales.
Discriminación en seguros y prestaciones Incluye la negación a las personas del seguro, la asistencia social o el acceso a una prueba médica debido a normas sesgadas. ¿Podría utilizarse esta tecnología para determinar el acceso, el costo, la asignación de seguros o prestaciones sociales? La compañía de seguros podría cobrar tarifas más altas a los conductores que trabajan en turnos nocturnos debido a predicciones algorítmicas que sugieren un mayor riesgo de conducción en estado de ebriedad.
Discriminación en la educación El acceso a la educación puede denegarse debido a una característica inalterable. ¿Cómo podría utilizarse esta tecnología para determinar el acceso, el costo, el alojamiento u otros resultados relacionados con la educación? El clasificador de emociones podría informar incorrectamente de que los alumnos de color están menos comprometidos que sus homólogos blancos, lo que conduce a calificaciones más bajas.
División digital/discriminación tecnológica Un acceso desproporcionado a las ventajas de la tecnología puede dejar a algunas personas menos informadas o preparadas para participar en la sociedad. ¿Qué requisitos previos de aptitudes, equipos o conectividad son necesarios para sacar el máximo provecho de esta tecnología? Cuál podría ser el impacto de que determinadas personas accedan antes que otras a esta tecnología, en términos de equipo, conectividad u otra funcionalidad del producto? La limitación del contenido puede impedir que los alumnos rurales accedan a fuentes de vídeo de instrucciones en sus clases.
Pérdida de elección/red y burbuja de filtro Presentación a las personas de información que se ajusta a sus propias creencias y las refuerza. ¿Cómo podría afectar esta tecnología a las opciones y a la información que se ponen a disposición de las personas? ¿En qué comportamientos o preferencias pasadas podría basarse esta tecnología para predecir comportamientos o preferencias futuras? Las fuentes de noticias podrían solo presentar información que confirmase las creencias existentes.

Pérdida económica

La automatización de las decisiones relacionadas con los instrumentos financieros, las oportunidades económicas y los recursos puede amplificar las desigualdades existentes en la sociedad y obstaculizar el bienestar.

Daño Descripción Consideraciones Ejemplo
Discriminación en el crédito A los usuarios se les puede denegar el acceso a los instrumentos financieros en función de características no relacionadas con el mérito económico. ¿Cómo podría esta tecnología basarse en las estructuras crediticias existentes para tomar decisiones? ¿Cómo podría esta tecnología afectar a la capacidad de un individuo o grupo para obtener o mantener una calificación crediticia? Las ofertas de tasas iniciales más altas podrían enviarse solo a los hogares de las zonas de código postal socioeconómico más bajo.
Precios diferenciales de bienes y servicios Los bienes o servicios podrían ofrecerse a distintos precios por razones no relacionadas con el costo de producción o entrega. ¿Cómo podría usarse esta tecnología para determinar el precio de los bienes o servicios? ¿Cuáles son los criterios para determinar lo que cuesta a las personas usar esta tecnología? Se podría cobrar más por los productos según la designación de hombres o mujeres.
Explotación económica Es posible que las personas se vean obligadas o inducidas a trabajar en algo que afecte a su dignidad o bienestar. ¿Qué rol desempeñó la mano de obra humana en la generación de datos de entrenamiento para esta tecnología? ¿Cómo se ha adquirido este personal? ¿Qué rol desempeña la mano de obra humana en el apoyo a esta tecnología? ¿De dónde se espera que provenga este personal? Del pago a personas sin recursos económicos por sus datos biométricos para entrenar sistemas de inteligencia artificial.
Devaluación de los conocimientos individuales Es posible que la tecnología sustituya el uso de la experiencia o el trabajo humano remunerado. ¿Cómo podría esta tecnología incidir en la necesidad de emplear una plantilla existente? Los agentes de inteligencia artificial reemplazan a los médicos/radiólogos en la evaluación de la creación de imágenes médicas.

Infracción de los derechos humanos

Pérdida de dignidad

La tecnología puede influir en la forma en que las personas perciben el mundo y reconocen, interactúan y se valoran recíprocamente. Se puede interferir en el intercambio de honor y el respeto entre las personas.

Daño Descripción Consideraciones Ejemplo
Deshumanización Eliminación, reducción u ocultación de la visibilidad de la humanidad de una persona. ¿Cómo podría utilizarse esta tecnología para simplificar o resumir la forma en que se representa a una persona? ¿Cómo podría esta tecnología reducir la distinción entre los seres humanos y el mundo digital? El reconocimiento de entidades y las superposiciones virtuales en la vigilancia por drones podrían reducir la responsabilidad que se percibe de las acciones humanas.
Vergüenza pública Puede implicar la exposición de material privado, confidencial o socialmente inapropiado de las personas. ¿Cómo podrían revelarse movimientos o acciones a través de la agregación de datos? Una aplicación de fitness podría revelar la ubicación GPS de un usuario en las redes sociales, que indicaría la asistencia a una reunión de Alcohólicos Anónimos.

Pérdida de libertad

La automatización de los sistemas jurídicos, judiciales y sociales puede reforzar los sesgos y acarrear consecuencias perjudiciales.

Daño Descripción Consideraciones Ejemplo
Vigilancia policial predictiva Deducción de comportamiento sospechoso o intención penal en función del historial de datos. ¿Cómo podría esto apoyar o reemplazar la toma de decisiones en materia de vigilancia policial o de justicia penal? Un algoritmo puede predecir varias detenciones en un área, con el fin de que la policía tenga la certeza de que coinciden o superan ese número.
Control social El conformismo puede ser reforzado o fomentado designando comportamientos humanos públicamente como positivos o negativos. ¿Qué tipos de datos personales o de comportamiento podrían alimentar esta tecnología? ¿Cómo se obtendrían? ¿Qué resultados se derivarían de estos datos? ¿Es probable que esta tecnología se use para fomentar o desaconsejar determinados comportamientos? Un gobierno autoritario utiliza los datos de las redes sociales y del comercio electrónico para determinar una puntuación "de confianza" basada en los lugares en que compran las personas y con quién pasan el tiempo.
Pérdida de una adecuada reparación Implica que no es posible explicar la lógica o la falta de oportunidad al impugnar una decisión. ¿Cómo podrían entender los usuarios el razonamiento de las decisiones tomadas por esta tecnología? ¿Cómo podría un individuo que confía en esta tecnología explicar sus decisiones? ¿Cómo podrían las personas impugnar o cuestionar una decisión que esta tecnología toma? La sentencia de prisión automática o la decisión de libertad provisional no se explica al acusado.

Pérdida de privacidad

La información que genera nuestro uso de la tecnología se puede utilizar para determinar hechos o hacer suposiciones sobre alguien sin su conocimiento.

Daño Descripción Consideraciones Ejemplo
Interferencias con la vida privada Revelación de información que una persona no ha elegido compartir. ¿Cómo podría esta tecnología usar información para inferir partes de la vida privada? ¿Cómo podrían las decisiones basadas en estas inferencias exponer cosas que una persona no quiere que se hagan públicas? El seguimiento de tareas mediante inteligencia artificial podría supervisar patrones personales de los que infiere una aventura extramatrimonial.
Asociación forzosa Exigencia de participación en el uso de tecnología o vigilancia para participar en la sociedad. ¿Cómo se podría exigir el uso de esta tecnología para la participación en la sociedad o para formar parte de una organización? La inscripción biométrica en la inteligencia artificial de transcripción de la sala de reuniones de una empresa es un requisito estipulado en la carta de la oferta de trabajo.
Imposibilidad de desarrollar libre y plenamente la personalidad Puede significar una restricción de la capacidad de expresarse con veracidad o de explorar vías externas para el autodesarrollo. ¿De qué forma el sistema o el producto atribuyen connotaciones positivas o negativas a determinados rasgos de la personalidad? ¿De qué manera el uso del producto o sistema puede revelar información a entidades como el gobierno o la empresa que inhiba la libre expresión? El sistema de reuniones inteligentes puede grabar todas las conversaciones entre compañeros, lo que incluye las sesiones de entrenamiento personal y de tutoría.
Nunca olvidado Es posible que los archivos o registros digitales nunca se eliminen. ¿Cuáles son y dónde se almacenan los datos de este producto, y quién puede acceder a ellos? ¿Durante cuánto tiempo se almacenan los datos de usuario después de la interacción tecnológica? ¿Cómo se actualizan o eliminan los datos de usuario? El historial de los medios sociales de un adolescente podría seguir siendo susceptible de ser investigado mucho después de que haya superado la plataforma.
Pérdida de la libertad de movimiento o de reunión Significa que no es posible navegar por el entorno físico o virtual con el anonimato deseado. ¿De qué manera podría esta tecnología supervisar a las personas a través del espacio físico y virtual? Podría ser necesario un nombre real para registrarse en un videojuego que permita el acecho en el mundo real.

Impacto medioambiental

El medio ambiente puede verse afectado por cada decisión del ciclo de vida de un sistema o producto, desde la cantidad de informática en la nube necesaria hasta el embalaje de venta al público. Los cambios en el medio ambiente pueden afectar a comunidades completas.

Daño Descripción Consideraciones Ejemplo
Explotación o agotamiento de los recursos La obtención de las materias primas para una tecnología, incluida la forma en que se impulsa, tiene consecuencias negativas para el medio ambiente y sus habitantes. ¿Qué materiales son necesarios para crear ejecutar esta tecnología? ¿Cuáles son los requisitos energéticos necesarios para crear o ejecutar esta tecnología? Una comunidad local podría verse desplazada debido a la extracción de tierras raras de minerales y metales que se necesitan para la fabricación electrónica.
Residuos electrónicos Menor calidad del bienestar colectivo debido a la incapacidad de reparar, reciclar o desechar de forma responsable los aparatos electrónicos. ¿Cómo podría esta tecnología reducir los desechos electrónicos reciclando materiales o permitiendo a los usuarios puedan repararse automáticamente? ¿Cómo podría contribuir esta tecnología a los desechos electrónicos cuando se publiquen nuevas versiones o cuando las versiones actuales/anteriores dejen de funcionar? Los materiales tóxicos incluidos en los dispositivos electrónicos desechados podrían filtrarse en el suministro de agua, haciendo que las poblaciones locales se enfermaran.
Emisiones de carbono La ejecución de soluciones en la nube que no estén optimizadas puede provocar emisiones innecesarias de carbono y un mal uso de la electricidad, lo que provoca daños en el clima. ¿Tiene información sobre cómo están de optimizadas sus soluciones y cargas de trabajo en la nube? ¿Qué impacto tiene su solución en el clima? Y ¿cambia en función de la región en la que implemente las cargas de trabajo? La ejecución de soluciones que no están optimizadas o diseñadas correctamente para la eficiencia de la nube puede afectar negativamente al clima, lo que provoca emisiones innecesarias de carbono y un mal uso de la electricidad.

Erosión de las estructuras sociales y democráticas

Manipulación

La capacidad de la tecnología para crear experiencias altamente personalizadas y manipuladoras puede socavar una ciudadanía informada y la confianza en las estructuras sociales.

Daño Descripción Consideraciones Ejemplo
Desinformación Disfrazar información falsa como información legítima o creíble. ¿Cómo se podría usar esta tecnología para generar desinformación? ¿Cómo podría usarse para difundir información errónea creíble? La generación del discurso sintético de un líder político influye en las elecciones.
Explotación del comportamiento Significa que se aprovechan las preferencias personales o patrones de comportamiento para inducir una reacción deseada. ¿Cómo se puede usar esta tecnología para observar patrones de comportamiento? ¿Cómo podría usarse esta tecnología para fomentar comportamientos disfuncionales o inadaptados? La supervisión de los hábitos de compra en el entorno minorista conectado conduce a incentivos personalizados para los compradores impulsivos y los acaparadores.

Deterioro social

A escala, la forma en que la tecnología afecta a las personas da forma a las estructuras sociales y económicas dentro de las comunidades. Puede arraigar aún más los elementos que incluyen o benefician a algunos, y excluyen a otros.

Daño Descripción Consideraciones Ejemplo
Amplificación de la desigualdad de poder Puede perpetuar las disparidades de clase o de privilegios existentes. ¿Cómo puede utilizarse esta tecnología en aquellos contextos en los que existen disparidades sociales, económicas o de clases? ¿Cómo podrían las personas con más poder o privilegios influir desmesuradamente en la tecnología? Exigir una dirección de residencia y un número de teléfono para registrarse en un sitio web de trabajo podría impedir la solicitud de personas sin hogar.
Refuerzo de los estereotipos Esto puede perpetuar la "sabiduría convencional" no informada sobre personas histórica o estadísticamente infrarrepresentadas. ¿Cómo podría utilizarse esta tecnología para reforzar o amplificar las normas sociales o los estereotipos culturales existentes? ¿Cómo podrían los datos utilizados por esta tecnología hacer que se reflejen sesgos o estereotipos? Los resultados de una búsqueda de imágenes para "CEO" podrían mostrar principalmente fotos de hombres caucásicos.
Pérdida de la individualidad Puede ser la incapacidad de expresar una perspectiva propia. ¿Cómo podría esta tecnología amplificar las opiniones mayoritarias o el "pensamiento de grupo"? Por el contrario, ¿cómo podrían suprimirse las formas de expresión singulares? ¿De qué manera podrían usarse los datos recopilados por esta tecnología en los comentarios de los usuarios? Las limitadas opciones de personalización al diseñar un avatar de videojuego inhibe la autoexpresión de la diversidad de un jugador.
Pérdida de representación Las amplias categorías de generalización oscurecen, disminuyen o borran las identidades reales. ¿Cómo podría esta tecnología restringir las opciones de identidad? ¿Podría usarse para etiquetar o clasificar personas automáticamente? El pie de foto automático asigna una identidad de género y una edad incorrectas a la persona.
Degradación de aptitudes y complacencia La dependencia excesiva de la automatización conduce a la atrofia de las habilidades manuales. ¿De qué manera podría esta tecnología reducir la accesibilidad y la capacidad de usar controles manuales? La dependencia excesiva de la automatización podría provocar la imposibilidad de medir la verdadera orientación del avión, ya que los pilotos se han entrenado para confiar únicamente en los instrumentos.

Evaluación de los daños

Una vez que haya generado una amplia lista de daños potenciales, debe completar el modelo de daños evaluando la magnitud potencial para cada categoría de daños. Esto le permitirá priorizar sus áreas de enfoque. Vea el siguiente ejemplo de modelo de daños como referencia:

Factor de contribución Definición
severity ¿Hasta qué punto puede afectar la tecnología el bienestar de un individuo o un grupo?
Escala ¿En qué medida pueden sentirse los del bienestar en las poblaciones o grupos?
Probabilidad ¿Cuál es la probabilidad de que la tecnología afecte al bienestar de un individuo o grupo?
Frecuencia ¿Con qué frecuencia un individuo o un grupo experimentaría un impacto en su bienestar a causa de la tecnología?

Pasos siguientes

Use el modelo de daños que desarrolló a modo de guía para el trabajo de desarrollo del producto:

  • Busque más información de las partes interesadas que haya identificado como posiblemente perjudicados.
  • Desarrolle y valide las distintas hipótesis para abordar las áreas que identificó como las que tienen el mayor potencial de daño.
  • Integre la información en sus decisiones a lo largo del proceso de desarrollo tecnológico: recopilación de datos y entrenamiento de modelos, arquitectura del sistema, diseño de la experiencia del usuario, documentación del producto, bucles de comentarios y capacidades de comunicación y limitaciones de la tecnología.
  • Explore el Jurado de la comunidad.
  • Evalúe y mitigue la imparcialidad mediante Azure Machine Learning y el paquete FairLearn de código abierto.

Otras herramientas de inteligencia artificial responsable:

Referencias adicionales: