Fundações para avaliar danos

A Modelação de Danos é uma prática criada para o ajudar a antecipar danos potenciais, identificar lacunas no produto que podem colocar as pessoas em risco e, em última análise, criar abordagens que abordam proativamente os danos.

Porquê a modelação de danos?

Como criadores de tecnologia, o seu trabalho é global. Criar a IA de forma a que esta seja confiável requer a criação de soluções que reflitam princípios éticos profundamente enraizados em valores importantes e intemporais. No processo de projetar e construir suas tecnologias, é essencial avaliar não apenas os resultados ideais, mas também possíveis negativos.

Tecnologia e direitos humanos

É mais importante do que nunca estar ciente de como a tecnologia digital pode impactar os direitos humanos. Para além de continuarmos a proteger a privacidade e a segurança, temos de abordar os riscos da IA e de outras tecnologias emergentes, como o reconhecimento facial. A história ensina-nos que as violações dos direitos humanos resultam não só do uso nefasto da tecnologia, mas também da falta de consciência daqueles que têm boas intenções. Como parte da dedicação da nossa empresa à proteção dos direitos humanos, a Microsoft forjou uma parceria com importantes intervenientes fora da nossa indústria, incluindo as Nações Unidas (ONU).

Um importante conjunto de princípios das Nações Unidas que a nossa empresa apoia firmemente, que foi ratificado por mais de 250 nações, é a Declaração Universal dos Direitos Humanos (UDHR). A UDHR é um documento de marco. Redigida por um grupo global diversificado de peritos jurídicos e culturais, a Declaração foi proclamada pela Assembleia Geral das Nações Unidas em 1948 como um padrão comum de conquistas para todos os povos e todas as nações. Estabelece, pela primeira vez, que os direitos humanos fundamentais sejam universalmente protegidos. Foi traduzido para mais de 500 línguas. Além disso, a Microsoft é uma das 4700 empresas signatárias do Pacto Global da ONU, uma iniciativa empresarial internacional destinada a promover uma cidadania corporativa responsável.

Baixar um arquivo do Microsoft Word desta tabela

Compreensão humana

Para além de apreciarmos a importância dos direitos humanos, a construção de sistemas de confiança exige que consideremos as perspetivas de muitas pessoas. Perguntar quem são os intervenientes, o que valorizam, como poderiam beneficiar e como poderiam ser prejudicados pela nossa tecnologia, é um passo poderoso que nos permite projetar e construir melhores produtos.

Quem tem impacto na tecnologia?

Quem são os clientes?

• O que valorizam?
• Como devem beneficiar?
• Como é que a tecnologia os pode prejudicar?

Quem são os intervenientes não clientes?

• O que valorizam?
• Como devem beneficiar?
• Como é que a tecnologia os pode prejudicar?

Fazer estas perguntas é uma prática de Design Sensível de Valor e é o início para entender melhor o que é importante para os intervenientes e como afeta a sua relação com o produto.

Tipos de intervenientes

Patrocinadores do projeto

Compõem esta categoria apoiantes, responsáveis pela tomada de decisões e proprietários. Os seus valores estão articulados na estratégia e objetivos do projeto.

Construtores tecnológicos

Designers, desenvolvedores, gerentes de projeto e pessoas que trabalham diretamente no projeto de sistemas compõem esse grupo. Trazem para o sistema os seus próprios padrões éticos e valores específicos da profissão.

Intervenientes diretos e indiretos

Estes intervenientes são significativamente afetados pelo sistema. Aqueles que são impactados incluem usuários finais, funcionários de software, clientes, espectadores, instituições de interface e até mesmo gerações passadas ou futuras. Podem também ser incluídos fatores não humanos, como locais, por exemplo, edifícios históricos ou espaços sagrados.

Populações marginalizadas

Esta categoria é constituída pela população frequentemente considerada minoritária, vulnerável ou estigmatizada. Esta categoria inclui crianças, idosos, membros da comunidade LGBTQ+, minorias étnicas e outras populações que muitas vezes sofrem consequências únicas e desproporcionais.

Avaliação dos danos

Depois de definir o propósito da tecnologia, os casos de uso e as partes interessadas, conduza um exercício de Modelagem de Danos para avaliar possíveis maneiras pelas quais o uso de uma tecnologia que você está construindo pode resultar em resultados negativos para as pessoas e a sociedade.

Transfira um ficheiro do Microsoft Word deste diagrama.

O diagrama acima é um exemplo de uma avaliação de danos. Este modelo é uma abordagem qualitativa que é usada para entender a magnitude potencial do dano.

Você pode concluir essa atividade de ideação individualmente, mas idealmente ela é conduzida como colaboração entre desenvolvedores, cientistas de dados, designers, pesquisadores de usuários, tomadores de decisões de negócios e outras disciplinas envolvidas na construção da tecnologia.

Sugestões de declarações de descrição de danos:

• Uso pretendido: Se [recurso] foi usado para [caso de uso], então [interessado] poderia experimentar [descrição do dano].
• Uso não intencional: Se [usuário] tentou usar [recurso] para [caso de uso], então [interessado] poderia experimentar [descrição do dano].
• Erro do sistema: Se [feature] não funcionar corretamente quando usado para [caso de uso], então [stakeholder] pode experimentar [descrição do dano].
• Uso indevido: [Ator malicioso] poderia potencialmente utilizar [recurso], para causar [descrição do dano] a [intervenientes].

Utilize as categorias, perguntas e exemplos descritos no Tipos de danos para gerar ideias específicas sobre como os danos podem ocorrer. O artigo lista categorias de danos, que se baseiam em áreas comuns de impacto negativo. Adapte e adote categorias adicionais que lhe sejam relevantes.

Próximos passos

Leia Tipos de danos para uma análise de danos adicional.