Fundações para avaliar danos

2025-04-10

A modelagem de danos é uma prática que ajuda a antecipar o potencial de dano, identificar lacunas no produto que podem colocar as pessoas em risco e, finalmente, criar abordagens que abordam os danos de forma proativa.

Esta orientação é para arquitetos que projetam sistemas orientados por algoritmos, como estruturas de tomada de decisão codificadas sob medida. Também se aplica a processos de tomada de decisão terceirizados, como processos que envolvem modelos de IA ou aprendizado de máquina.

Como construtores de tecnologia, o seu trabalho tem um impacto global. Para projetar sistemas confiáveis orientados por algoritmos, você precisa criar soluções que reflitam princípios éticos enraizados em valores humanos importantes e atemporais. Durante o processo de design e desenvolvimento, você deve avaliar não apenas os resultados ideais para seus usuários, mas também possíveis resultados negativos, conhecidos como danos. Esses danos podem ocorrer em qualquer arquitetura de tomada de decisão que não envolva supervisão humana.

Sugestão

Para obter orientações específicas sobre IA responsável, consulte Princípios e abordagem de IA responsável.

Considerações das partes interessadas

Construir sistemas confiáveis, reconhecer e valorizar os direitos humanos como um aspeto fundamental e considerar as perspetivas de muitas pessoas. Para projetar e construir produtos melhores, você deve perguntar quem são as partes interessadas, o que elas valorizam, como elas podem se beneficiar de sua tecnologia e como elas podem ser prejudicadas por sua tecnologia.

Quem são os clientes da sua tecnologia?

O que valorizam?
Como eles devem se beneficiar da sua tecnologia?
Como sua tecnologia pode prejudicá-los?

Quem são as partes interessadas não clientes?

O que valorizam?
Como eles devem se beneficiar da sua tecnologia?
Como sua tecnologia pode prejudicá-los?

Faça essas perguntas para entender melhor o que é importante para as partes interessadas e como esses aspetos influenciam seu relacionamento com o produto.

Tipos de danos

As tabelas a seguir descrevem vários tipos de danos que os usuários de tecnologia podem encontrar. Eles incluem uma gama diversificada de danos que podem afetar as pessoas em diferentes cenários, mas não é exaustivo. Sua carga de trabalho pode ter o potencial de levar a outros tipos de danos que não estão listados.

Risco de lesões

Lesões corporais

Considere como a tecnologia pode prejudicar as pessoas ou criar ambientes perigosos.

Danos	Descrição	Considerações	Exemplo
Dependência excessiva dos dispositivos de segurança	Uma dependência da tecnologia para tomar decisões sem supervisão humana adequada.	Como as pessoas podem confiar nessa tecnologia para mantê-las seguras? Como essa tecnologia poderia reduzir a supervisão humana adequada?	Um agente de saúde diagnostica mal a doença, o que leva a um tratamento desnecessário.
Proteção inadequada contra falhas	Os testes do mundo real não abrangem um conjunto diversificado de usuários e cenários.	Se esta tecnologia falhar ou for mal utilizada, como é que afeta as pessoas? Em que momento um ser humano poderia intervir? Existem usos alternativos que você ainda não testou? Como é que uma falha do sistema afeta os utilizadores?	Uma porta automática não deteta uma cadeira de rodas durante uma evacuação de emergência, pelo que uma pessoa fica presa se não existir um botão de substituição acessível.
Exposição a agentes nocivos da saúde	A fabricação, assim como o descarte de tecnologia, coloca em risco a saúde e o bem-estar dos trabalhadores e dos habitantes próximos.	Que resultados negativos podem surgir da fabricação de seus componentes ou dispositivos?	Medidas de segurança inadequadas expõem os trabalhadores a toxinas durante a fabricação de componentes digitais.

Danos emocionais ou psicológicos

O uso indevido da tecnologia pode levar a graves sofrimentos emocionais e psicológicos.

Danos	Descrição	Considerações	Exemplo
Dependência excessiva da automação	Crenças equivocadas levam os usuários a confiar na confiabilidade de um agente digital sobre um humano.	Como essa tecnologia poderia reduzir o feedback interpessoal direto? Como é que esta tecnologia pode interagir com fontes de informação fiáveis? Como a dependência exclusiva de um agente artificial pode afetar uma pessoa?	Uma pessoa depende de um chatbot para aconselhamento de relacionamento ou saúde mental em vez de um profissional treinado.
Distorção da realidade ou manipulação psicológica	A tecnologia é intencionalmente utilizada de forma abusiva para minar a confiança e distorcer o sentido da realidade de alguém.	Essa tecnologia poderia ser usada para modificar mídias digitais ou ambientes físicos?	Um dispositivo IoT permite monitorar e controlar um ex-parceiro íntimo à distância.
Redução da autoestima ou danos à reputação	Conteúdo partilhado prejudicial, falso, enganador ou depreciativo.	Como essa tecnologia pode ser usada para compartilhar informações pessoais de forma inadequada? Como poderia ser manipulado para abusar da informação e deturpar as pessoas?	A "pornografia de vingança" da mídia sintética troca de rostos, o que cria a ilusão de uma pessoa participar de um vídeo.
Vício ou sequestro de atenção	Tecnologia concebida para uma interação prolongada, sem ter em conta o bem-estar.	Como essa tecnologia pode recompensar ou incentivar a interação contínua além da entrega de valor ao usuário?	Taxas de queda variáveis em loot boxes de videogames fazem com que os jogadores continuem jogando e negligenciem o autocuidado.
Roubo de identidade	O roubo de identidade pode levar à perda de controle sobre credenciais pessoais, reputação e representação.	Como um indivíduo pode ser personificado com essa tecnologia? Como essa tecnologia pode reconhecer erroneamente o indivíduo errado como um usuário autêntico?	A fonte de voz sintética imita o som da voz de uma pessoa e é usada para acessar uma conta bancária.
Atribuição incorreta	A tecnologia credita a uma pessoa uma ação ou conteúdo pelo qual ela não é responsável.	Como essa tecnologia pode atribuir uma ação a um indivíduo ou grupo? Que impacto pode ter uma atribuição incorreta de uma ação em alguém?	O reconhecimento facial identifica erroneamente um indivíduo durante uma investigação policial.

Recusa de serviços consequentes

Perda de oportunidade

As decisões automatizadas podem limitar o acesso a recursos, serviços e oportunidades essenciais para o bem-estar.

Danos	Descrição	Considerações	Exemplo
Discriminação no emprego	Algumas pessoas não têm acesso para se candidatar ou garantir um emprego com base em características que não estão relacionadas ao mérito.	Como é que esta tecnologia pode afetar as recomendações ou decisões relacionadas com o emprego?	A Inteligência Artificial de contratação recomenda menos candidatos com nomes que soam femininos para entrevistas.
Discriminação em matéria de habitação	Negar às pessoas o acesso à habitação ou a possibilidade de se candidatarem a alojamento.	Como é que esta tecnologia pode afetar as recomendações ou decisões relacionadas com a habitação?	Um algoritmo de ordenação de listas de espera de habitação pública faz com que as pessoas com nomes que soam internacionais esperem mais tempo por subsídios.
Discriminação em matéria de seguros e prestações	Negar às pessoas seguro, assistência social ou acesso a um julgamento médico por causa de padrões tendenciosos.	Essa tecnologia poderia ser usada para determinar o acesso, o custo ou a alocação de seguros ou benefícios sociais?	Uma companhia de seguros cobra taxas mais elevadas aos condutores que trabalham em turnos noturnos porque as previsões algorítmicas sugerem um aumento do risco de condução sob o efeito do álcool.
Discriminação educacional	O acesso à educação é negado devido a uma característica imutável.	Como essa tecnologia pode ser usada para determinar o acesso, o custo, as acomodações ou outros resultados relacionados à educação?	Um classificador de emoções relata incorretamente que os alunos de um grupo racial são menos engajados do que outro grupo racial, levando a notas mais baixas.
Fratura digital ou discriminação tecnológica	O acesso desproporcionado aos benefícios da tecnologia deixa algumas pessoas menos informadas ou equipadas para participar na sociedade.	Que pré-requisitos de competências, equipamento ou conectividade são necessários para tirar o máximo partido desta tecnologia? Quais poderiam ser as consequências de certos indivíduos terem acesso antecipado a esta tecnologia, em termos de equipamento, conectividade ou outras funcionalidades do produto?	A limitação de conteúdo impede que os alunos da zona rural acessem os feeds de vídeo das instruções em sala de aula.
Perda de escolha/rede e bolha de filtro	Apresentar às pessoas apenas informações que estejam de acordo e reforcem as suas crenças.	Como essa tecnologia pode afetar as escolhas e as informações que estão disponíveis para as pessoas? Em que comportamentos ou preferências passadas esta tecnologia se pode basear para prever comportamentos ou preferências futuras?	Um feed de notícias apresenta apenas informações que confirmam as crenças existentes.

Perdas económicas

As decisões automatizadas relacionadas com instrumentos financeiros, oportunidades económicas e recursos podem amplificar as desigualdades sociais existentes e obstruir o bem-estar.

Danos	Descrição	Considerações	Exemplo
Discriminação no crédito	Negar às pessoas o acesso a instrumentos financeiros com base em características alheias ao mérito económico.	Como essa tecnologia pode contar com as estruturas de crédito existentes para tomar decisões? Como essa tecnologia pode afetar a capacidade de um indivíduo ou grupo de obter ou manter uma pontuação de crédito?	Ofertas de tarifas introdutórias mais altas são enviadas apenas para residências em códigos postais socioeconômicos mais baixos.
Diferenciação de preços de bens e serviços	Os bens ou serviços são oferecidos a preços diferentes por razões não relacionadas com o custo de produção ou de entrega.	Como poderia esta tecnologia ser utilizada para determinar o preço de bens ou serviços? Que critérios são utilizados para determinar o custo para os indivíduos da utilização desta tecnologia?	Os produtos são oferecidos a um preço mais elevado com base numa determinação de género.
Exploração económica	As pessoas são obrigadas ou induzidas em erro a trabalhar em algo que afeta a sua dignidade ou bem-estar.	Como o trabalho humano influencia a produção de dados de treinamento para essa tecnologia? Como é adquirida esta mão de obra? Como o trabalho humano suporta essa tecnologia? De onde se espera que venha esta mão de obra?	Pessoas financeiramente carentes são pagas por seus dados biométricos para treinar sistemas de IA.
Desvalorização de competências individuais	A tecnologia suplanta o uso de perícia ou trabalho humano remunerado.	Como essa tecnologia pode afetar a necessidade de empregar uma força de trabalho existente?	Os agentes de IA substituem médicos ou radiógrafos para a avaliação de imagens médicas.

Violação dos direitos humanos

Perda de dignidade

A tecnologia pode influenciar a forma como as pessoas percebem o mundo e como se reconhecem, se envolvem e valorizam umas às outras. A tecnologia pode interferir na troca de honra e respeito entre as pessoas.

Danos	Descrição	Considerações	Exemplo
Desumanização	Remover, reduzir ou tornar menos visível a humanidade de uma pessoa.	Como essa tecnologia pode ser usada para simplificar ou abstrair a representação de uma pessoa? Como essa tecnologia pode reduzir a distinção entre os seres humanos e o mundo digital?	O reconhecimento de entidades e sobreposições virtuais na vigilância por drones reduzem a perceção de responsabilização das ações humanas.
Vergonha pública	Expor material privado, sensível ou socialmente inadequado das pessoas.	Como a agregação de dados pode revelar os movimentos ou ações de um indivíduo?	Um aplicativo de fitness revela a localização GPS de um usuário nas redes sociais, o que indica a participação em uma reunião dos Alcoólicos Anônimos.

Perda de liberdade

Sistemas jurídicos, judiciais e sociais automatizados podem reforçar preconceitos e levar a consequências prejudiciais.

Danos	Descrição	Considerações	Exemplo
Policiamento preditivo	Inferir comportamento suspeito ou intenção criminosa com base em registros históricos.	Como essa tecnologia poderia apoiar ou substituir o policiamento humano ou a tomada de decisões da justiça criminal?	Um algoritmo prevê várias detenções na área, para que a polícia se certifique de que correspondem ou excedem esse número.
Controle social	A conformidade é reforçada ou encorajada pela designação pública dos comportamentos humanos como positivos ou negativos.	Que tipos de dados pessoais ou comportamentais alimentam esta tecnologia? Como é obtido? Que saídas são derivadas desses dados? Esta tecnologia pode ser usada para encorajar ou desencorajar certos comportamentos?	O governo autoritário usa dados de mídia social e comércio eletrônico para determinar uma pontuação "confiável" com base em onde as pessoas compram e com quem passam tempo.
Perda de uma solução eficaz	Incapacidade de explicar a fundamentação ou falta de oportunidade para contestar uma decisão.	Como as pessoas podem entender o raciocínio para as decisões dessa tecnologia? Como pode um indivíduo que depende desta tecnologia explicar as suas decisões? Como é que as pessoas podem contestar ou questionar uma decisão que esta tecnologia toma?	Uma sentença de prisão automatizada ou uma decisão de liberdade provisória não são explicadas ao acusado.

Perda de privacidade

As informações que a tecnologia gera podem ser usadas para determinar fatos ou fazer suposições sobre alguém sem o seu conhecimento.

Danos	Descrição	Considerações	Exemplo
Interferência na vida privada	Revelar informações que uma pessoa opta por não partilhar.	Como essa tecnologia poderia usar a informação para inferir partes da vida privada de uma pessoa? Como as decisões baseadas nessas inferências podem expor informações que uma pessoa prefere manter privadas?	Um recurso de rastreamento de tarefas monitora padrões pessoais a partir dos quais infere um caso extraconjugal.
Associação forçada	Exigir a participação no uso da tecnologia ou da vigilância para participar na sociedade.	Como as pessoas podem precisar dessa tecnologia para participar da sociedade ou da organização?	Uma carta de oferta de emprego requer registo biométrico no sistema de IA de transcrição da sala de reuniões de uma empresa.
Incapacidade de desenvolver livre e plenamente a personalidade	Restrição da capacidade de se expressar com verdade ou explorar caminhos externos para o autodesenvolvimento.	Como essa tecnologia atribui conotações positivas versus negativas a traços de personalidade específicos? Como essa tecnologia revela informações a entidades como o governo ou o empregador e inibe a liberdade de expressão?	Um sistema de reuniões inteligente regista todas as discussões entre colegas, incluindo sessões de coaching pessoal e mentoria.
Nunca esquecido	Os ficheiros ou registos digitais nunca são eliminados.	O que e onde são armazenados os dados deste produto e quem pode aceder aos mesmos? Por quanto tempo os dados do usuário são armazenados após a interação com a tecnologia? Como os dados do usuário são atualizados ou excluídos?	O histórico de redes sociais de um adolescente permanece pesquisável muito depois de deixar de usar a plataforma.
Perda da liberdade de circulação ou de reunião	Uma incapacidade de navegar no mundo físico ou virtual com o anonimato desejado.	Como essa tecnologia pode monitorar as pessoas no espaço físico e virtual?	Para registar-se num videojogo, é necessário fornecer um nome real, o que permite perseguições no mundo real.

Impacto ambiental

Cada decisão no ciclo de vida de um sistema ou produto pode afetar o ambiente, desde a quantidade de computação em nuvem necessária até a embalagem de varejo. As mudanças ambientais podem afetar comunidades inteiras.

Danos	Descrição	Considerações	Exemplo
Exploração ou esgotamento de recursos	A obtenção de matérias-primas para a tecnologia, incluindo a forma como é alimentada, leva a consequências negativas para o ambiente e os seus habitantes.	Que materiais são necessários para construir ou executar esta tecnologia? Que requisitos energéticos são necessários para construir ou executar esta tecnologia?	Uma comunidade local é deslocada porque um cálculo determina que a colheita de minerais de terras raras neste local pode levar a um grande retorno sobre o investimento.
Resíduos eletrónicos	Qualidade reduzida do bem-estar coletivo devido à incapacidade de reparar, reciclar ou eliminar de forma responsável os produtos eletrónicos.	Como pode esta tecnologia reduzir os resíduos eletrónicos através da reciclagem de materiais ou permitindo aos utilizadores a autorreparação? Como essa tecnologia pode contribuir para o lixo eletrônico quando novas versões são lançadas ou quando versões atuais ou passadas param de funcionar?	Materiais tóxicos dentro de dispositivos eletrónicos descartáveis lixiviam para o abastecimento de água, o que deixa as populações locais doentes.
Emissões de carbono	A execução de soluções de nuvem ineficientes leva a emissões de carbono desnecessárias e desperdício de eletricidade, o que prejudica o clima.	Você tem informações sobre o quão otimizadas são suas cargas de trabalho e soluções na nuvem? Que impacto sua solução tem no clima e difere com base na região onde você implanta suas cargas de trabalho?	Soluções ineficientes ou mal concebidas para a eficiência da nuvem levam a um impacto mais pesado no clima, o que causa emissões de carbono desnecessárias e desperdício de eletricidade.

Manipulação

A capacidade da tecnologia de criar experiências altamente personalizadas e manipuladoras pode minar uma cidadania informada e a confiança nas estruturas sociais.

Prejuízo	Descrição	Considerações	Exemplo
Desinformação	Disfarçar informações falsas como informações legítimas ou credíveis.	Como essa tecnologia pode ser usada para gerar desinformação? Como poderia ser utilizado para espalhar desinformação credível?	Gera-se um discurso sintético de um líder político, o que influencia uma eleição.
Exploração comportamental	Explorar preferências pessoais ou padrões de comportamento para induzir uma reação desejada.	Como essa tecnologia pode ser usada para observar padrões de comportamento? Como essa tecnologia pode ser usada para incentivar comportamentos disfuncionais ou desadaptativos?	Monitorar os hábitos de compra no ambiente de varejo conectado leva a incentivos personalizados para compradores por impulso e acumuladores.

Em escala, a forma como a tecnologia afeta as pessoas molda as estruturas sociais e económicas dentro das comunidades. Pode enraizar ainda mais elementos que incluem ou beneficiam algumas pessoas, excluindo outras.

Danos	Descrição	Considerações	Exemplo
Amplificação da desigualdade de poder	Perpetuar as disparidades de classe ou de privilégios existentes.	Como pode esta tecnologia ser utilizada em contextos com disparidades sociais, económicas ou de classe existentes? Como pessoas com mais poder ou privilégio podem influenciar desproporcionalmente essa tecnologia?	Um site de emprego requer um endereço residencial e número de telefone para se registrar, o que impede que uma pessoa em situação de rua se candidate.
Reforço de estereótipos	Perpetuar o conhecimento comum sobre pessoas histórica ou estatisticamente sub-representadas de forma desinformada.	Como pode esta tecnologia ser utilizada para reforçar ou amplificar normas sociais ou estereótipos culturais existentes? Como é que os dados utilizados por esta tecnologia podem fazer com que reflitam preconceitos ou estereótipos?	Os resultados de uma pesquisa de imagens por "CEO" mostram principalmente fotos de homens caucasianos.
Perda de individualidade	Uma incapacidade de expressar uma perspetiva única.	Como essa tecnologia pode amplificar opiniões majoritárias ou "pensamento de grupo"? Por outro lado, como essa tecnologia pode suprimir formas únicas de expressão? Como essa tecnologia pode usar seus dados coletados como feedback para as pessoas?	Opções limitadas de personalização para um avatar de videogame inibem a autoexpressão da diversidade de um jogador.
Perda de representação	Categorias amplas de generalização obscurecem, diminuem ou apagam identidades reais.	Como essa tecnologia pode restringir as opções de identidade? Poderia ser usado para rotular ou categorizar pessoas automaticamente?	Uma legenda de foto automatizada atribui a identidade de gênero e idade incorretas a um sujeito.
Degradação das competências e complacência	A dependência excessiva da automação leva à atrofia das habilidades manuais.	Como essa tecnologia pode reduzir a acessibilidade e a capacidade de usar controles manuais?	Os pilotos não podem avaliar a verdadeira orientação de um avião porque são treinados para confiar apenas em instrumentos.

Definir danos específicos para suas cargas de trabalho

Use as categorias, perguntas e exemplos anteriores para gerar ideias específicas sobre como os danos podem ocorrer em sua carga de trabalho. Adapte e adote outras categorias que sejam relevantes para o seu cenário.

Você pode concluir essa atividade de modelagem de danos individualmente, mas idealmente, você deve colaborar com as partes interessadas. Ao projetar e implementar a tecnologia, envolva desenvolvedores, cientistas de dados, designers, pesquisadores de usuários, tomadores de decisões de negócios e outras disciplinas.

Utilização prevista: Se [recurso] for usado para [caso de uso], então [interessado] poderá sofrer [descrição do dano].
Utilização não intencional: Se [usuário] tentasse usar [recurso] para [caso de uso], então [interessado] poderia experimentar [descrição do dano].
Erro do sistema: Se [recurso] não funcionasse corretamente quando usado para [caso de uso], então [stakeholder] poderia enfrentar [descrição do dano].
Uso abusivo: [Agente mal-intencionado] poderia potencialmente usar [recurso] para causar [descrição do dano] à [parte interessada].

Utilizar documentos de transparência

Alguns serviços fornecem documentos transparentes. Os documentos de transparência fornecem informações sobre como o serviço opera, suas capacidades, limitações e considerações éticas. Você pode revisar esses documentos para entender o funcionamento interno do serviço e ajudar a garantir o uso responsável.

Ao criar soluções no Azure, leia todos os documentos de transparência que seu serviço oferece. Considere como essas soluções se alinham com a modelagem de danos da sua carga de trabalho. Considere se as funcionalidades e limitações do serviço introduzem ou mitigam riscos no seu caso de uso específico.

Avaliar danos

Depois de gerar uma lista ampla de danos potenciais, avalie a magnitude potencial para cada categoria de dano. Esta etapa prioriza suas áreas de foco. Considere os seguintes fatores.

Fator contribuinte	Definição
Gravidade	Até que ponto a tecnologia pode afetar o bem-estar de um indivíduo ou grupo?
Escala	Em que medida o impacto no bem-estar poderia ser sentido em todas as populações ou grupos?
Probabilidade	Qual é a probabilidade de a tecnologia afetar o bem-estar de um indivíduo ou grupo?
Frequência	Com que frequência a tecnologia pode afetar o bem-estar de um indivíduo ou grupo?

Próximos passos

Design Inclusivo da Microsoft

Veja artigos relevantes sobre IA responsável: