Proteger o futuro da inteligência artificial e do machine learning na Microsoft
Por Andrew Marshall, Raul Rojas, Jay Stokes e Donald Brinkman
Agradecimentos especiais a Mark Cartwright e Graham Calladine
Resumo executivo
A Inteligência Artificial (IA) e o Machine Learning (ML) já estão causando um grande impacto na forma como as pessoas trabalham, socializam e vivem suas vidas. À medida que o consumo de produtos e serviços criados em torno da IA/ML aumenta, ações especializadas devem ser realizadas para proteger não apenas seus clientes e os dados deles, mas também para proteger sua IA e algoritmos contra abuso, engano e extração. Este documento compartilha algumas das lições de segurança da Microsoft, aprendidas com o design de produtos e a operação de serviços online baseados na IA. Embora seja difícil prever como essa área se desenrola, concluímos que há questões acionáveis a serem abordadas agora. Além disso, descobrimos que existem problemas estratégicos que o setor de tecnologia deve antecipar para garantir a segurança a longo prazo dos clientes e a segurança dos dados deles.
Este documento não é sobre ataques baseados em IA ou mesmo IA sendo alavancada por adversários humanos. Em vez disso, nos concentramos em questões que a Microsoft e os parceiros do setor precisam abordar para proteger produtos e serviços baseados em IA de ataques altamente sofisticados, criativos e maliciosos, sejam realizados por trolls individuais ou pacotes de lobos inteiros.
Este documento se concentra inteiramente em questões de engenharia de segurança exclusivas do espaço de IA/ML, mas devido à natureza expansiva do domínio InfoSec, entende-se que as questões e descobertas discutidas aqui se sobrepõem em certo grau aos domínios de privacidade e ética. Como este documento destaca desafios de importância estratégica para o setor de tecnologia, o público-alvo deste documento é a liderança em engenharia de segurança em todo o setor.
Nossas descobertas antecipadas sugerem que:
os documentos originais específicos de IA/ML para as práticas de segurança existentes são necessários para mitigar os tipos de problemas de segurança discutidos neste documento.
Os modelos do Machine Learning são amplamente incapazes de discernir entre entradas maliciosas e dados anômalos benignos. Uma fonte significativa de dados de treinamento é derivada de conjuntos de dados públicos não curados, não moderados, que estão abertos a contribuições de 3rd-party. Os invasores não precisam comprometer conjuntos de dados quando estão livres para contribuir com eles. Com o tempo, dados mal-intencionados de baixa confiança se tornam dados confiáveis de alta confiança, se a estrutura/formatação de dados permanecer correta.
Dado o grande número de camadas de classificadores/neurônios ocultos que podem ser usados em um modelo de aprendizado profundo, muita confiança é colocada na saída de processos de tomada de decisão de IA/ML e algoritmos sem uma compreensão crítica de como essas decisões foram alcançadas. Essa ofuscação cria uma incapacidade de "mostrar seu trabalho" e dificulta a comprovação da defesa das descobertas de IA/ML quando questionada.
IA/ML é cada vez mais usado no suporte a processos de tomada de decisão de alto valor na medicina e em outros setores onde a decisão errada pode resultar em danos graves ou morte. A falta de capacidades de relatórios forenses na IA/ML impede que essas conclusões de alto valor sejam defensáveis no tribunal e na opinião pública.
Os objetivos deste documento são (1) destacar questões de engenharia de segurança, que são exclusivas do espaço de IA/ML, (2) apresentar alguns pensamentos e observações iniciais sobre ameaças emergentes e (3) compartilhar pensamentos iniciais sobre possíveis remediações. Alguns dos desafios deste documento são problemas que o setor precisa superar nos próximos dois anos, outros são problemas que já estamos sendo forçados a resolver hoje. Sem uma investigação mais profunda sobre as áreas cobertas neste documento, corremos o risco de a IA futura se tornar uma caixa preta por nossa incapacidade de confiar ou entender (e modificar, se necessário) os processos de tomada de decisão de IA em um nível matemático [7]. Do ponto de vista da segurança, isso significa efetivamente perda de controle e um afastamento dos princípios orientadores da Microsoft sobre Inteligência Artificial [3, 7].
Novos desafios da engenharia de segurança
Os vetores de ataque de software tradicionais ainda são críticos de serem abordados, mas não fornecem cobertura suficiente no cenário de ameaças de IA/ML. O setor de tecnologia deve evitar combater os problemas da próxima geração com soluções de última geração, criando novas estruturas e adotando novas abordagens que abordam lacunas no design e na operação de serviços baseados em IA/ML:
Conforme discutido abaixo, as bases de desenvolvimento e operações seguras devem incorporar os conceitos de resiliência e discrição ao proteger a IA e os dados sob seu controle. Os documentos originais específicos da IA são necessários nas áreas de autenticação, separação de obrigação fiscal, validação de entrada e mitigação de negação de serviço. Sem investimentos nessas áreas, os serviços de IA/ML continuam a travar uma batalha difícil contra adversários de todos os níveis de habilidade.
A IA deve ser capaz de reconhecer o desvio em outros, sem ser tendenciosa em suas próprias interações com os humanos. Conseguir isso requer uma compreensão coletiva e em evolução de desvios, estereótipos, vernáculo e outras construções culturais. Esse entendimento ajuda a proteger a IA de ataques de engenharia social e adulteração de conjuntos de dados. Um sistema devidamente implementado realmente se torna mais forte a partir de tais ataques e ser capaz de compartilhar seu entendimento expandido com outras IAs.
Os algoritmos de Machine Learning devem ser capazes de discernir dados introduzidos maliciosamente de eventos benignos do "Cisne Negro" [1], rejeitando dados de treinamento com impacto negativo nos resultados. Caso contrário, os modelos de aprendizagem são sempre suscetíveis a jogos por atacantes e trolls.
A IA deve ter capacidades forenses internos. Isso permite que as empresas forneçam aos clientes transparência e responsabilidade de sua IA, garantindo que suas ações não sejam apenas verificáveis corretas, mas também legalmente defensáveis. Essas capacidades também funcionam como uma forma antecipada de "detecção de intrusão de IA", permitindo que os engenheiros determinem o momento exato em que uma decisão foi tomada por um classificador, quais dados influenciaram e se esses dados eram confiáveis ou não. Os recursos de visualização de dados nessa área estão avançando rapidamente e se mostram promissores para ajudar os engenheiros a identificar e resolver as causas básicas desses problemas complexos [10].
A IA deve reconhecer e proteger informações confidenciais, mesmo que os humanos não as reconheçam como tal. As experiências de usuário avançadas na IA exigem enormes quantidades de dados brutos para treinar, portanto, o "compartilhamento excessivo" por parte dos clientes deve ser planejado.
Cada uma dessas áreas, incluindo ameaças e possíveis mitigações, é discutida em detalhes abaixo.
A IA requer novos documentos originais para os modelos tradicionais de design seguro/operações seguras: a introdução de resiliência e discrição
Os designers de IA precisam garantir a confidencialidade, integridade e disponibilidade de dados confidenciais, que o sistema de IA esteja livre de vulnerabilidades conhecidas e fornecer controles para a proteção, detecção e resposta a comportamentos maliciosos contra o sistema ou os dados do usuário.
As formas tradicionais de defesa contra ataques maliciosos não oferecem a mesma cobertura neste novo paradigma, onde ataques baseados em voz/vídeo/imagem podem contornar os filtros e defesas atuais. Novos aspectos de modelagem de ameaças devem ser explorados para evitar que novos abusos explorem nossa IA. Isso vai muito além da identificação da superfície de ataque tradicional por meio de difusão ou manipulação de entrada (esses ataques também têm seus próprios documentos originais específicos para IA). Requer a incorporação de cenários exclusivos para o espaço de IA/ML. Os principais são experiências de usuário de IA, como voz, vídeo e gestos. As ameaças associadas a essas experiências não foram tradicionalmente modeladas. Por exemplo, o conteúdo de vídeo agora está sendo personalizado para induzir efeitos físicos. Além disso, a pesquisa demonstra que comandos de ataque baseados em áudio podem ser criados [9].
A imprevisibilidade, criatividade e maldade de criminosos, adversários determinados e enganadores exigem que instilemos nossas IAs com os valores de Resiliência e Discrição:
Resiliência: o sistema deve ser capaz de identificar comportamentos anormais e impedir a manipulação ou coerção fora dos limites normais de comportamento aceitável em relação ao sistema de IA e à tarefa específica. Esses são novos tipos de ataques específicos para o espaço de IA/ML. Os sistemas devem ser projetados para resistir às entradas que, de outra forma, entraram em conflito com leis locais, ética e valores mantidos pela comunidade e seus criadores. Isso significa fornecer à IA a capacidade de determinar quando uma interação está saindo do "script". Isso pode ser obtido com os seguintes métodos:
Identifique usuários individuais que se desviam das normas estabelecidas pelos vários grandes clusters de usuários semelhantes, por exemplo, usuários que parecem digitar rápido demais, respondem rápido demais, não dormem ou acionam partes do sistema que outros usuários não fazem.
Identifique padrões de comportamento que são conhecidos por serem indicadores de ataques de investigação de intenção mal-intencionada e o início da Cadeia de Encerramento de Intrusão na Rede.
Reconhecer a qualquer momento quando vários usuários agem de forma coordenada; por exemplo, vários usuários emitindo a mesma consulta inexplicável, mas deliberadamente criada, picos repentinos no número de usuários ou picos repentinos na ativação de partes específicas de um sistema de IA.
Ataques desse tipo devem ser considerados no mesmo nível dos ataques de negação de serviço, já que a IA pode exigir correções de bugs e retreinamento para não cair nos mesmos truques novamente. De importância crítica é a capacidade de identificar intenções maliciosas na presença de contramedidas, como as usadas para derrotar APIs de análise de sentimento [4].
Discrição: a IA deve ser uma custódia responsável e confiável de qualquer informação a que tenha acesso. Como humanos, sem dúvida, atribuímos um certo nível de confiança em nossos relacionamentos de IA. Em algum momento, esses agentes se comunicarão com outros agentes ou com outros humanos em nosso nome. Devemos ser capazes de confiar que um sistema de IA tem discrição suficiente para compartilhar apenas de forma restrita o que precisa compartilhar sobre nós, para que outros agentes possam concluir tarefas em seu nome. Além disso, vários agentes que interagem com dados pessoais em nosso nome não devem precisar de acesso global a eles. Quaisquer cenários de acesso a dados que envolvam vários agentes IAs ou bot devem limitar o tempo de vida do acesso à extensão mínima necessária. Os usuários também devem ser capazes de negar dados e rejeitar a autenticação de agentes de corporações específicas ou localidades, assim como os navegadores da Web permitem o bloqueio de sites, atualmente. A solução desse problema exige um novo pensamento sobre a autenticação entre agentes e os privilégios de acesso a dados, como os investimentos de autenticação de usuário baseados em nuvem feitos nos primeiros anos da computação em nuvem.
A IA deve ser capaz de reconhecer o desvio em outros, sem ser tendenciosa por conta própria
Embora a IA deva ser justa e inclusiva sem discriminar grupos específicos de indivíduos ou resultados válidos, ela precisa ter uma compreensão inata de desvio para conseguir isso. Sem ser treinada para reconhecer preconceitos, trollagens ou sarcasmo, a IA pode ser enganada por aqueles que buscam risadas baratas, na melhor das hipóteses, ou causar danos aos clientes na pior.
Atingir esse nível de conscientização exige "pessoas boas ensinando coisas ruins à IA", pois efetivamente requer um reconhecimento abrangente e em evolução dos desvios culturais. A IA deve ser capaz de reconhecer um usuário com quem teve interações negativas no passado e ter a cautela apropriada, semelhante a como os pais ensinam seus filhos a desconfiar de estranhos. A melhor maneira de abordar isso é expor com cuidado a IA a enganadores de uma maneira controlada/moderada/limitada. Dessa forma, a IA pode aprender a diferença entre um usuário benigno "que está enrolando" e um usuário realmente mal-intencionado/enganador. Os enganadores fornecem um fluxo valioso de dados de treinamento para IA, tornando-a mais resiliente contra ataques futuros.
A IA também deve ser capaz de reconhecer o desvio em conjuntos de dados em que ela treina. Isso pode ser cultural ou regional, contendo o idioma em uso por um determinado grupo de pessoas ou tópicos/pontos de vista de interesse específico de um grupo. Tal como acontece com os dados de treinamento introduzidos maliciosamente, a IA deve ser resiliente aos efeitos desses dados em suas próprias inferências e deduções. Essencialmente, esse é um problema de validação de entrada sofisticado com semelhanças à verificação de limites. Em vez de lidar com tamanhos e deslocamentos de buffer, as verificações de buffer e limites são palavras sinalizadas em vermelho de uma ampla gama de fontes. O histórico de conversas e o contexto em que as palavras são usadas também são fundamentais. Assim como as práticas de defesa em profundidade são usadas para proteção em camada sobre um front-end tradicional da API de serviço Web, várias camadas de proteção devem ser aproveitadas nas técnicas de reconhecimento e prevenção de desvio.
Os algoritmos de aprendizado de máquina devem ser capazes de discernir dados introduzidos maliciosamente de eventos benignos do "Cisne Negro"
Numerosos whitepapers são publicados sobre o potencial teórico da adulteração e extração/roubo de modelos de ML e extração/roubo de serviços onde os invasores têm acesso ao conjunto de dados de treinamento e a uma compreensão informada do modelo em uso [2, 3, 6, 7]. O problema geral aqui é que todos os classificadores de ML podem ser enganados por um invasor que tenha controle sobre os dados do conjunto de treinamento. Os invasores nem precisam da capacidade de modificar os dados do conjunto de treinamento existente, eles só precisam ser capazes de adicionar a ele e fazer com que suas entradas se tornem "confiáveis" ao longo do tempo por meio da incapacidade do classificador do ML de discernir dados mal-intencionados de dados anormais genuínos.
Esse problema da cadeia de fornecedores de dados de treinamento nos apresenta o conceito de "Integridade da decisão", a capacidade de identificar e rejeitar dados de treinamento introduzidos de forma mal-intencionada ou entrada do usuário antes que ela tenha um impacto negativo no comportamento do classificador. A lógica aqui é que dados de treinamento confiáveis têm maior probabilidade de gerar resultados/decisões confiáveis. Embora ainda seja crucial treinar e ser resiliente a dados não confiáveis, a natureza maliciosa desses dados deve ser analisada antes de se tornarem parte de um corpo de dados de treinamento de alta confiança. Sem essas medidas, a IA poderia ser coagida a exagerar no engano e negar serviço a usuários legítimos.
Essa é uma preocupação específica em que algoritmos de aprendizado não supervisionados são treinamentos em conjuntos de dado não estruturados ou não confiáveis. Isso significa que os invasores podem introduzir todos os dados que desejarem desde que o formato seja válido e o algoritmo seja treinado, confiando efetivamente nesse ponto de dados com o restante do conjunto de treinamento. Com entradas criadas suficientes do invasor, o algoritmo de treinamento perde a capacidade de distinguir ruídos e anomalias de dados de alta confiança.
Como exemplo dessa ameaça, imagine um banco de dados de sinais de parada em todo o mundo, em cada idioma. Isso seria extremamente desafiador a ser organizado devido ao número de imagens e linguagens envolvidas. A contribuição maliciosa para esse conjunto de dados passaria despercebida em grande parte até os carros autônomos não reconhecerem os sinais de parada A resiliência de dados e as mitigações de integridade de decisões precisam trabalhar lado a lado aqui para identificar e eliminar os danos de treinamento causados por dados maliciosos para evitar que eles se tornem uma parte central do modelo de aprendizado.
A IA deve ter registros em log forenses e de segurança incorporados para fornecer transparência e responsabilidade
A IA, eventualmente, será capaz de agir em uma capacidade profissional como um agente em nosso nome, ajudando-nos com a tomada de decisões de alto impacto. Um exemplo disso pode ser uma IA que ajuda no processamento de transações financeiras. Se a IA for explorada e as transações manipuladas de alguma forma, as consequências podem variar do indivíduo ao sistêmico. Em cenários de alto valor, a IA precisa de registro forense e de segurança apropriados para fornecer integridade, transparência, responsabilidade e, em alguns casos, evidências em que a responsabilidade civil ou criminal pode surgir.
Os serviços essenciais de IA precisam de instalações de auditoria/rastreamento de eventos no nível do algoritmo, para que os desenvolvedores possam examinar o estado registrado de classificadores específicos, o que pode ter levado a uma decisão imprecisa. Essa capacidade é necessária para todo o setor, a fim de provar a exatidão e a transparência das decisões geradas pela IA, sempre que chamadas em questão.
Os recursos de rastreamento de eventos podem começar com a correlação de informações básicas de tomada de decisão, como:
O período de tempo em que ocorreu o último evento de treinamento
O carimbo de data/hora da entrada mais recente do conjunto de dados treinado
Pesos e níveis de confiança dos classificadores fundamentais usados para chegar a decisões de alto impacto
Os classificadores ou componentes envolvidos na decisão
A decisão final de alto valor tomada pelo algoritmo
Esse rastreamento é exagerado para a maioria das tomadas de decisão assistidas por algoritmos. No entanto, ter a capacidade de identificar os pontos de dados e metadados do algoritmo levando a resultados específicos são de grande benefício na tomada de decisão de alto valor. Tais recursos não apenas demonstram confiabilidade e integridade por meio da capacidade do algoritmo de "mostrar seu trabalho", mas esses dados também podem ser usados para ajuste fino.
Outra capacidade forense necessária na IA/ML é a detecção de adulterações. Assim como precisamos que nossas IAs reconheçam o desvio e não sejam suscetíveis a ele, devemos ter capacidades forenses disponíveis para ajudar nossos engenheiros na detecção e na resposta a tais ataques. Tais recursos forenses são de enorme valor quando combinados com técnicas de visualização de dados [10], permitindo a auditoria, depuração e ajuste de algoritmos para resultados mais eficazes.
A IA deve proteger informações confidenciais, ainda que os humanos não o faça
Experiências avançadas exigem dados avançados. Os seres humanos já oferecem voluntariamente grandes quantidades de dados para o ML treinar. Isso varia do conteúdo da fila de streaming de vídeo mundano às tendências nos históricos de compras/transações com cartão de crédito usadas para detectar fraudes. A IA deve ter um senso arraigado de discrição quando se trata de lidar com dados de usuários, sempre agindo para protegê-los, mesmo quando voluntariado livremente por um público de compartilhamento excessivo.
Como uma IA pode ter um grupo autenticado de "pares" com quem conversa para realizar tarefas complexas, também deve reconhecer a necessidade de restringir os dados que compartilha com esses pares.
Observações iniciais sobre como resolver problemas de segurança da IA
Apesar do estado nascente deste projeto, acreditamos que as evidências compiladas até o momento mostram que uma investigação mais profunda em cada uma das áreas abaixo é fundamental para mover nossa indústria em direção a produtos/serviços de IA/ML mais confiáveis e seguros. A seguir, apresentamos nossas primeiras observações e pensamentos sobre o que gostaríamos de ver feito neste espaço.
Os corpos de análise de segurança e teste de penetração voltados para IA/ML podem ser estabelecidos para garantir que nossa IA futura compartilhe nossos valores e se alinhe aos Princípios de IA da Asilomar.
- Esse grupo também poderia desenvolver ferramentas e estruturas que poderiam ser consumidas em todo o setor para dar suporte à proteção de seus serviços baseados em IA/ML.
- Ao longo do tempo, essa experiência será criada nos grupos de engenharia de forma orgânica, como fazia com a experiência de segurança tradicional nos últimos dez anos.
Poderia ser desenvolvido um treinamento que capacitasse as empresas a cumprir metas como democratizar a IA e mitigar os desafios discutidos neste documento.
- O treinamento de segurança específico da IA garante que os engenheiros estejam cientes dos riscos apresentados para a IA e os recursos à disposição deles. Esse material precisa ser fornecido com treinamento atual sobre proteção de dados de clientes.
- Isso pode ser feito sem a necessidade de que todos os cientistas de dados se tornem um especialista em segurança. em vez disso, o foco é a conscientização dos desenvolvedores sobre a resiliência e a discrição aplicados aos casos de uso de IA.
- Os desenvolvedores precisarão entender os "blocos de construção" seguros dos serviços de IA que são reutilizados em toda a empresa. Será necessário dar ênfase ao design tolerante a falhas com subsistemas, que podem ser facilmente desligados (por exemplo, processadores de imagem, analisadores de texto).
Os classificadores do ML e seus algoritmos subjacentes poderiam ser reforçados e capazes de detectar dados de treinamento mal-intencionados sem contaminar dados de treinamento válidos atualmente em uso ou distorcer os resultados.
Técnicas como a Rejeição na Entrada Negativa [5] necessitam de ciclos de pesquisadores para serem investigadas.
Esse trabalho envolve a verificação matemática, a prova de conceito no código e os testes nos dados anormais mal-intencionados e benignos.
A verificação/moderação humana pode ser benéfica aqui, particularmente onde estão presentes anomalias estatísticas.
"Classificadores supervisionados" podem ser criados para ter um reconhecimento mais universal das ameaças em várias IAs. Isso melhora imensamente a segurança do sistema, pois o invasor não pode mais exfiltrar um modelo específico.
As IAs podem ser vinculadas em conjunto para identificar ameaças nos sistemas umas das outras
Uma biblioteca centralizada de auditoria/forense de ML pode ser criada, estabelecendo um padrão de transparência e confiabilidade da IA.
- As capacidades de consulta também podem ser criadas para auditoria e reconstrução de decisões de alto impacto nos negócios por IA.
Os idiomas em uso por adversários em diferentes grupos culturais e de mídia social podem ser continuamente inventariados e analisados pela IA para detectar e responder a enganos, sarcasmo etc.
As IAs precisam ser resilientes em todos os tipos de idioma, sejam eles técnicos, regionais ou específicos do fórum.
Esse corpo de conhecimento também pode ser usado na automação de filtragem/rotulagem/bloqueio de conteúdo para resolver problemas de escalabilidade do moderador.
Esse banco de dados global de termos pode ser hospedado em bibliotecas de desenvolvimento ou até mesmo exposto por meio de APIs de serviço de nuvem para reutilização por IAs diferentes, garantindo que as novas IAs se beneficiem da sabedoria combinada das mais antigas.
Poderia ser criada uma "Estrutura de difusão do Machine Learning" que fornecesse aos engenheiros a capacidade de injetar vários tipos de ataques em conjuntos de treinamento de teste para IA.
- Isso poderia se concentrar não apenas em vernáculo de texto, mas em dados de imagem, voz e gestos e permutações desses tipos de dados.
Conclusão
Os Princípios de IA da Asilomar ilustram a complexidade de fornecimento no IA de uma maneira que beneficia consistentemente a humanidade. As IAs futuras precisam interagir com outras IAs para oferecer experiências de usuário ricas e atraentes. Isso significa que simplesmente não é bom o suficiente para a Microsoft "acertar a IA" de uma perspectiva de segurança – o mundo tem que fazê-lo. Precisamos de alinhamento e colaboração da indústria com maior visibilidade trazida para as questões deste documento de forma semelhante ao nosso impulso mundial para uma Convenção de Genebra Digital [8]. Ao abordar os problemas apresentados aqui, podemos começar a orientar nossos clientes e parceiros do setor a um caminho onde a IA é verdadeiramente democratizada e aumenta a inteligência de toda a humanidade.
Bibliografia
[1] Taleb, Nassim Nicholas (2007), The Black Swan: The Impact of the Highly Improbable, Random House, ISBN 978-1400063512
[2] Florian Tramèr, Fan Zhang, Ari Juels, Michael K. Reiter, Thomas Ristenpart,Stealing Machine Learning Models via Prediction APIs (Como roubar modelos de machine learning por meio de APIs de previsão, em tradução livre)
[3] Satya Nadella: A Parceria do Futuro
[4] Claburn, Thomas: A IA destruidora de trolls do Google não consegue lidar com erros de digitação
[5] Marco Barreno, Blaine Nelson, Anthony D. Joseph, J.D. Tygar: A segurança do aprendizado de máquina
[6] Wolchover, Natalie: Este pioneiro da inteligência artificial tem algumas preocupações
[7] Conn, Ariel: Como alinhamos a inteligência artificial com os valores humanos?
[8] Smith, Brad: A necessidade de uma ação coletiva urgente para manter as pessoas seguras online: lições do ataque cibernético da semana passada
[9] Nicholas Carlini, Pratyush Mishra, Tavish Vaidya, Yuankai Zhang, Micah Sherr, Clay Shields, David Wagner, Wenchao Zhou:Comandos de voz ocultos
[10] Fernanda Viégas, Martin Wattenberg, Daniel Smilkov, James Wexler, Jimbo Wilson, Nikhil Thorat, Charles Nicholson, Google Research:Big Picture