Garantir o Futuro da Inteligência Artificial e do Machine Learning na Microsoft

  • Artigo

Por Andrew Marshall, Raul Rojas, Jay Stokes e Donald Brinkman

Um agradecimento especial a Mark Cartwright e Graham Calladine

Resumo Executivo

A Inteligência Artificial (IA) e o Machine Learning (ML) já estão a ter um grande impacto na forma como as pessoas trabalham, socializam e vivem as suas vidas. À medida que o consumo de produtos e serviços criados com recurso a melhorias na IA/ML, devem ser tomadas ações especializadas para proteger não só os clientes e os dados deles, mas também para proteger a IA e os algoritmos contra o abuso, os trolls e a extração. Este documento partilha algumas das aprendizagens sobre segurança da Microsoft provenientes da conceção de produtos e operação de serviços online criados com IA. Embora seja difícil prever como essa área se desenrola, concluímos que há questões acionáveis a serem abordadas agora. Além disso, constatámos que existem problemas estratégicos que a indústria tecnológica deve antecipar para garantir a segurança a longo prazo dos clientes e dos dados destes.

Este documento não é sobre ataques baseados em IA ou mesmo IA sendo alavancada por adversários humanos. Em vez disso, nos concentramos em questões que a Microsoft e os parceiros do setor precisam resolver para proteger produtos e serviços baseados em IA contra ataques altamente sofisticados, criativos e maliciosos, sejam eles realizados por trolls individuais ou pacotes de lobos inteiros.

Este documento se concentra inteiramente em questões de engenharia de segurança exclusivas do espaço de IA/ML, mas devido à natureza expansiva do domínio InfoSec, entende-se que as questões e descobertas discutidas aqui se sobrepõem em certo grau aos domínios de privacidade e ética. Como este documento realça os desafios de importância estratégica para a indústria tecnológica, o público-alvo deste documento são os líderes de engenharia de segurança em toda a indústria.

Os nossos primeiros resultados sugerem que:

  • Os pivôs específicos de IA/ML para as práticas de segurança existentes são necessários para mitigar os tipos de questões de segurança discutidas neste documento.

  • Os modelos de Machine Learning são em grande parte incapazes de discernir entre uma entrada maliciosa e dados anómalos benignos. Uma fonte significativa de dados de formação é derivada de conjuntos de dados públicos sem curadoria e sem moderação, que estão abertos a contribuições de 3terceiros. Os atacantes não precisam comprometer conjuntos de dados quando são livres para contribuir com eles. Com o tempo, dados mal-intencionados de baixa confiança se tornam dados confiáveis de alta confiança, se a estrutura/formatação de dados permanecer correta.

  • Dado o grande número de camadas de classificadores/neurónios ocultos que podem ser utilizados num modelo de aprendizagem profunda, é depositada demasiada confiança na produção de processos de tomada de decisão e algoritmos de IA/ML sem uma compreensão crítica de como estas decisões foram tomadas. Esta ocultação cria uma incapacidade de “mostrar o trabalho” e dificulta a defesa comprovada dos resultados de IA/ML quando postos em causa.

  • A IA e o ML são cada vez mais utilizados em apoio de processos de tomada de decisão de elevado valor na medicina e noutros setores em que uma decisão errada pode resultar em lesões graves ou morte. A falta de capacidades de relatórios forenses em IA/ML impede que estas conclusões de elevado valor sejam defensáveis tanto perante a justiça como no domínio da opinião pública.

Os objetivos deste documento são (1) destacar questões de engenharia de segurança, que são exclusivas do espaço de IA/ML, (2) apresentar alguns pensamentos e observações iniciais sobre ameaças emergentes e (3) compartilhar pensamentos iniciais sobre possíveis remediações. Alguns dos desafios neste documento são problemas que a indústria precisa de controlar nos próximos dois anos, outros são questões que já nos vimos obrigados a enfrentar atualmente. Sem uma investigação mais aprofundada sobre as áreas abrangidas pelo presente documento, corremos o risco de a IA se tornar uma caixa negra devido à nossa incapacidade de confiar ou compreender (e modificar, se necessário) os processos de tomada de decisão da IA a nível matemático [7]. Do ponto de vista da segurança, isto significa efetivamente perda de controlo e um afastamento dos princípios orientadores da Microsoft em matéria de inteligência artificial [3, 7].

Novos Desafios de Engenharia de Segurança

Os vetores de ataque de software tradicionais ainda são críticos para resolver, mas não fornecem cobertura suficiente no cenário de ameaças de IA/ML. A indústria tecnológica deve evitar combater os problemas de próxima geração com soluções de última geração, através da criação de novas estruturas e da adoção de novas abordagens que corrijam lacunas na conceção e no funcionamento dos serviços baseados em IA/ML:

  1. Tal como discutido a seguir, o desenvolvimento seguro e as fundações das operações devem incorporar os conceitos de Resiliência e Discrição na proteção da IA e dos dados sob o seu controlo. Os pivôs específicos da IA são necessários nas áreas de Autenticação, Separação de Deveres, Validação de Entradas e mitigação de ataques Denial of Service. Sem investimentos nessas áreas, os serviços de IA/ML continuam a travar uma batalha difícil contra adversários de todos os níveis de habilidade.

  2. A IA deve ser capaz de reconhecer o preconceito nos outros, sem ser tendenciosa nas suas próprias interações com os humanos. A realização deste objetivo requer uma compreensão coletiva e evolutiva de preconceitos, estereótipos, vernáculos e outras construções culturais. Essa compreensão ajuda a proteger a IA de engenharia social e ataques de adulteração de conjuntos de dados. Um sistema devidamente implementado torna-se realmente mais forte a partir de tais ataques e ser capaz de compartilhar seu entendimento expandido com outras IAs.

  3. Os algoritmos de Machine Learning devem ser capazes de discernir dados introduzidos maliciosamente de eventos benignos do "Cisne Negro" [1], rejeitando dados de treinamento com impacto negativo nos resultados. Caso contrário, os modelos de aprendizagem são sempre suscetíveis a jogos por atacantes e trolls.

  4. A IA deve ter capacidades forenses incorporadas. Isso permite que as empresas forneçam aos clientes transparência e responsabilidade de sua IA, garantindo que suas ações não sejam apenas verificáveis corretas, mas também legalmente defensáveis. Estas capacidades também funcionam como uma forma inicial de “deteção de intrusões de IA”, o que permite aos engenheiros determinar o ponto exato no tempo em que uma decisão foi tomada por um classificador, que dados a influenciaram, e se esses dados eram ou não de confiança. Os recursos de visualização de dados nessa área estão avançando rapidamente e são promissores para ajudar os engenheiros a identificar e resolver as causas raiz desses problemas complexos [10].

  5. A IA deve reconhecer e salvaguardar informações confidenciais, mesmo que os humanos não as reconheçam como tal. Experiências ricas de utilizadores com a IA requerem grandes quantidades de dados não processados para a preparação, pelo que a “partilha excessiva” dos clientes deve ser planeada.

Cada uma destas áreas, incluindo ameaças e potenciais mitigações, é discutida em pormenor abaixo.

A IA requer novos pivôs para os modelos tradicionais de conceção segura/operações seguras: a introdução da Resiliência e Discrição

Os designers de IA precisam garantir a confidencialidade, integridade e disponibilidade de dados confidenciais, que o sistema de IA esteja livre de vulnerabilidades conhecidas e fornecer controles para a proteção, deteção e resposta a comportamentos maliciosos contra o sistema ou os dados do usuário.

As formas tradicionais de defesa contra ataques maliciosos não fornecem a mesma cobertura neste novo paradigma, onde ataques baseados em voz/vídeo/imagem podem contornar os filtros e defesas atuais. Devem ser explorados novos aspetos de modelação de ameaças para evitar que novos abusos explorem a nossa IA. Tal vai muito além de identificar a superfície de ataque tradicional através de fuzzing ou manipulação de entradas (estes ataques têm também os seus próprios pivôs específicos de IA). Requer a incorporação de cenários exclusivos do espaço de IA/ML. Entre estes estão as experiências dos utilizadores de IA, como voz, vídeo e gestos. As ameaças associadas a essas experiências não têm sido tradicionalmente modeladas. Por exemplo, o conteúdo de vídeo está agora a ser adaptado para induzir efeitos físicos. Além disso, a pesquisa demonstra que comandos de ataque baseados em áudio podem ser criados [9].

A imprevisibilidade, a criatividade e a maldade dos criminosos, adversários determinados e trolls exigem que incutamos nas nossas IAs os valores de Resiliência e Discrição:

Resiliência: O sistema deve ser capaz de identificar comportamentos anormais e prevenir a manipulação ou coerção fora dos limites normais do comportamento aceitável em relação ao sistema de IA e à tarefa específica. Trata-se de novos tipos de ataques específicos do espaço de IA/ML. Os sistemas devem ser concebidos para resistir a entradas que, de outra forma, entrariam em conflito com as leis locais, a ética e os valores detidos pela comunidade e pelos seus criadores. Tal significa que é necessário equipar a IA com a capacidade de determinar quando uma interação se está a desviar do “guião”, o que poderia ser conseguido através dos seguintes métodos:

  1. Identifique usuários individuais que se desviam das normas definidas pelos vários grandes clusters de usuários semelhantes, por exemplo, usuários que parecem digitar muito rápido, responder muito rápido, não dormir ou acionar partes do sistema que outros usuários não têm.

  2. Identificar padrões de comportamento que são conhecidos por serem indicadores de ataques de sondagem de intenções maliciosas e o início da Cadeia de Eliminação de Intrusão de Rede.

  3. Reconhecer sempre que vários usuários agem de forma coordenada; por exemplo, vários usuários emitindo a mesma consulta inexplicável, mas deliberadamente criada, picos repentinos no número de usuários ou picos repentinos na ativação de partes específicas de um sistema de IA.

Ataques desse tipo devem ser considerados a par com ataques de negação de serviço, uma vez que a IA pode exigir correções de bugs e retreinamento para não cair nos mesmos truques novamente. De importância crítica é a capacidade de identificar intenções maliciosas na presença de contramedidas como as usadas para derrotar APIs de análise de sentimento [4].

Discrição: a IA deve ser um guardião responsável e confiável de qualquer informação a que tenha acesso. Como seres humanos, sem dúvida atribuímos um certo nível de confiança em nossos relacionamentos de IA. A dada altura, estes agentes falarão com outros agentes ou outros humanos em nosso nome. Temos de poder confiar que um sistema de IA tem discrição suficiente para partilhar apenas de forma restrita o que precisa de partilhar sobre nós, de forma a que outros agentes possam completar tarefas em seu nome. Além disso, vários agentes que interagem com dados pessoais em nosso nome não devem precisar de acesso global a eles. Quaisquer cenários de acesso a dados que envolvam vários agentes de IA ou bot devem limitar a duração de acesso à extensão mínima necessária. Os usuários também devem ser capazes de negar dados e rejeitar a autenticação de agentes de corporações ou localidades específicas, assim como os navegadores da Web permitem o bloqueio de sites hoje. A resolução deste problema requer uma nova reflexão sobre a autenticação interagente e os privilégios de acesso a dados, como os investimentos de autenticação de utilizadores baseados na cloud realizados nos primeiros anos de computação na cloud.

A IA deve ser capaz de reconhecer o preconceito nos outros, sem ser tendenciosa por si mesma

Embora a IA deva ser justa e inclusiva sem discriminar qualquer grupo de indivíduos ou resultados válidos específicos, para consegui-lo, é necessário que tenha uma compreensão inata dos preconceitos. Sem ser treinada para reconhecer preconceitos, trollagens ou sarcasmo, a IA pode ser enganada por aqueles que buscam risadas baratas, na melhor das hipóteses, ou causar danos aos clientes, na pior das hipóteses.

Alcançar este nível de consciência exige “pessoas boas que ensinem coisas más à IA”, uma vez que exige efetivamente uma compreensão abrangente e evolutiva dos preconceitos culturais. A IA deve ser capaz de reconhecer um usuário com quem teve interações negativas no passado e ter cautela apropriada, semelhante à forma como os pais ensinam seus filhos a desconfiar de estranhos. A melhor maneira de abordar o assunto é expor cuidadosamente a IA aos trolls de forma controlada/moderada/limitada. Desta forma, a IA pode aprender a diferença entre um utilizador inofensivo que está apenas a “brincar” e a maldade real/o trolling. Os trolls proporcionam um fluxo valioso de dados de preparação para a IA, ao torná-la mais resistente contra futuros ataques.

A IA também deve ser capaz de reconhecer o desvio nos conjuntos de dados em que está a receber formação. Tal poderá acontecer ao nível cultural ou regional, ao conter o vernáculo utilizado por um determinado grupo de pessoas, ou tópicos/pontos de vista de interesse específico a um grupo. Tal como acontece com os dados de treino introduzidos de forma maliciosa, a IA deve ser resiliente aos efeitos desses dados nas suas próprias inferências e deduções. No fundo, este é um problema de validação de entradas sofisticado com semelhanças com a verificação de limites. Em vez de lidar com comprimentos e desvios de memória intermédia, as verificações de memória intermédia e limites são palavras denunciadas provenientes de uma ampla gama de origens. O histórico de conversas e o contexto em que as palavras são usadas também são fundamentais. Assim como as práticas de defesa em profundidade são usadas para aplicar camadas de proteção sobre uma API de front-end de serviços Web, devem ser aplicadas várias camadas de proteção em técnicas de reconhecimento e anulação de preconceito.

Os algoritmos de aprendizado de máquina devem ser capazes de discernir dados introduzidos maliciosamente de eventos benignos do "Cisne Negro"

Numerosos whitepapers são publicados sobre o potencial teórico da adulteração do modelo/classificador de ML e da extração/roubo de serviços onde os invasores têm acesso tanto ao conjunto de dados de treinamento quanto a uma compreensão informada do modelo em uso [2, 3, 6, 7]. O problema geral aqui é que todos os classificadores de ML podem ser enganados por um invasor que tem controle sobre os dados do conjunto de treinamento. Os atacantes nem sequer precisam da capacidade de modificar os dados de conjuntos de preparação existentes, apenas precisam de ser capazes de acrescentar e fazer com que as suas entradas se tornem “fidedignas” ao longo do tempo através da incapacidade do classificador de ML de discernir dados maliciosos de dados anómalos genuínos.

Esta questão da cadeia de fornecimento de dados de preparação introduz-nos no conceito de “Integridade da Decisão”, a capacidade de identificar e rejeitar dados de preparação ou a entrada de utilizadores maliciosamente introduzidos antes de ter um impacto negativo no comportamento do classificador. A lógica aqui é que dados de treinamento confiáveis têm uma maior probabilidade de gerar resultados/decisões confiáveis. Embora ainda seja crucial treinar e ser resiliente a dados não confiáveis, a natureza maliciosa desses dados deve ser analisada antes de se tornarem parte de um corpo de dados de treinamento de alta confiança. Sem tais medidas, a IA poderia ser coagida a ter uma resposta exagerada face ao trolling e negar o serviço a utilizadores legítimos.

Esta questão é particularmente preocupante quando os algoritmos de aprendizagem não supervisionados estão a ser preparados em conjuntos de dados não protegidos ou não fidedignos, o que significa que os atacantes podem introduzir todos os dados que quiserem, desde que o formato seja válido e o algoritmo tenha sido preparado com os mesmos, ao confiar efetivamente nesse ponto de dados igualmente com o resto do conjunto de preparação. Com entradas fabricadas do atacante suficientes, o algoritmo de preparação perde a capacidade de discernir ruído e anomalias de dados de alta confiança.

Como exemplo desta ameaça, imagine uma base de dados de sinais de STOP em todo o mundo, em todos os idiomas. Tal seria extremamente desafiante de organizar, devido ao número de imagens e idiomas envolvidos. A contribuição maliciosa para esse conjunto de dados passaria em grande parte despercebida até que os veículos autónomos deixassem de reconhecer os sinais de STOP. A resiliência dos dados e as mitigações da integridade das decisões têm de trabalhar lado a lado para identificar e eliminar os danos causados pelo treinamento de dados maliciosos para evitar que se tornem uma parte central do modelo de aprendizagem.

A IA deve ter incorporado o registo forense e de segurança para proporcionar transparência e responsabilidade

A IA acabará por ser capaz de agir a nível profissional como um agente em nosso nome e ajudar-nos com uma tomada de decisão de impacto elevado. Um exemplo disso pode ser uma IA que ajude no processamento de transações financeiras. Se a IA for explorada e as transações manipuladas de alguma forma, as consequências podem variar do indivíduo ao sistêmico. Em cenários de alto valor, a IA precisa de registros forenses e de segurança adequados para fornecer integridade, transparência, responsabilidade e, em alguns casos, evidências onde a responsabilidade civil ou criminal pode surgir.

Os serviços essenciais de IA precisam de instalações de auditoria/rastreamento de eventos no nível do algoritmo, nas quais os desenvolvedores possam examinar o estado registrado de classificadores específicos, o que pode ter levado a uma decisão imprecisa. Esta capacidade é necessária a nível da indústria para provar a correção e a transparência das decisões geradas por IA, sempre que forem postas em causa.

As instalações de rastreio de eventos podem começar com a correlação de informações básicas de tomada de decisão, tais como:

  1. O período de tempo em que ocorreu o último evento de preparação

  2. O carimbo de data/hora da entrada do conjunto de dados em que foi feita a preparação

  3. Pesos e níveis de confiança dos principais classificadores utilizados para chegar a decisões de impacto elevado

  4. Os classificadores ou componentes envolvidos na decisão

  5. A decisão final de valor elevado alcançada pelo algoritmo

Esse rastreamento é exagerado para a maioria das tomadas de decisão assistidas por algoritmos. No entanto, ter a capacidade de identificar os pontos de dados e metadados do algoritmo que levam a resultados específicos são de grande benefício na tomada de decisões de alto valor. Tais capacidades não só demonstram confiabilidade e integridade através da capacidade do algoritmo de "mostrar seu trabalho", mas esses dados também podem ser usados para ajuste fino.

Outra capacidade forense necessária à IA/ML é a deteção de adulteração. Tal como precisamos de que os nossos IA reconheçam o preconceito e não sejam suscetíveis ao mesmo, devemos ter capacidades forenses disponíveis para ajudar os nossos engenheiros a detetar e responder a esses ataques. Tais capacidades forenses são de enorme valor quando combinadas com técnicas de visualização de dados [10], permitindo a auditoria, depuração e ajuste de algoritmos para resultados mais eficazes.

A IA deve proteger as informações confidenciais, mesmo que os humanos não o façam

Experiências ricas requerem dados ricos. Os humanos já oferecem grandes quantidades de dados com os quais o ML pode ser preparado. Tal vai desde conteúdos de fila de transmissão em fluxo de vídeo mundanos até tendências em históricos de compras/transações de cartões de crédito utilizados para detetar fraudes. A IA deve ter um senso arraigado de discrição quando se trata de lidar com dados de usuários, sempre agindo para protegê-los, mesmo quando voluntariados livremente por um público que compartilha demais.

Como uma IA pode ter um grupo autenticado de “pares” com quem fala para realizar tarefas complexas, deve também reconhecer a necessidade de restringir os dados que partilha com esses pares.

Observações Iniciais sobre a Abordagem de Problemas de Segurança da IA

Apesar do estado nascente deste projeto, acreditamos que as evidências compiladas até o momento mostram que uma investigação mais profunda em cada uma das áreas abaixo é fundamental para mover nossa indústria em direção a produtos/serviços de IA/ML mais confiáveis e seguros. Seguem-se as nossas primeiras observações e ideias sobre o que gostaríamos de ver feito neste espaço.

  1. Poderiam ser criados organismos de teste de penetração e de revisão de segurança focados em IA/ML para garantir que a nossa futura IA partilha os nossos valores e está alinhada com os Princípios de AI da Asilomar.

    1. Este grupo poderia também desenvolver ferramentas e estruturas que pudessem ser consumidas em toda a indústria em apoio à garantia dos serviços baseados em IA/ML.
    2. Com o passar do tempo, estes conhecimentos irão crescer de forma orgânica dentro dos grupos de engenharia, como aconteceu com os conhecimentos de segurança tradicionais ao longo dos últimos 10 anos.

  2. Poderia ser desenvolvida uma preparação que capacitasse as empresas a cumprir objetivos como a democratização da IA, ao mesmo tempo que atenuam os desafios discutidos neste documento.

    1. A preparação sobre segurança específica à IA garante que os engenheiros estão conscientes dos riscos colocados à a IA e aos recursos à disposição. Este material precisa ser fornecido com treinamento atual sobre proteção de dados do cliente.
    2. Tal poderia ser possível sem exigir que todos os cientistas de dados se tornassem especialistas em segurança – em vez disso, o foco é colocado na formação dos programadores sobre a Resiliência e Discrição, conforme aplicável tendo em conta os casos de utilização da IA.
    3. Os desenvolvedores precisarão entender os "blocos de construção" seguros dos serviços de IA que são reutilizados em toda a empresa. Será necessário dar ênfase ao design tolerante a falhas com subsistemas, que podem ser facilmente desligados (por exemplo, processadores de imagem, analisadores de texto).

  3. Os Classificadores ML e os algoritmos subjacentes poderiam ser protegidos e capazes de detetar dados de preparação maliciosos sem que contaminassem dados de preparação válidos atualmente em utilização ou distorcessem os resultados.

    1. Técnicas como Rejeitar em Entrada Negativa [5] precisam de ciclos de pesquisa para investigar.

    2. Este trabalho envolve verificação matemática, prova de conceito em código e testes contra dados anómalos maliciosos e benignos.

    3. A verificação/moderação humana pode aqui ser benéfica, particularmente quando existem anomalias estatísticas.

    4. Poderiam ser criados “classificadores supervisores” para haver uma compreensão mais universal das ameaças em várias IAs. Tal melhora consideravelmente a segurança do sistema porque o atacante já não pode exfiltrar qualquer modelo em particular.

    5. As AIs podem estar ligadas entre si para identificar ameaças em cada um dos seus sistemas

  4. Poderia ser construída uma biblioteca centralizada de auditoria/forense de ML que estabelecesse um padrão de transparência e fiabilidade da IA.

    1. Também poderiam ser construídas capacidades de consulta para a auditoria e reconstrução de decisões de impacto empresarial elevado por parte da IA.

  5. O vernáculo em utilização por adversários em diferentes grupos culturais e redes sociais poderia ser continuamente inventariado e analisado pela IA, a fim de detetar e responder ao trolling, ao sarcasmo, etc.

    1. As IAs precisam de ser resilientes perante todo o tipo de vernáculos, quer sejam técnicos, quer regionais, quer específicos de um fórum.

    2. Esse corpo de conhecimento também pode ser usado na automação de filtragem/rotulagem/bloqueio de conteúdo para resolver problemas de escalabilidade do moderador.

    3. Esta base de dados global de termos poderia ser alojada em bibliotecas de desenvolvimento ou mesmo exposta através de APIs de serviço cloud para reutilização por diferentes IAs, ao garantir que as novas IAs beneficiam da sabedoria combinada das mais antigas.

  6. Poderia ser criada uma “Estrutura de Fuzzing de Machine Learning” que proporcionasse aos engenheiros a capacidade de injetar vários tipos de ataques em conjuntos de preparação de teste para avaliação por parte da IA.

    1. Isso poderia se concentrar não apenas em vernáculo de texto, mas em dados de imagem, voz e gestos e permutações desses tipos de dados.

Conclusão

Os Princípios de AI da Asilomar ilustram a complexidade de criar uma IA que beneficie consistentemente a humanidade. As futuras IAs precisam interagir com outras IAs para oferecer experiências de usuário ricas e atraentes. Isso significa que simplesmente não é bom o suficiente para a Microsoft "acertar na IA" do ponto de vista da segurança – o mundo tem que fazê-lo. Precisamos de alinhamento e colaboração da indústria com maior visibilidade para as questões deste documento de forma semelhante ao nosso esforço mundial para uma Convenção Digital de Genebra [8]. Ao abordarmos as questões aqui apresentadas, podemos começar a guiar os nossos clientes e parceiros da indústria por um caminho em que a IA é verdadeiramente democratizada e capaz de aumentar a inteligência de toda a humanidade.

Bibliografia

[1] Taleb, Nassim Nicholas (2007), O Cisne Negro: O Impacto do Altamente Improvável, Random House, ISBN 978-1400063512

[2] Florian Tramèr, Fan Zhang, Ari Juels, Michael K. Reiter, Thomas Ristenpart,Roubando modelos de aprendizado de máquina via APIs de previsão

[3] Satya Nadella: A Parceria do Futuro

[4] Claburn, Thomas: A IA destruidora de trolls do Google não consegue lidar com erros de digitação

[5] Marco Barreno, Blaine Nelson, Anthony D. Joseph, J.D. Tygar:A segurança do aprendizado de máquina

[6] Wolchover, Natalie: Este pioneiro da inteligência artificial tem algumas preocupações

[7] Conn, Ariel: Como alinhamos a inteligência artificial com os valores humanos?

[8] Smith, Brad: A necessidade de uma ação coletiva urgente para manter as pessoas seguras online: lições do ciberataque da semana passada

[9] Nicholas Carlini, Pratyush Mishra, Tavish Vaidya, Yuankai Zhang, Micah Sherr, Clay Shields, David Wagner, Wenchao Zhou:Comandos de voz ocultos

[10] Fernanda Viégas, Martin Wattenberg, Daniel Smilkov, James Wexler, Jimbo Wilson, Nikhil Thorat, Charles Nicholson, Google Research:Big Picture