Перспективы развития искусственного интеллекта и машинного обучения в корпорации Майкрософт

2025-03-12

Авторы: Эндрю Маршалл (Andrew Marshall), Рауль Рохас (Raul Rojas), Джей Стоукс (Jay Stokes) и Дональд Бринкман (Donald Brinkman)

Особая благодарность Марку Картрайту (Mark Cartwright) и Грэм Калладин (Graham Calladine)

Краткий обзор

Искусственный интеллект (ИИ) и Машинное обучение (ML) уже оказывают большое влияние на то, как люди работают, общаются и живут их жизнью. По мере роста потребления продуктов и услуг, созданных на основе ИИ и машинного обучения, необходимо предпринять специальные меры, чтобы защитить не только ваших клиентов и их данные, но и сам искусственный интеллект и алгоритмы от злоупотребления, троллинга и нарушения работоспособности. В этом документе описывается часть накопленного корпорацией Майкрософт опыта в обеспечении безопасности при разработке продуктов и использовании веб-служб, основанных на искусственном интеллекте. Хотя трудно предсказать, как эта область разворачивается, мы пришли к выводу, что существуют практические проблемы, которые необходимо решить сейчас. Кроме того, мы обнаружили и стратегические проблемы, которые должны превентивно решаться в рамках всей ИТ-отрасли, чтобы обеспечить безопасность клиентов и защиту их данных в долгосрочной перспективе.

Этот документ не относится к атакам на основе ИИ или даже использованию ИИ злоумышленниками. Вместо этого мы сосредоточимся на проблемах, которые партнеры Корпорации Майкрософт и отрасли должны решать для защиты продуктов и служб на основе ИИ от высокосложных, творческих и вредоносных атак, будь то отдельные тролли или целые волчьи пакеты.

В этом документе полностью рассматриваются вопросы проектирования безопасности, уникальные для пространства искусственного интеллекта и машинного обучения, но из-за обширной природы домена InfoSec понятно, что вопросы и выводы, рассмотренные здесь, перекрываются в степени с доменами конфиденциальности и этики. Поскольку в этом исследовании освещаются проблемы, имеющие стратегическое значение для индустрии высоких технологий, оно предназначено для отраслевых специалистов, которые руководят разработкой систем безопасности.

Наши первые результаты показывают следующее:

Для устранения обсуждаемых в этом документе проблем безопасности требуется адаптация существующих практик безопасности с учётом особенностей ИИ/МО.
Модели машинного обучения по большей части не могут различать вредоносную входящую информацию и безвредные нестандартные данные. Основным источником обучающих данных являются необработанные, немодерированные, общедоступные наборы данных, которые открыты для вкладов третьих лиц. Злоумышленникам не нужно компрометировать наборы данных, если они свободны для участия в них. Со временем вредоносные данные с низкой уверенностью становятся надежными, если структура и форматирование данных остается правильной.
Учитывая большое количество слоев скрытых классификаторов/нейронов, которые можно использовать в модели глубокого обучения, слишком много доверия ставится на выходные данные процессов и алгоритмов принятия решений ИИ/ML без критического понимания того, как эти решения были достигнуты. Такое искажение делает невозможным для алгоритмов искусственного интеллекта и машинного обучения продемонстрировать логику своей работы и затрудняет доказательство правильности результатов, когда они ставятся под сомнение.
Искусственный интеллект и машинное обучение все чаще используются для поддержки процессов принятия важных решений в медицине и других отраслях, где ошибка может привести к серьезным травмам или смерти. Отсутствие возможностей получить аналитическую отчетность о работе алгоритмов искусственного интеллекта и машинного обучения не позволяет использовать ценные данные как доказательства в суде и перед лицом общественного мнения.

Цели этого документа заключаются в том, чтобы (1) выделить вопросы инженерии безопасности, которые уникальны для области ИИ/ML, (2) выявить некоторые первоначальные мысли и наблюдения по возникающим угрозам и (3) поделиться ранними мыслями о потенциальных исправительных мерах. С некоторыми из описанных в этой статье проблем отрасль должна справиться в течение ближайших двух лет, другие же мы вынуждены решать уже сегодня. Без более глубокого изучения областей, описанных в этом документе, мы рискуем будущим ИИ стать черным ящиком через нашу неспособность доверять или понимать (и изменять при необходимости) процессы принятия решений ИИ на математическом уровне [7]. С точки зрения безопасности это фактически означает потерю контроля и отход от руководящих принципов Корпорации Майкрософт по искусственному интеллекту [3, 7].

Новые задачи при проектировании систем безопасности

Традиционные векторы атак программного обеспечения по-прежнему критически важны для решения, но они не обеспечивают достаточного охвата в ландшафте угроз ИИ/ML. ИТ-индустрия должна избегать решения проблем нового поколения с помощью устаревших методов. Важно создать новую инфраструктуру и использовать новые подходы, которые смогут устранить недостатки в разработке и эксплуатации служб на основе искусственного интеллекта и машинного обучения.

Как описывается ниже, основы разработки систем безопасности и использования продуктов должны включать в себя концепции устойчивости и избирательности, когда это касается ИИ и данных, которые он контролирует. В области аутентификации, разделения обязанностей, проверки входных данных и предотвращения отказа в обслуживании необходимо уделять больше внимания вопросам, связанным с ИИ. Без инвестиций в эти области службы ИИ/ML продолжают бороться с трудной борьбой с противниками всех уровней навыков.
Искусственный интеллект должен уметь различать намеренные отклонения в поведении других, но при этом не допускать влияния этих отклонений на собственные механизмы взаимодействия с людьми. Для этого требуется общее и постоянно развивающееся понимание предрассудков, стереотипов, жаргона и других культурных конструктов. Такое понимание помогает защитить ИИ от социальных инженеров и атак на набор данных. Правильно реализованная система на самом деле становится сильнее от таких атак и сможет поделиться своим расширенным пониманием с другими AIS.
Алгоритмы машинного обучения должны быть способны отличать вредоносно введённые данные от безобидных событий типа "Черного лебедя" [1], отклоняя обучающие данные, оказывающие негативное воздействие на результаты. В противном случае модели обучения всегда подвержены играм злоумышленниками и троллями.
Искусственный интеллект должен содержать в себе встроенные функции аналитической экспертизы. Это позволяет предприятиям предоставлять клиентам прозрачность и подотчетность их ИИ, гарантируя, что его действия не только являются проверяемыми, но и юридически оправданными. Эти возможности также будут работать как первый этап обнаружения атак на ИИ. Инженеры смогут точно определять момент времени, когда решение было принято классификатором, какие данные влияли на него и были ли эти данные надежными. Возможности визуализации данных в этой области быстро развиваются и показывают обещание помочь инженерам выявлять и устранять первопричины этих сложных проблем [10].
ИИ должен выявлять и защищать конфиденциальную информацию, даже если люди не опознают ее таковой. Богатый пользовательский опыт в AI требует обучения на больших объемах необработанных данных, поэтому необходимо учитывать вероятность избыточного обмена данными клиентами.

Каждый из этих вопросов, включая угрозы и возможные способы их устранения, подробно рассмотрены ниже.

ИИ требует новых поворотов в традиционных моделях защищённого проектирования и эксплуатации: внедрение устойчивости и дискреционности.

Конструкторы ИИ должны обеспечить конфиденциальность, целостность и доступность конфиденциальных данных, что система ИИ свободна от известных уязвимостей, а также обеспечить средства управления защитой, обнаружением и реагированием на вредоносное поведение в отношении системы или данных пользователя.

Традиционные способы защиты от вредоносных атак не обеспечивают одинаковое освещение в этой новой парадигме, где атаки на основе голосовых и видео/изображений могут обойти текущие фильтры и защиту. Чтобы предотвратить новые формы злоупотребления при использовании искусственного интеллекта, необходимо изучить и новые аспекты моделирования угроз. Это выходит далеко за рамки обнаружения стандартных направлений атак с помощью фаззинга или манипуляций с входными данными. (Эти атаки также имеют свои собственные специфические особенности, связанные с ИИ.) Для этого требуется учитывать сценарии, уникальные для искусственного интеллекта и машинного обучения. Ключевыми здесь являются механизмы взаимодействия пользователя с ИИ с помощью голоса, видео и жестов. Угрозы, связанные с этими опытами, традиционно не моделировались. Например, в настоящее время видеоконтент адаптируется для физического воздействия. Кроме того, исследования показывают, что команды атак на основе звука можно создавать [9].

Непредсказуемость, изобретательность и коварство преступников, решительно настроенных злоумышленников и троллей требуют от нас внедрять в искусственный интеллект механизмы устойчивости и избирательности.

Устойчивость: система должна иметь возможность определять ненормальное поведение и предотвращать манипуляции или приведение за пределами нормальных границ допустимого поведения в отношении системы ИИ и конкретной задачи. Таковы новые типы атак, характерные для систем ИИ и машинного обучения. Эти системы следует проектировать таким образом, чтобы они могли противостоять входным данным, потенциально противоречащим местными законам, этическим нормам и ценностям, которые транслируются конкретным сообществом и сформировавшими их людьми. Это означает, что нужно предоставить искусственному интеллекту возможность определять, когда взаимодействие с пользователем выходит за рамки приемлемого сценария. Ниже перечислены методы, с помощью которых можно этого достичь.

Определите отдельных пользователей, которые отклоняются от норм, установленных различными большими кластерами аналогичных пользователей, например, пользователей, которые, похоже, набирают текст слишком быстро, отвечают слишком быстро, не спят, или запускают части системы, которые не запускаются другими пользователями.
Определяйте модели поведения, которые являются индикаторами намеренных пробных атак и начала поэтапного вредоносного проникновения в сеть.
Распознать любое время, когда несколько пользователей действуют согласованно; Например, несколько пользователей, выдающих один и тот же необъяснимый, но намеренно созданный запрос, внезапные всплески числа пользователей или внезапные пики активации определенных частей системы искусственного интеллекта.

Атаки этого типа следует рассматривать по паре с атаками типа "Отказ в обслуживании", так как для ИИ могут потребоваться исправления ошибок и переобучение, чтобы не попасть на те же трюки снова. Критически важное значение заключается в возможности выявления злонамеренных намерений в присутствии контрмер, таких как те, которые использовались для поражения API анализа тональности [4].

Усмотрение: ИИ должен быть ответственным и надежным хранителем любой информации, которую она получает. Как люди, мы, несомненно, приписываем определенный уровень доверия в наши отношения с ИИ. В какой-то момент эти агенты будут общаться с другими агентами или другими людьми от нашего имени. Мы должны быть уверены в том, что система ИИ обладает достаточной степенью осмотрительности, чтобы делиться информацией о нас только в ограниченной форме, необходимой другим агентам для выполнения задач от ее имени. Кроме того, несколько агентов, взаимодействующих с личными данными от нашего имени, не должны нуждаться в глобальном доступе к нему. Для любых сценариев доступа к данным, в которых участвуют несколько ИИ или бот-агентов, продолжительность этого доступа должна быть ограничена до минимально необходимого уровня. Пользователи также должны иметь возможность отказать в предоставлении данных и отклонить проверку подлинности агентов от определенных корпораций или регионов так же, как сегодня веб-браузеры разрешают блокировку сайтов. Решение этой проблемы требует переосмысления подхода к аутентификации между агентами и привилегиям доступа к данным, как это было с инвестициями в облачную аутентификацию пользователей в первые годы развития технологий облачных вычислений.

ИИ должен уметь распознавать предвзятость у других, при этом оставаясь непредвзятым.

Мы предполагаем, что искусственный интеллект должен действовать беспристрастно и учитывать всю информацию без дискриминации какой-то отдельной группы пользователей или достоверных выходных данных. Но для этого в системе ИИ изначально должна быть заложена концепция предвзятого отношения. Без изучения распознавания предвзятости, троллинга или сарказма, ИИ может быть обманут теми, кто ищет дешевые развлечения, в лучшем случае, или причинить вред пользователям, в худшем.

Для достижения такого уровня осведомленности нужно, чтобы "хорошие люди обучили ИИ плохим вещам", поскольку это фактически требует всестороннего и постоянно развивающегося понимания культурных особенностей поведения. ИИ должен быть в состоянии распознать пользователя, с которым он имел негативные взаимодействия в прошлом, и проявлять соответствующую осторожность, как родители учат своих детей быть осторожными от незнакомцев. Лучший способ этого достичь — ограниченно повергать ИИ умеренному воздействию троллинга, контролируя этот процесс. Так ИИ сможет понять разницу между поведением безобидного пользователя, который просто "прощупывает почву", и реального злоумышленника или тролля. Тролли предоставляют для ИИ ценный поток обучающих данных, что делает его более устойчивым к будущим атакам.

Искусственный интеллект также должен уметь распознавать отклонения от нормы в наборах данных, на которых он обучается. Это могут быть культурные и региональные особенности, включающие определенный жаргон или темы и мнения, представляющие особый интерес одной группы людей. Как и в случае с вредоносными данными для обучения, ИИ должен быть устойчивым к последствиям этих данных на собственные умозаключения и выводы. По своей сути это сложная проблема проверки входных данных схожа с механизмом контроля границ. Вместо работы с длинами и смещениями проверки буфера и границ ориентируются на специально помеченные слова, собранные из большого количества источников. История общения и контекст, в котором используются слова, также имеют ключевое значение. Методы эшелонированной защиты создают несколько уровней обеспечения безопасности в добавление к традиционному API-интерфейсу веб-служб. Также и в технологиях распознавания и предотвращения отклонений в поведении нужно использовать многоуровневую защиту.

Алгоритмы машинного обучения должны быть способны отличать вредоносно введенные данные от доброкачественных событий "Черный лебедь".

Многочисленные технические материалы публикуются о теоретических возможностях манипуляции или кражи моделей/классификаторов машинного обучения из сервисов, где злоумышленники имеют доступ как к обучающим наборам данных, так и к пониманию специфики используемой модели [2, 3, 6, 7]. Основная проблема заключается в том, что все классификаторы машинного обучения могут быть обмануты злоумышленником, имеющим контроль над данными обучающего набора. Им даже не нужно изменять существующие обучающие наборы, достаточно просто иметь возможность добавлять в них информацию. И со временем для классификаторов ИИ эти входные данные становятся "надежными" из-за неспособности отличить вредоносные от подлинных аномальных данных.

Эта проблема цепочки поставок обучающих данных приводит нас к концепции постоянства в принятии решений, которая связана со способностью выявлять и отклонять намеренно введенные вредоносные обучающие данные или входные данные от пользователей до того, как они окажут негативное влияние на поведение классификатора. Ниже приведено обоснование того, что надежные обучающие данные имеют более высокую вероятность создания надежных результатов и решений. Хотя это все еще важно для обучения и обеспечения устойчивости к ненадежным данным, вредоносный характер этих данных должен быть проанализирован до того, как он становится частью высоконадежных данных обучения. Без таких мер искусственный интеллект может чрезмерно реагировать на троллинг и отказывать в обслуживании реальным пользователям.

Особую озабоченность вызывает ситуация, когда алгоритмы машинного обучения без контроля обучаются на неструктурированных или ненадежных данных. Это означает, что злоумышленники могут вводить любые данные в рамках необходимого формата, а алгоритм будет обучаться на них, устанавливая для этой информации такой же уровень доверия, как и у остальной части обучающего набора. При достаточном количестве входных данных от злоумышленников алгоритм обучения утрачивает способность отличать помехи и аномалии от надежных данных.

В качестве примера такой угрозы представьте базу данных знаков остановки со всего мира и на всех языках. Из-за большого количества изображений и языков было бы чрезвычайно сложно управлять этой информацией. Добавление вредоносных данных в этот набор в большей степени оставалось бы незамеченным до тех пор, пока автомобили с автоматическим управлением просто не прекратили бы распознавать знаки остановки. Меры по обеспечению устойчивости данных и целостности решений должны работать в тандеме для выявления и устранения ущерба для обучения, нанесенного вредоносными данными, чтобы предотвратить включение его в основную часть модели обучения.

Система ИИ должна иметь встроенные элементы экспертизы и ведение журнала безопасности для обеспечения прозрачности и подотчетности.

В перспективе искусственный интеллект сможет действовать от нашего имени в качестве агента в области профессиональных обязанностей, помогая нам принимать ответственные решения. Примером этого может быть ИИ, который помогает обрабатывать финансовые транзакции. Если ИИ эксплуатируется, а транзакции управляются каким-то образом, последствия могут варьироваться от личности до системного. В важных сценариях ИИ необходимо соответствующее логирование судебной экспертизы и безопасности для обеспечения целостности, прозрачности, подотчетности и, в некоторых случаях, представления доказательств, когда может возникнуть гражданская или уголовная ответственность.

Основные службы искусственного интеллекта нуждаются в аудите и трассировке событий на уровне алгоритма, в котором разработчики могут изучить зарегистрированное состояние определенных классификаторов, что, возможно, привело к неточному решению. Эта возможность необходима всей отрасли в целом, чтобы доказывать правильность и прозрачность решений искусственного интеллекта в любых ситуациях, когда они ставятся под сомнение.

Средства трассировки событий для начала могли бы отслеживать взаимосвязанные базовые данные для принятия решений:

Период времени, в который произошло последнее обучающее событие.
Метка времени для самой последней записи набора данных, на базе которого происходит обучение.
Веса и уровни достоверности основных классификаторов, используемых для принятия важных решений.
Перечень классификаторов или компонентов, участвующих в принятии решения.
Окончательное важное решение, к которому пришел алгоритм.

Такая детализированная проверка излишня для большинства решений, принимаемых с помощью алгоритмов. Однако наличие способности определять точки данных и метаданные алгоритма, что приводит к конкретным результатам, является большим преимуществом при принятии решений с высокой ценностью. Такие возможности не только демонстрируют надежность и целостность благодаря способности алгоритма "показать свою работу", но и эти данные также могут использоваться для точной настройки.

Еще один аспект аналитической экспертизы, необходимой для искусственного интеллекта и машинного обучения, — это обнаружение взлома. ИИ должен распознавать предвзятое поведение и не допускать его негативного воздействия, но также нам необходимы возможности аналитической экспертизы, чтобы помочь инженерам в обнаружении таких атак и реагировании на них. Такие возможности судебной экспертизы имеют огромное значение в сочетании с методами визуализации данных [10], что позволяет выполнять аудит, отладку и настройку алгоритмов.

Искусственный интеллект должен защищать конфиденциальную информацию, даже если люди этого не делают.

Для накопления опыта нужно обрабатывать большое количество информации. Люди уже добровольно предоставляют огромные массивы данных для обучения машинного обучения. Содержимое этих массивов варьируется от обычного контента из очереди потокового видео до динамики покупок по кредитной карте и истории транзакций, которые используются для обнаружения мошенничества. ИИ должен иметь внутреннее чувство осторожности и дискретности, когда речь идет об обработке пользовательских данных, всегда действовать для защиты их, даже когда общественность добровольно делится ими.

Для выполнения сложных задач ИИ может взаимодействовать с группой узлов, прошедших аутентификацию. В таких случаях он также должен осознавать необходимость ограничения объема данных, которыми он делится с этими узлами.

Предварительные выводы о решении проблем безопасности ИИ

Несмотря на начальный этап этого проекта, мы считаем, что данные, скомпилированные на сегодняшний день, показывают, что более глубокое исследование каждой из следующих областей является ключевым в продвижении нашей отрасли к более надежным и безопасным продуктам и услугам ИИ/ML. Ниже приведены наши первые выводы и мысли о том, что хотелось бы сделать в этой области.

Тесты на проникновение и инструменты проверки безопасности, ориентированные на искусственный интеллект и машинное обучение, могут быть созданы для того, чтобы мы были уверенны, что ИИ разделяет наши ценности и соответствует принципам, разработанным на конференции в Асиломаре.
1. Такая группа специалистов могла бы также разработать инструменты и инфраструктуру, которые можно было бы использовать в масштабах всей отрасли для обеспечения безопасности служб на основе искусственного интеллекта и машинного обучения.
2. Со временем этот экспертный опыт будет естественным образом накапливаться в командах инженеров, как это было с традиционными знаниями в области безопасности в последние 10 лет.
Можно разработать модели обучения, которые позволят предприятиям достигнуть демократизации ИИ и одновременно решить проблемы, обсуждаемые в этом документе.
1. Специальные модели обучения для обеспечения безопасности ИИ предполагают, что инженеры знают о рисках, связанных с их искусственным интеллектом и используемыми ресурсами. Этот материал должен быть доставлен с текущим обучением по защите данных клиентов.
2. Чтобы этого достичь, не нужно каждому специалисту по обработке данных становиться экспертом по безопасности. Вместо этого следует основное внимание уделить разработчикам и обучить их принципам устойчивости и избирательности, применимым к их вариантам использования ИИ.
3. Разработчикам потребуется понять безопасные "стандартные блоки" служб ИИ, которые повторно используются в своей организации. Необходимо выделить отказоустойчивый дизайн с подсистемами, которые можно легко отключить (например, процессоры изображений, средства синтаксического анализа текста).
Классификаторы машинного обучения и лежащие в их основе алгоритмы могут быть усилены способностью обнаруживать вредоносные данные, не смешивая их с текущими достоверными обучающими данными или не искажая результаты.
1. Для изучения таких методов, как Reject on Negative Input [5], требуются исследовательские циклы.
2. Эта работа включает в себя математическую проверку, проверку концепции на уровне кода и тестирование на наличие как вредоносных, так и безвредных аномальных данных.
3. Здесь могут быть полезными выборочная проверка и контроль со стороны человека, особенно там, где присутствуют статистические аномалии.
4. "Классификаторы-наблюдатели могут быть построены так, чтобы они имели более универсальное понимание угроз между различными ИИ." Это значительно повысит безопасность системы, поскольку злоумышленник больше не сможет проникать в какую-либо конкретную модель.
5. Разные ИИ могут быть связаны между собой, чтобы выявлять угрозы в системах друг друга.
Можно создать централизованную библиотеку для аудита и аналитической экспертизы алгоритмов машинного обучения, которая будет устанавливать стандарты прозрачности и достоверности результатов работы ИИ.
1. Также может быть добавлена возможность делать запросы для аудита и преобразования решений ИИ, которые оказывают большое влияние на бизнес.
Для выявления троллинга, сарказма и других аномалий, а также реагирования на них, ИИ может постоянно собирать и анализировать жаргон, который используется злоумышленниками из разных культурных групп и в разных социальных медиа.
1. Искусственный интеллект должен быть устойчивым ко всем видам жаргона, будь то технический, региональный или характерный для какой-то отдельной площадки.
2. Этот корпус знаний также можно использовать в автоматизации фильтрации, маркировки и блокировки для решения проблем с масштабируемостью модерации.
3. Эту глобальную базу данных терминов можно разместить в библиотеках разработки или даже предоставить доступ через API облачной службы для повторного использования различными ИИ. Так новые искусственные интеллекты получат объединенный опыт более старых.
Можно создать платформу для фаззинга алгоритмов машинного обучения, которая даст инженерам возможность добавлять в тестовые обучающие наборы различные типы атак для оценки ИИ.
1. Это может сосредоточиться не только на тексте, но и на изображениях, голосовых и жестовых данных и перемещениях этих типов данных.

Заключение

Принципы работы с ИИ, разработанные на конференции в Асиломаре, иллюстрируют сложность создания искусственного интеллекта, который последовательно приносит пользу человечеству. Будущие AIs должны взаимодействовать с другими AIs для предоставления богатых, убедительных пользовательских возможностей. Это значит, что недостаточно, чтобы Майкрософт правильно реализовал ИИ с точки зрения безопасности, - это должен сделать весь мир. Мы нуждаемся в согласованности отрасли и сотрудничестве, чтобы придать большую видимость вопросам, поднятым в этом документе, аналогично нашему всемирному продвижению Цифровой Женевской конвенции [8]. Решая описанные здесь проблемы, мы можем начать направлять наших клиентов и отраслевых партнеров по пути, который приведет к настоящей демократизации ИИ и способствует развитию интеллекта всего человечества.

Список литературы

[1] Taleb, Nassim Nicholas (2007), The Black Swan: The Impact of the Highly Improbable, Random House, ISBN 978-1400063512.

2. Florian Tramèr, Fan Zhang, Ari Juels, Michael K. Reiter, Thomas Ristenpart.Stealing Machine Learning Models via Prediction APIs.

[3] Сатя Наделла:Партнерство будущего

[4] Клаберн, Томас:искусственный интеллект Google по уничтожению троллей не умеет справляться с опечатками

[5] Марко Баррено, Блейн Нельсон, Энтони Д. Джозеф, Д. Тайгар:безопасность машинного обучения

[6] Wolchover, Натали:Этот пионер искусственного интеллекта имеет несколько проблем

[7] Конн, Ариэль:Как выровнять искусственный интеллект с человеческими ценностями?

[8] Смит, Брэд:Необходимость срочных коллективных действий, чтобы держать людей в безопасности в Интернете: Уроки из кибератак на прошлой неделе

[9] Николас Карлини, Пратьуш Мишра, Тавиш Вайдя, Юанкай Чжан, Мика Шерр, Клей Щитс, Дэвид Вагнер, Венчао Чжоу:Скрытые голосовые команды

[10] Фернанда Виегас, Мартин Уотенберг, Даниэль Смилков, Джеймс Векслер, Джимбо Уилсон, Никхил Торат, Чарльз Николсон, Google Research:Большая картина