Перспективы развития искусственного интеллекта и машинного обучения в корпорации Майкрософт

Авторы: Эндрю Маршалл (Andrew Marshall), Рауль Рохас (Raul Rojas), Джей Стоукс (Jay Stokes) и Дональд Бринкман (Donald Brinkman)

Особая благодарность Марку Картрайту (Mark Cartwright) и Грэм Калладин (Graham Calladine)

Краткий обзор

Искусственный интеллект (ИИ) и Машинное обучение (ML) уже оказывают большое влияние на то, как люди работают, общаются и живут их жизнью. По мере роста потребления продуктов и услуг, созданных на основе ИИ и машинного обучения, необходимо предпринять специальные меры, чтобы защитить не только ваших клиентов и их данные, но и сам искусственный интеллект и алгоритмы от злоупотребления, троллинга и нарушения работоспособности. В этом документе описывается часть накопленного корпорацией Майкрософт опыта в обеспечении безопасности при разработке продуктов и использовании веб-служб, основанных на искусственном интеллекте. Хотя трудно предсказать, как эта область разворачивается, мы пришли к выводу, что существуют практические проблемы, которые необходимо решить сейчас. Кроме того, мы обнаружили и стратегические проблемы, которые должны превентивно решаться в рамках всей ИТ-отрасли, чтобы обеспечить безопасность клиентов и защиту их данных в долгосрочной перспективе.

Этот документ не относится к атакам на основе ИИ или даже использованию ИИ злоумышленниками. Вместо этого мы сосредоточимся на проблемах, которые партнеры Корпорации Майкрософт и отрасли должны решать для защиты продуктов и служб на основе ИИ от высокосложных, творческих и вредоносных атак, будь то отдельные тролли или целые волчьи пакеты.

В этом документе полностью рассматриваются вопросы проектирования безопасности, уникальные для пространства искусственного интеллекта и машинного обучения, но из-за обширной природы домена InfoSec понятно, что вопросы и выводы, рассмотренные здесь, перекрываются в степени с доменами конфиденциальности и этики. Поскольку в этом исследовании освещаются проблемы, имеющие стратегическое значение для индустрии высоких технологий, оно предназначено для отраслевых специалистов, которые руководят разработкой систем безопасности.

Наши первые результаты показывают следующее:

• Существующие практики защиты искусственного интеллекта и машинного обучения должны быть нацелены на решение проблем безопасности, которые обсуждаются в этом документе.

• Модели машинного обучения по большей части не могут различать вредоносную входящую информацию и безвредные нестандартные данные. Значительный источник обучающих данных является производным от некурсованных, немодерированных, общедоступных наборов данных, которые открыты для 3 сторонних вкладов. Злоумышленникам не нужно компрометировать наборы данных, если они свободны для участия в них. Со временем вредоносные данные с низкой уверенностью становятся надежными, если структура и форматирование данных остается правильной.

• Учитывая большое количество слоев скрытых классификаторов/нейронов, которые можно использовать в модели глубокого обучения, слишком много доверия ставится на выходные данные процессов и алгоритмов принятия решений ИИ/ML без критического понимания того, как эти решения были достигнуты. Такое искажение делает невозможным для алгоритмов искусственного интеллекта и машинного обучения продемонстрировать логику своей работы и затрудняет доказательство правильности результатов, когда они ставятся под сомнение.

• Искусственный интеллект и машинное обучение все чаще используются для поддержки процессов принятия важных решений в медицине и других отраслях, где ошибка может привести к серьезным травмам или смерти. Отсутствие возможностей получить аналитическую отчетность о работе алгоритмов искусственного интеллекта и машинного обучения не позволяет использовать ценные данные как доказательства в суде и перед лицом общественного мнения.

Цель этого документа — выделить (1) вопросы инженерии безопасности, которые уникальны для пространства ИИ/ML, (2) представляют некоторые первоначальные мысли и наблюдения по возникающим угрозам, и (3) делятся ранними мыслями о потенциальной исправлении. С некоторыми из описанных в этой статье проблем отрасль должна справиться в течение ближайших двух лет, другие же мы вынуждены решать уже сегодня. Без более глубокого изучения областей, описанных в этом документе, мы рискуем будущим ИИ стать черным ящиком через нашу неспособность доверять или понимать (и изменять при необходимости) процессы принятия решений ИИ на математическом уровне [7]. С точки зрения безопасности это фактически означает потерю контроля и отход от руководящих принципов Корпорации Майкрософт по искусственному интеллекту [3, 7].

Новые задачи при проектировании систем безопасности

Традиционные векторы атак программного обеспечения по-прежнему критически важны для решения, но они не обеспечивают достаточного охвата в ландшафте угроз ИИ/ML. ИТ-индустрия должна избегать решения проблем нового поколения с помощью устаревших методов. Важно создать новую инфраструктуру и использовать новые подходы, которые смогут устранить недостатки в разработке и эксплуатации служб на основе искусственного интеллекта и машинного обучения.

1. Как описывается ниже, основы разработки систем безопасности и использования продуктов должны включать в себя концепции устойчивости и избирательности, когда это касается ИИ и данных, которые он контролирует. В области аутентификации, разделения обязанностей, проверки входных данных и предотвращения отказа в обслуживании необходимо уделять больше внимания вопросам, связанным с ИИ. Без инвестиций в эти области службы ИИ/ML продолжают бороться с трудной борьбой с противниками всех уровней навыков.

2. Искусственный интеллект должен уметь различать намеренные отклонения в поведении других, но при этом не допускать влияния этих отклонений на собственные механизмы взаимодействия с людьми. Для этого требуется общее и постоянно развивающееся понимание предрассудков, стереотипов, жаргона и других культурных конструктов. Такое понимание помогает защитить ИИ от социальных инженеров и атак на набор данных. Правильно реализованная система на самом деле становится сильнее от таких атак и сможет поделиться своим расширенным пониманием с другими AIS.

3. Машинное обучение алгоритмы должны быть способны распознавать вредоносные данные из доброкачественных событий "Черный лебедь" [1], отклоняя обучающие данные с негативным воздействием на результаты. В противном случае модели обучения всегда подвержены играм злоумышленниками и троллями.

4. Искусственный интеллект должен содержать в себе встроенные функции аналитической экспертизы. Это позволяет предприятиям предоставлять клиентам прозрачность и подотчетность их ИИ, гарантируя, что его действия не только являются проверяемыми, но и юридически оправданными. Эти возможности также будут работать как первый этап обнаружения атак на ИИ. Инженеры смогут точно определять момент времени, когда решение было принято классификатором, какие данные влияли на него и были ли эти данные надежными. Возможности визуализации данных в этой области быстро развиваются и показывают обещание помочь инженерам выявлять и устранять первопричины этих сложных проблем [10].

5. ИИ должен выявлять и защищать конфиденциальную информацию, даже если люди не опознают ее таковой. Разнообразие сценариев взаимодействия с пользователями требует для обучения искусственного интеллекта больших объемов необработанных данных. Поэтому должно учитываться, что клиенты могут предоставить доступ к закрытой информации, даже не подозревая об этом.

Каждый из этих вопросов, включая угрозы и возможные способы их устранения, подробно рассмотрены ниже.

Изменение традиционных моделей разработки и эксплуатации систем защиты ИИ: устойчивость и избирательность

Конструкторы ИИ должны обеспечить конфиденциальность, целостность и доступность конфиденциальных данных, что система ИИ свободна от известных уязвимостей, а также обеспечить средства управления защитой, обнаружением и реагированием на вредоносное поведение в отношении системы или данных пользователя.

Традиционные способы защиты от вредоносных атак не обеспечивают одинаковое освещение в этой новой парадигме, где атаки на основе голосовых и видео/изображений могут обойти текущие фильтры и защиту. Чтобы предотвратить новые формы злоупотребления при использовании искусственного интеллекта, необходимо изучить и новые аспекты моделирования угроз. Это выходит далеко за рамки обнаружения стандартных направлений атак с помощью фаззинга или манипуляций с входными данными. (Эти атаки также имеют свои собственные специфические особенности, связанные с ИИ.) Для этого требуется учитывать сценарии, уникальные для искусственного интеллекта и машинного обучения. Ключевыми здесь являются механизмы взаимодействия пользователя с ИИ с помощью голоса, видео и жестов. Угрозы, связанные с этими опытами, традиционно не моделировались. Например, в настоящее время видеоконтент адаптируется для физического воздействия. Кроме того, исследования показывают, что команды атак на основе звука можно создавать [9].

Непредсказуемость, изобретательность и коварство преступников, решительно настроенных злоумышленников и троллей требуют от нас внедрять в искусственный интеллект механизмы устойчивости и избирательности.

Устойчивость: система должна иметь возможность определять ненормальное поведение и предотвращать манипуляции или приведение за пределами нормальных границ допустимого поведения в отношении системы ИИ и конкретной задачи. Таковы новые типы атак, характерные для систем ИИ и машинного обучения. Эти системы следует проектировать таким образом, чтобы они могли противостоять входным данным, потенциально противоречащим местными законам, этическим нормам и ценностям, которые транслируются конкретным сообществом и сформировавшими их людьми. Это означает, что нужно предоставить искусственному интеллекту возможность определять, когда взаимодействие с пользователем выходит за рамки приемлемого сценария. Ниже перечислены методы, с помощью которых можно этого достичь.

1. Определите отдельных пользователей, которые отклоняют от норм, установленных различными большими кластерами аналогичных пользователей, например, пользователи, которые, как представляется, вводят слишком быстро, отвечают слишком быстро, не спят или запускают части системы других пользователей.

2. Определяйте модели поведения, которые являются индикаторами намеренных пробных атак и начала поэтапного вредоносного проникновения в сеть.

3. Распознать любое время, когда несколько пользователей действуют согласованно; Например, несколько пользователей, выдающих один и тот же необъяснимый, но намеренно созданный запрос, внезапные всплески числа пользователей или внезапные пики активации определенных частей системы искусственного интеллекта.

Атаки этого типа следует рассматривать по паре с атаками типа "Отказ в обслуживании", так как для ИИ могут потребоваться исправления ошибок и переобучение, чтобы не попасть на те же трюки снова. Критически важное значение заключается в возможности выявления злонамеренных намерений в присутствии контрмер, таких как те, которые использовались для поражения API анализа тональности [4].

Усмотрение: ИИ должен быть ответственным и надежным хранителем любойинформации, к ней есть доступ. Как люди, мы, несомненно, назначаем определенный уровень доверия в наших отношениях СИ. В какой-то момент эти агенты будут общаться с другими агентами или другими людьми от нашего имени. Мы должны быть уверены в том, что система ИИ может в достаточной мере различать имеющиеся данные, чтобы ограниченно делиться только той персональной информацией, которая необходима другим агентам для выполнения поставленных задач. Кроме того, несколько агентов, взаимодействующих с личными данными от нашего имени, не должны нуждаться в глобальном доступе к нему. Для любых сценариев доступа к данным, в которых участвуют несколько ИИ или бот-агентов, продолжительность этого доступа должна быть ограничена до минимально необходимого уровня. Пользователи также должны иметь возможность запретить данные и отклонить проверку подлинности агентов от определенных корпораций или языковых стандартов так же, как веб-браузеры разрешают блокировку сайта сегодня. Решение этой проблемы требует переосмысления подхода к аутентификации между агентами и привилегиям доступа к данным, как это было с инвестициями в облачную аутентификацию пользователей в первые годы развития технологий облачных вычислений.

Необходимость различать намеренные отклонения в поведении других, но при этом не допускать влияния этих отклонений на собственные механизмы ИИ

Мы предполагаем, что искусственный интеллект должен действовать беспристрастно и учитывать всю информацию без дискриминации какой-то отдельной группы пользователей или достоверных выходных данных. Но для этого в системе ИИ изначально должна быть заложена концепция предвзятого отношения. Без обучения распознавать предвзятость, троллинг или саркасм, ИИ может быть обмануты теми, кто ищет дешевые смех в лучшем случае, или причинить вред клиентам в худшем случае.

Для достижения такого уровня осведомленности нужно, чтобы "хорошие люди обучили ИИ плохим вещам", поскольку это фактически требует всестороннего и постоянно развивающегося понимания культурных особенностей поведения. ИИ должен быть в состоянии распознать пользователя, с которым он имел негативные взаимодействия в прошлом, и проявлять соответствующую осторожность, как родители учат своих детей быть осторожными от незнакомцев. Лучший способ этого достичь — ограниченно повергать ИИ умеренному воздействию троллинга, контролируя этот процесс. Так ИИ сможет понять разницу между поведением безобидного пользователя, который просто "прощупывает почву", и реального злоумышленника или тролля. Тролли предоставляют для ИИ ценный поток обучающих данных, что делает его более устойчивым к будущим атакам.

Искусственный интеллект также должен уметь распознавать отклонения от нормы в наборах данных, на которых он обучается. Это могут быть культурные и региональные особенности, включающие определенный жаргон или темы и мнения, представляющие особый интерес одной группы людей. Как и в случае с вредоносными данными для обучения, ИИ должен быть устойчивым к последствиям этих данных по собственным выводам и вычетам. По своей сути это сложная проблема проверки входных данных схожа с механизмом контроля границ. Вместо работы с длинами и смещениями проверки буфера и границ ориентируются на специально помеченные слова, собранные из большого количества источников. История общения и контекст, в котором используются слова, также имеют ключевое значение. Методы эшелонированной защиты создают несколько уровней обеспечения безопасности в добавление к традиционному API-интерфейсу веб-служб. Также и в технологиях распознавания и предотвращения отклонений в поведении нужно использовать многоуровневую защиту.

Машинное обучение Алгоритмы должны быть способны распознавать вредоносные данные из доброкачественных событий "Черный лебедь"

Многочисленные технические материалы публикуются на теоретических возможностях модели или классификатора машинного обучения и кражи и кражи из служб, где злоумышленники имеют доступ как к набору обучающих данных, так и к информированному пониманию модели, используемой [2, 3, 6, 7]. Ниже приведена проблема с перебором, что все классификаторы машинного обучения могут быть обмануты злоумышленником, который контролирует обучающие наборы данных. Им даже не нужно изменять существующие обучающие наборы, достаточно просто иметь возможность добавлять в них информацию. И со временем для классификаторов ИИ эти входные данные становятся "надежными" из-за неспособности отличить вредоносные от подлинных аномальных данных.

Эта проблема цепочки поставок обучающих данных приводит нас к концепции постоянства в принятии решений, которая связана со способностью выявлять и отклонять намеренно введенные вредоносные обучающие данные или входные данные от пользователей до того, как они окажут негативное влияние на поведение классификатора. Ниже приведено обоснование того, что надежные обучающие данные имеют более высокую вероятность создания надежных результатов и решений. Хотя это все еще важно для обучения и обеспечения устойчивости к ненадежным данным, вредоносный характер этих данных должен быть проанализирован до того, как он становится частью высоконадежных данных обучения. Без таких мер искусственный интеллект может чрезмерно реагировать на троллинг и отказывать в обслуживании реальным пользователям.

Вы должны быть особо обеспокоены, если алгоритмы бесконтрольно обучаются на ненадежных данных без предварительного отбора. Это означает, что злоумышленники могут вводить любые данные в рамках необходимого формата, а алгоритм будет обучаться на них, устанавливая для этой информации такой же уровень доверия, как и у остальной части обучающего набора. При достаточном количестве входных данных от злоумышленников алгоритм обучения утрачивает способность отличать помехи и аномалии от надежных данных.

В качестве примера такой угрозы представьте базу данных знаков остановки со всего мира и на всех языках. Из-за большого количества изображений и языков было бы чрезвычайно сложно управлять этой информацией. Добавление вредоносных данных в этот набор в большей степени оставалось бы незамеченным до тех пор, пока автомобили с автоматическим управлением просто не прекратили бы распознавать знаки остановки. Для выявления и устранения ущерба для обучения, выполняемого вредоносными данными, необходимо действовать вручную, чтобы предотвратить создание основной части модели обучения.

Встроенная система аналитической экспертизы и ведения журнала безопасности для обеспечения прозрачности и контроля

В перспективе искусственный интеллект сможет действовать от нашего имени в качестве агента в области профессиональных обязанностей, помогая нам принимать ответственные решения. Примером этого может быть ИИ, который помогает обрабатывать финансовые транзакции. Если ИИ эксплуатируется, а транзакции управляются каким-то образом, последствия могут варьироваться от личности до системного. В сценариях с высокой ценностью ИИ требуется соответствующее ведение журнала судебной экспертизы и безопасности для обеспечения целостности, прозрачности, подотчетности и в некоторых случаях доказательства, в которых могут возникнуть гражданские или уголовные ответственности.

Основные службы искусственного интеллекта нуждаются в аудите и трассировке событий на уровне алгоритма, в котором разработчики могут изучить зарегистрированное состояние определенных классификаторов, что, возможно, привело к неточному решению. Эта возможность необходима всей отрасли в целом, чтобы доказывать правильность и прозрачность решений искусственного интеллекта в любых ситуациях, когда они ставятся под сомнение.

Средства трассировки событий для начала могли бы отслеживать взаимосвязанные базовые данные для принятия решений:

1. Период времени, в который произошло последнее обучающее событие.

2. Метка времени для самой последней записи набора данных, на базе которого происходит обучение.

3. Веса и уровни достоверности основных классификаторов, используемых для принятия важных решений.

4. Перечень классификаторов или компонентов, участвующих в принятии решения.

5. Окончательное важное решение, к которому пришел алгоритм.

Такая трассировка переклинается для большинства принятия решений, помогающих алгоритму. Однако наличие способности определять точки данных и метаданные алгоритма, что приводит к конкретным результатам, является большим преимуществом при принятии решений с высокой ценностью. Такие возможности не только демонстрируют надежность и целостность благодаря способности алгоритма "показать свою работу", но и эти данные также могут использоваться для точной настройки.

Еще один аспект аналитической экспертизы, необходимой для искусственного интеллекта и машинного обучения, — это обнаружение взлома. ИИ должен распознавать предвзятое поведение и не допускать его негативного воздействия, но также нам необходимы возможности аналитической экспертизы, чтобы помочь инженерам в обнаружении таких атак и реагировании на них. Такие возможности судебно-судебной экспертизы имеют огромное значение при паре с методами визуализации данных [10], что позволяет выполнять аудит, отладку и настройку алгоритмов для более эффективных результатов.

Защита конфиденциальной информации вне зависимости от решения людей

Для накопления опыта нужно обрабатывать большое количество информации. Люди добровольно передают огромные массивы данных для обучения. Содержимое этих массивов варьируется от обычного контента из очереди потокового видео до динамики покупок по кредитной карте и истории транзакций, которые используются для обнаружения мошенничества. ИИ должен иметь глубокое чувство дискреционности, когда речь идет об обработке пользовательских данных, всегда действовать для защиты его даже при добровольном свободном доступе общественности.

Для выполнения сложных задач ИИ может взаимодействовать с группой узлов, прошедших аутентификацию. В таких случаях он также должен осознавать необходимость ограничения объема данных, которыми он делится с этими узлами.

Предварительные выводы о решении проблем безопасности ИИ

Несмотря на настойчивое состояние этого проекта, мы считаем, что данные, скомпилированные на сегодняшний день, показывают более глубокое исследование каждой из следующих областей является ключевым в перемещении нашей отрасли к более надежным и безопасным продуктам и службам ИИ/ML. Ниже приведены наши первые выводы и мысли о том, что хотелось бы сделать в этой области.

1. Тесты на проникновение и инструменты проверки безопасности, ориентированные на искусственный интеллект и машинное обучение, могут быть созданы для того, чтобы мы были уверенны, что ИИ разделяет наши ценности и соответствует принципам, разработанным на конференции в Асиломаре.

   1. Такая группа специалистов могла бы также разработать инструменты и инфраструктуру, которые можно было бы использовать в масштабах всей отрасли для обеспечения безопасности служб на основе искусственного интеллекта и машинного обучения.
   2. Со временем этот экспертный опыт будет естественным образом накапливаться в командах инженеров, как это было с традиционными знаниями в области безопасности в последние 10 лет.

2. Можно разработать модели обучения, которые позволят предприятиям достигнуть демократизации ИИ и одновременно решить проблемы, обсуждаемые в этом документе.

   1. Специальные модели обучения для обеспечения безопасности ИИ предполагают, что инженеры знают о рисках, связанных с их искусственным интеллектом и используемыми ресурсами. Этот материал должен быть доставлен с текущим обучением по защите данных клиентов.
   2. Чтобы этого достичь, не нужно каждому специалисту по обработке данных становиться экспертом по безопасности. Вместо этого следует основное внимание уделить разработчикам и обучить их принципам устойчивости и избирательности, применимым к их вариантам использования ИИ.
   3. Разработчикам потребуется понять безопасные "стандартные блоки" служб ИИ, которые повторно используются в своей организации. Необходимо выделить отказоустойчивый дизайн с подсистемами, которые можно легко отключить (например, процессоры изображений, средства синтаксического анализа текста).

3. Классификаторы машинного обучения и лежащие в их основе алгоритмы могут быть усилены способностью обнаруживать вредоносные данные, не смешивая их с текущими достоверными обучающими данными или не искажая результаты.

   1. Для изучения таких методов, как отклонение отрицательного ввода [5], требуются циклы исследователя.

   2. Эта работа включает в себя математическую проверку, проверку концепции на уровне кода и тестирование на наличие как вредоносных, так и безвредных аномальных данных.

   3. Здесь могут быть полезными выборочная проверка и контроль со стороны человека, особенно там, где присутствуют статистические аномалии.

   4. "Классификаторы-смотрители" могут быть построены так, чтобы они имели более универсальное понимание угроз для различных ИИ. Это значительно повысит безопасность системы, поскольку злоумышленник больше не сможет проникать в какую-либо конкретную модель.

   5. Разные ИИ могут быть связаны между собой, чтобы выявлять угрозы в системах друг друга.

4. Можно создать централизованную библиотеку для аудита и аналитической экспертизы алгоритмов машинного обучения, которая будет устанавливать стандарты прозрачности и достоверности результатов работы ИИ.

   1. Также может быть добавлена возможность делать запросы для аудита и преобразования решений ИИ, которые оказывают большое влияние на бизнес.

5. Для выявления троллинга, сарказма и других аномалий, а также реагирования на них, ИИ может постоянно собирать и анализировать жаргон, который используется злоумышленниками из разных культурных групп и в разных социальных медиа.

   1. Искусственный интеллект должен быть устойчивым ко всем видам жаргона, будь то технический, региональный или характерный для какой-то отдельной площадки.

   2. Этот текст знаний также можно использовать в фильтрации содержимого, фильтрации и блокировки автоматизации для решения проблем масштабируемости модератора.

   3. Эту глобальную базу данных терминов можно разместить в библиотеках разработки или даже предоставить доступ через API облачной службы для повторного использования различными ИИ. Так новые искусственные интеллекты получат объединенный опыт более старых.

6. Можно создать платформу для фаззинга алгоритмов машинного обучения, которая даст инженерам возможность добавлять в тестовые обучающие наборы различные типы атак для оценки ИИ.

   1. Это может сосредоточиться не только на тексте, но и на изображениях, голосовых и жестовых данных и перемещениях этих типов данных.

Заключение

Принципы работы с ИИ, разработанные на конференции в Асиломаре, иллюстрируют сложность создания искусственного интеллекта, который последовательно приносит пользу человечеству. Будущие AIs должны взаимодействовать с другими AIs для предоставления богатых, убедительных пользовательских возможностей. Это означает, что это просто недостаточно хорошо для Майкрософт, чтобы "получить ИИ право" с точки зрения безопасности - мир должен. Мы нуждаемся в выравнивании отрасли и сотрудничестве с более заметными вопросами в этом документе в том же виде, как и наше всемирное соглашение о цифровой женеве [8]. Решая описанные здесь проблемы, мы можем начать направлять наших клиентов и отраслевых партнеров по пути, который приведет к настоящей демократизации ИИ и способствует развитию интеллекта всего человечества.

Список литературы

[1] Taleb, Nassim Nicholas (2007), The Black Swan: The Impact of the Highly Improbable, Random House, ISBN 978-1400063512.

[2] Флориан Трамер, Фан Чжан, Ари Juels, Майкл К. Рейтер, Томас Кристенпарт, кража Машинное обучение моделей с помощью API прогнозирования

[3] Сатя Наделла:Партнерство будущего

[4] Клаберн, Томас:Google троллей уничтожающий ИИ не может справиться с опечаткой

[5] Марко Баррено, Блейн Нельсон, Энтони Д. Джозеф, Д.Д. Тайгар:Безопасность машинного обучения

[6] Wolchover, Натали:Этот пионер искусственного интеллекта имеет несколько проблем

[7] Конн, Ариэль:Как мы выравниваем искусственный интеллект с человеческими ценностями?

[8] Смит, Брэд:Необходимость срочных коллективных действий, чтобы держать людей в безопасности в Интернете: Уроки из кибератак на прошлой неделе

[9] Николас Карлини, Пратьуш Мишра, Тавиш Вайдя, Юанкай Чжан, Мика Шерр, Клей Щитс, Дэвид Вагнер, Венчао Чжоу:Скрытые голосовые команды

[10] Фернанда Виегас, Мартин Уоттенберг, Даниэль Смилков, Джеймс Векслер, Джимбо Уилсон, Никхил Торат, Чарльз Николсон, Google Research:Big Picture