События
19 нояб., 23 - 10 янв., 23
Ignite Edition — создание навыков в продуктах безопасности Майкрософт и получение цифрового значка к 10 января!
ЗарегистрироватьсяЭтот браузер больше не поддерживается.
Выполните обновление до Microsoft Edge, чтобы воспользоваться новейшими функциями, обновлениями для системы безопасности и технической поддержкой.
Несмотря на убедительные причины для защиты систем машинного обучения, опрос Майкрософт, охватывающий 28 предприятий, обнаружил, что большинство отраслевых практиков еще не смирились с состязательной машинной машинной обучения (ML). Двадцать пять из 28 предприятий указали, что у них нет правильных инструментов для защиты своих систем машинного обучения. Кроме того, они явно ищут рекомендации. Мы обнаружили, что отсутствие подготовки не ограничивается небольшими организациями — они варьируются от компаний Fortune 500, правительств до некоммерческих организаций. Клиенты признают необходимость защиты систем ИИ, но просто не знают, как.
Этот документ является первым шагом для организаций, чтобы оценить уровень безопасности своих систем искусственного интеллекта. Но вместо добавления еще одной платформы для организаций, которые должны следовать, мы пытались предоставить содержимое таким образом, чтобы их можно было привязать к существующим традиционным платформам оценки рисков безопасности.
Для этого документа существует три цели:
Мы разработали его вместе с заинтересованными лицами корпорации Майкрософт, представителями службы "Безопасность Azure", ответственной стратегией искусственного интеллекта в области инженерии, Центра реагирования на безопасность Майкрософт, безопасность Azure и ИИ, этику и эффекты в области инженерных и исследовательских исследований (Aether).
Мы рекомендуем использовать этот документ, чтобы начать обсуждение по обеспечению безопасности систем ИИ, согласованных с продолжающимися усилиями по информационной безопасности и бизнес-целями. В документе основное внимание уделяется системам ИИ и включению традиционных элементов управления, так как системы ИИ основаны на традиционной ИТ-инфраструктуре.
Мы рассмотрим следующие области, связанные с системами ИИ.
элементы управления Администратор istrative | Description |
---|---|
Политики безопасности машинного обучения | Элементы управления и политики, связанные с документированных политиками, которые управляют машинным обучением, искусственным интеллектом и информационной безопасностью. |
Технические элементы управления | Description |
---|---|
Сбор данных | Элементы управления и политики, связанные с коллекцией, хранилищем и классификацией данных, используемых для машинного обучения и искусственного интеллекта. |
Обработка данных | Элементы управления и политики, связанные с обработкой и проектированием данных, используемых для машинного обучения и искусственного интеллекта. |
Обучение модели | Элементы управления и политики, относящиеся к проектированию, обучению и проверке моделей. |
Развертывание модели | Элементы управления и политики, связанные с развертыванием моделей и вспомогательной инфраструктурой. |
Мониторинг системы | Элементы управления и политики, связанные с текущим мониторингом систем машинного обучения. |
Управление инцидентами | Элементы управления и политики, связанные с тем, как обрабатываются инциденты, связанные с системой ИИ. |
Непрерывность бизнес-процессов и аварийное восстановление | Средства контроля и политики, связанные с потерей интеллектуальной собственности путем кражи модели, ухудшения обслуживания или других уязвимостей искусственного интеллекта. |
Мы адаптировали существующую платформу элементов управления и политик из популярного стандарта ISO27001:2013 и сопоставили ее в процессе сборки системы ИИ — от этапа сбора данных до реагирования на угрозы системам ИИ. Организации могут иметь некоторые или все существующие элементы управления, реализованные в ISO27001:2013 или уже соответствуют нескольким платформам риска (NIST 800-53, PCI-DSS, FedRamp и т. д.) в рамках существующих усилий по обеспечению информационной безопасности.
Отсутствие адекватной защиты систем искусственного интеллекта повышает риск не только систем ИИ, рассматриваемых в этой оценке, но и в целом для всей информационной технологии и среды соответствия требованиям.
Цель этого документа заключается не в том, чтобы заменить какие-либо из этих существующих усилий, но описать защиту систем ИИ из точки vantage существующих средств и платформ, а также расширить его ко всем частям процесса сборки ИИ.
Приведенные здесь рекомендации не предписательны, так как для этого требуется больше контекста, например базовой платформы, базового типа данных и выбора алгоритма. Если вы являетесь клиентом Машинное обучение Azure, ознакомьтесь со статьей "Корпоративная безопасность и управление".
Не все элементы управления имеют решающее значение для безопасности системы искусственного интеллекта. Таким образом, чтобы правильно определить приоритеты работы, каждый элемент управления должен оцениваться организацией с оценкой серьезности, которая относится к влиянию бизнеса на отсутствие заданного элемента управления. Организация может принять риск критического контроля и вместо этого реализовать компенсирующий контроль, чтобы снизить риск. В конечном счете, эти рейтинги помогают управлять принятием решений на основе рисков, а не назначать действия.
Серьезность компрометации будет зависеть от варианта использования модели ИИ. К счастью, если используемые данные или системы имеют критически важное значение перед интеграцией машинного обучения, он должен оставаться неизменным. Аналогичным образом, если используемая модель "вне полки" без других входных данных, в зависимости от контекста, в которую используется модель, степень серьезности компрометации, скорее всего, ниже. Такие методы, как разностная конфиденциальность, могут снизить потенциальное влияние компрометации. Однако этот контекст не уменьшит критическое значение системы, данных или модели. Мы рекомендуем защитить модели с помощью стратегии глубокой защиты, а не полагаться на любую оборонную реализацию.
Рекомендуемый как критически важный
Рекомендуемый как высокий
Предлагаемый как средний
Предлагаемое как низкое
Предлагаемое как информационное
Вероятность имеет два основных компонента, доступность модели и доступность методов. Чтобы снизить вероятность атаки, организация должна реализовать элементы управления, которые:
Элементы управления могут включать выделение конечных точек, сегментацию сети или ограничение скорости. Особое внимание следует обратить на потоки трафика и схемы сети или конвейера, например, злоумышленник компрометирует и внешнюю конечную точку и работает обратно через конвейер.
Влияние связано с воздействием на организацию. Мы рекомендуем начать знакомство с различными способами, которые могут быть атакованы системами машинного обучения, и рассмотреть способы, в которых производственные модели могут повлиять на организацию. Дополнительные сведения см. в статье "Режимы сбоев" в Машинное обучение. После завершения этого ознакомления его можно сопоставить с матрицей серьезности.
В следующей таблице приведена базовая матрица риска и серьезности уязвимостей для начала работы организаций. Мы предлагаем заполнить аналогичную категорию, заполнив архитекторов безопасности, инженеров машинного обучения и красных членов команды искусственного интеллекта.
Тип атаки | Вероятность | Воздействие | Эксплойтируемость |
---|---|---|---|
Извлечения | Высокая | Низкий | Высокий |
Уклонение | Высокий | Средний | Высокая |
Вывод | Средняя | Средняя | Средняя |
Инверсии | Средняя | Высокий | Средний |
Отравления | Низкий | Высокий | Низкая |
"Проектирование и разработка безопасного ИИ является краеугольным камнем разработки продуктов ИИ в BCG. Поскольку социальные потребности в защите наших систем ИИ становятся все более очевидными, активы, такие как Платформа управления рисками безопасности ИИ Майкрософт, может быть основным вкладом. Мы уже реализуем рекомендации, найденные в этой платформе в системах ИИ, которые мы разрабатываем для наших клиентов, и рады, что корпорация Майкрософт разработала и открытый код эту платформу для выгоды всей отрасли». — Джек Моллой, старший инженер по безопасности, Бостон консалтинговая группа
Остальная часть документа соответствует этой структуре:
В следующей таблице приведен элемент управления, полученный из оценки риска систем искусственного интеллекта, добавляются заметки для описания каждой части структуры категорий рисков.
Пример элемента управления
Как прочитать его
1. Сбор данных
Основная категория
Элементы управления и политики, связанные с сбором и хранением данных из всех источников, используемых для машинного обучения и искусственного интеллекта.
Описывает элементы управления в этой категории на высоком уровне.
2. Источники данных
Категория элементов управления
Цель. Обеспечение целостности собранных данных, используемых для обученных моделей.
Следует описать риск, который снижается с помощью элементов управления.
Заявление об угрозах: данные собираются из ненадежных источников, которые могут содержать конфиденциальные персональные данные, другие нежелательные данные, которые могут повлиять на безопасность модели или представляют риски соответствия организации.
Инструкция, описывающая результат не реализации элемента управления.
Элемент управления: данные должны собираться из надежных источников. Список доверенных источников должен храниться и обновляться. Утверждения для сбора ненадежных данных следует рассматривать на основе регистра.
Конкретная версия, описывающая рекомендации для элемента управления.
Руководство.
Руководство — это рекомендации по удовлетворению указанных выше критериев. Мы предоставляем им доступ к продукту и поставщику, чтобы предоставить организациям возможность решить эту проблему таким образом, чтобы они были в порядке, который имеет смысл для них.
Цель этой оценки — помочь организациям сформулировать, отслеживать и устранять риски для бизнес-операций, введенных системами ИИ. Эта оценка должна использоваться для:
Если у организации нет программы безопасности, эта оценка не является местом для начала. Перед реализацией рекомендаций в этой оценке организация должна иметь существующую программу информационной безопасности. Дополнительные сведения см. в статье о безопасности Azure в Cloud Adoption Framework.
Элементы управления и политики, связанные с сбором и хранением данных из всех источников, используемых для машинного обучения и искусственного интеллекта.
Цель. Обеспечение целостности данных, собранных в системах ИИ.
Элемент управления: данные должны собираться из надежных источников. Список доверенных источников должен храниться и обновляться. Утверждения управления для сбора ненадежных данных должны рассматриваться на основе регистра. Если ненадежный источник утвержден, его следует задокументировать.
Заявление об угрозах: данные собираются из ненадежных источников, которые могут содержать конфиденциальные персональные данные, другие нежелательные данные, которые могут повлиять на производительность модели или представляют риски соответствия организации.
Руководство.
Элемент управления. Чтобы обеспечить правильную защиту, отслеживание и классификацию сохраненных данных для систем ИИ в соответствии с его конфиденциальности и вариантом использования. Этот элемент управления включает соответствующие метки классификации данных, политики доступа, сведения о лицензии, описательную статистику, источник и дату сбора.
Оператор угрозы: данные, используемые в системах ИИ, используются, хранятся или получают недопустимый доступ из-за отсутствия обязательных атрибутов, метаданных или документации.
Руководство.
Элемент управления: данные должны храниться соответствующим образом в соответствии с документированной процедурой классификации. Наборы данных должны индексироваться и считаться ресурсом, подлежащим управлению активами и политикам управления доступом.
Оператор угрозы: данные хранятся небезопасно и могут быть изменены или изменены несанкционированными сторонами или системами. Данные не правильно классифицируются, что приводит к раскрытию конфиденциальной информации или конфиденциальных персональных данных.
Руководство
Элемент управления. Перед использованием наборы данных должны быть соответствующим образом отслеживаются и проверяются с помощью криптографического хэша.
Оператор угрозы: наборы данных изменяются без авторизации.
Руководство.
Элемент управления. Наборы данных должны быть доверенными и оставаться доверенными на протяжении всего жизненного цикла системы ИИ.
Оператор угрозы: наборы данных изменяются во время жизненного цикла ИИ без возможности аудита или отслеживания изменений.
Руководство.
Элементы управления и политики, связанные с обработкой данных, используемых для машинного обучения и искусственного интеллекта.
Цель. Обеспечение безопасной обработки данных из необработанной формы в промежуточную форму, готовую к обучению.
Контроль. Обработка конвейеров должна быть достаточно безопасной.
Оператор угрозы: субъект угроз может вносить несанкционированные изменения в систему, изменяя конвейеры обработки данных.
Руководство.
Контроль. Чтобы обеспечить подмножества (например, темпоральные, категориальные срезы) данных, включенных в сборку моделей и как это может привести к рискам безопасности (утечка конфиденциальности, отравление и целостность через чрезмерный срез обратной связи и т. д.).
Оператор угрозы: субъект угроз может восстановить части данных, реконструируя или восстанавливая подмножества данных.
Руководство.
Элементы управления и политики, связанные с обучением моделей и алгоритмов.
Контроль. Код обучения модели проверяется ответственной стороной.
Заявление об угрозах: неправильный код или уязвимости в коде модели создает риски доступности, целостности или конфиденциальности.
Руководство.
Элемент управления: критерий выбора модели (метрики и наборы удержаний) имитирует естественное смещение и любые состязательные условия, которые могут ожидаться во время развертывания.
Оператор угрозы: модель, обученная в идеальных условиях, скорее всего, будет хрупкой при развертывании в состязательном режиме.
Руководство
Выбор модели состоит из выбора одной модели из набора кандидатов, где каждый кандидат имеет уникальный набор параметров модели, алгоритм обучения и обучение гиперпараметров. Критерий выбора для выигрышной модели часто основан на одной квантификируемой метрике (например, минимальной потере, максимальной скорости обнаружения), измеряемой на общем наборе данных удержания или в среднем по набору проверки K-fold.
Элемент управления: алгоритм проектирования модели и обучения включает явную или неявную нормализацию модели.
Оператор угроз. Модели переопределяются в обучающий набор данных и (или) один набор данных проверки и более уязвимы к режимам сбоя.
Руководство.
Управление. Модели постоянно переобучены в качестве новых потоков обучающих данных в конвейеры обучения.
Заявление об угрозах: возникает инцидент, но модель, связанная с ней, не может находиться для расследования.
Руководство.
Элементы управления и политики, связанные с развертыванием моделей, алгоритмов и вспомогательной инфраструктуры.
Управление: модели, помещенные в рабочую среду, достаточно защищены.
Заявление об угрозах: системы ИИ не тестируются на наличие уязвимостей до развертывания.
Руководство.
Управление: надежное управление базовой сетью является ключом для защиты системы машинного обучения и инфраструктуры.
Инструкция threat: компрометация системы машинного обучения путем доступа к незащищенной сети.
Руководство.
Элементы управления и политики, связанные с текущим мониторингом систем машинного обучения и вспомогательной инфраструктурой.
Контроль. Ведение журнала и мониторинг жизненно важны для систем машинного обучения по соображениям безопасности.
Заявление об угрозе: во время исследования журналы для систем машинного обучения не найдены.
Руководство.
Управление. Журналы безопасности должны собираться в центральном расположении.
Заявление об угрозах: во время расследования аналитики безопасности не имеют формализованной сборник схем.
Руководство.
Контроль. Убедитесь, что системы машинного обучения можно исправить и восстановить после инцидента.
Заявление об угрозах: инциденты вызывают постоянные проблемы конфиденциальности, целостности или доступности критически важных систем машинного обучения.
Руководство.
Если у вас есть вопросы, комментарии или отзывы, обратитесь atml@microsoft.com.
Скачайте PDF-файл этого документа из нашего репозитория GitHub.
События
19 нояб., 23 - 10 янв., 23
Ignite Edition — создание навыков в продуктах безопасности Майкрософт и получение цифрового значка к 10 января!
Зарегистрироваться