Создание надежной системы безопасности для искусственного интеллекта

Ваше положение в области безопасности ИИ является важной частью вашей общей стратегии безопасности. ИИ имеет приоритет для конкретных элементов стратегии кибербезопасности, таких как защита данных. Эта статья поможет вам разработать стратегию и приоритеты для защиты искусственного интеллекта. Последующие статьи в этой коллекции помогут вам определить, каким элементам кибербезопасности следует отдавать приоритет при внедрении компаньонов ИИ, инструментов и новых приложений.

Ваша безопасность определяется как общая возможность защиты кибербезопасности вашей организации, а также уровень подготовки и оперативного состояния для решения текущих угроз кибербезопасности. Эта позиция должна быть количественно определяемой и измеримой, подобно любой другой основной метрике, относящейся к оперативному состоянию или благополучию вашей организации.

Создание надежной системы безопасности для ИИ включает в себя работу в организации, особенно лидеров в организации, для разработки стратегии и набора приоритетов и целей. Затем вы определите техническую работу, необходимую для достижения целей, и возглавите различные команды для их достижения. Статьи в этой библиотеке предоставляют методологию с рекомендациями, характерными для ИИ:

Подготовьте среду с помощью базовых средств защиты безопасности. Скорее всего, у вас уже есть много этих средств защиты.
Узнайте о приложениях ИИ, используемых в вашей организации, включая типы данных, которые используются приложениями.
Защита использования средств ИИ в вашей организации. Это включает возможности защиты данных, относящиеся к искусственному интеллекту, и обеспечение того, чтобы ваша организация реализовала надежную защиту от угроз.
Управлять ИИ для соответствия требованиям.

Схема, показывающая процесс реализации безопасности для искусственного интеллекта.

Используйте эту библиотеку вместе со следующими платформами в Microsoft Learn:

На изображении:

Используйте эту библиотеку (безопасность библиотеки ИИ), чтобы узнать, как реализовать возможности для защиты приложений ИИ и данных в вашей среде. Эти защиты помогают создать основу Нулевого доверия.
Используйте платформу внедрения нулевого доверия , чтобы продолжить достижение прогресса в направлении комплексной безопасности. Каждый из бизнес-сценариев нулевого доверия также повышает безопасность приложений и данных ИИ.
Используйте Cloud Adoption Framework для искусственного интеллекта для разработки комплексной стратегии внедрения ИИ, включая генеривные и негенерированные ИИ. Эта библиотека включает стратегии выбора технологий ИИ, процессов защиты и управления ИИ, а также ресурсов для проектирования и реализации ИИ.

Понимание мотиваций ваших бизнес-лидеров

Надежная система безопасности искусственного интеллекта позволяет инновациям— это позволяет организациям создавать и развертывать ИИ с уверенностью и гибкостью. Цель заключается в том, чтобы предоставить организации возможность уверенно создавать, развертывать и масштабировать системы искусственного интеллекта при защите от рисков, которые могут подрывать доверие, соответствие или стабильность работы. Внедрив безопасность в основу инициатив ИИ, организации могут разблокировать полный потенциал искусственного интеллекта ответственно, гарантируя, что он остается стратегическим активом, а не источником непреднамеренного вреда.

Начните разрабатывать стратегию и приоритеты, получив соответствие с вашими бизнес-лидерами. Что мотивирует ваших лидеров и почему они заботятся о вашем подходе к безопасности ИИ? В следующей таблице приведены примеры перспектив, но важно встретиться с каждым из этих лидеров и команд и прийти к общему пониманию мотивов друг друга.

Должность	Почему важно создать сильную защиту для искусственного интеллекта
Главный исполнительный директор (генеральный директор)	Системы ИИ все чаще формируют стратегические решения и взаимодействие с клиентами. Нарушение или манипуляция искусственным интеллектом может привести к плохим решениям, усиленной проверке со стороны регулирующих органов, ущербу репутации и потере доверия. Надежная безопасность искусственного интеллекта имеет решающее значение для организации для защиты репутации компании, обеспечения соответствия юридическим требованиям и обеспечения успешного преобразования ИИ.
Главный директор по маркетингу (CMO)	Средства искусственного интеллекта управляют аналитикой клиентов, целевыми объектами и персонализацией. В случае скомпрометации эти средства могут привести к утечкам данных, предвзятым выходным данным или повреждению бренда из-за неуместного содержимого или целевого объекта. Защита искусственного интеллекта гарантирует доверие во взаимодействии с клиентами, сохранение целостности бренда, предотвращение PR-катастроф и демонстрацию приверженности компании защите конфиденциальности клиентов.
Главный информационный директор (CIO)	Безопасная среда искусственного интеллекта важна для обеспечения надежности системы, предотвращения несанкционированного доступа и обеспечения надежности эксплуатации. Это позволяет ИТ-службам уверенно интегрировать технологии ИИ, которые повышают эффективность бизнеса, не предоставляя предприятиям необязательный риск.
Главный директор по информационной безопасности (CISO)	ИИ вводит новые зоны атак и новые риски, а также усиливает существующие риски. Новые области атак включают запросы, ответы, модели, данные RAG, протокол контекста модели (MCP), обучающие данные и отравление данных, атаки типа 'jailbreak', безопасность данных и многое другое. CISO должен вести усилия по моделированию угроз и защите конвейеров ИИ для поддержания состояния безопасности предприятия. Надежная безопасность ИИ — это расширение общей стратегии кибербезопасности для защиты активов организации, соблюдения платформ безопасности и поддержания доверия клиентов и заинтересованных лиц в эпоху интеллектуальной системы.
Главный технический директор (CTO)	Сильная позиция безопасности ИИ крайне важна для технических директоров, чтобы защитить технологические ресурсы организации и обеспечить надежную работу систем ИИ в соответствии с ожиданиями. Внедрив безопасность в жизненный цикл разработки ИИ, CTO помогает предотвратить нарушения конфиденциальных алгоритмов и поддерживать высокое качество и доверие к продуктам, управляемым ИИ. Это позволяет инновациям продолжать работу без неоправданного риска.
Главный операционный директор (COO)	ИИ автоматизирует критически важные процессы в цепочке поставок, логистике и операциях. Атаки на системы искусственного интеллекта могут нарушить службы, увеличить операционный риск и вызвать дорогостоящие задержки. Надежная система безопасности искусственного интеллекта обеспечивает непрерывность бизнес-процессов и эффективность.
Главный финансовый директор (CFO)	ЦС рассматривают надежную систему безопасности искусственного интеллекта как важную для защиты организации. Это помогает избежать непредвиденных финансовых потерь и обеспечивает соответствие законам и обязательствам по отчетности.

Решение изменяющегося ландшафта угроз для искусственного интеллекта

GenAI представляет новые поверхности атаки, эффективно изменяя ландшафт риска. Помимо управления традиционными векторами угроз, лидерам безопасности и управления рисками также необходимо решить проблемы с увеличением рисков, таких как утечка данных и избыточная передача данных, а также новые риски, такие как внедрение команд, уязвимости модели и неверные сведения. Решение развивающегося ландшафта угроз имеет решающее значение для обеспечения надежного ИИ.

На рисунке:

Поверхности атак GenAI представляют новые и усиленные риски.
Векторы угроз, которые остаются неизменными, включают ваши приложения, идентификации, конечные точки, сети, данные и облачные ресурсы.
GenAI представляет новые области атак, включая запросы, ответы, оркестрацию ИИ, обучающие данные, данные RAG (данные, полученные с использованием подхода Retrieval-Augmented Generation, то есть данные, результаты взаимодействия ваших данных или других внешних данных с языковыми моделями), модели ИИ и плагины ИИ.
GenAI представляет новые усиленные риски, включая утечку данных, взлом (компрометацию устройств, которые в противном случае защищены), непрямое внедрение запросов и уязвимости модели.

В настоящее время наиболее распространенные инциденты безопасности в ИИ включают:

Чрезмерное раскрытие данных и утечка данных — пользователи могут привести к утечке конфиденциальных данных в теневые приложения ИИ (приложения, не утвержденные вашей ИТ-командой). Пользователи также могут получить доступ к конфиденциальным данным с помощью приложений ИИ.
Уязвимости и возникающие угрозы. Плохие субъекты могут использовать уязвимости в приложениях искусственного интеллекта для доступа к ценным ресурсам.
Несоответствие — нормативные акты, в том числе новые правила искусственного интеллекта, могут повысить неопределенность. Несоответствующее внедрение ИИ может повысить ответственность.

В следующих двух примерах сценариев подчеркивается необходимость создания надежной системы безопасности для ИИ.

Как происходит чрезмерное раскрытие и утечка данных?

В этом примере сотрудник Contoso, Адель, находит и использует конфиденциальные данные с несколькими приложениями ИИ.

Этап	Описание	Неуправляемые риски
1	Адель переслушивает члена команды, ссылающегося на Project Obsidian. Она использует Microsoft 365 Copilot для поиска дополнительных сведений об этом. Copilot предоставляет ей сводку и ссылку на документы.	Copilot может обрабатывать конфиденциальные данные без ограничений. Конфиденциальные данные чрезмерно доступны для сотрудников, включая тех, кто не должен иметь доступа.
2	Адель продолжает использовать Copilot для поиска и сбора дополнительных сведений о Project Obsidian.	Нет элементов управления для обнаружения аномалий в приложениях искусственного интеллекта.
3	Из любопытства Адель хочет увидеть, что ChatGPT сможет суммировать, и она вставляет содержимое файла в ChatGPT.	Не существует защиты от потери данных (DLP), чтобы предотвратить утечку данных для приложений пользовательского искусственного интеллекта.
4	Сведения о проекте были преждевременно выявлены, что привело к нарушениям данных. Таким образом, Компания Contoso запретила все приложения ИИ на рабочем месте.	Запрет на использование пользовательского ИИ может привести к увеличению темного использования.

Компания Contoso могла бы снизить эти риски, выполнив работу по подготовке, обнаружению и защите использования приложений ИИ.

Этап	Описание
Подготовьте	Используйте Entra и SharePoint Advanced Management, чтобы оптимально настроить доступ сотрудников к ресурсам. Используйте Purview Information Protection для классификации и маркировки конфиденциальных данных.
Открыть	Используйте Purview DSPM для AI для обнаружения рисков данных. Используйте отчет об оценке рисков чрезмерного раскрытия информации для оценки рисков излишнего деления информацией.
Защищать	Осуществите применение технологии DLP Purview для Microsoft 365 Copilot, чтобы предотвратить обобщение Copilot конфиденциальных данных. Используйте Purview Insider Risk Management для обнаружения и исследования аномальных действий. Используйте адаптивную защиту для динамического ограничения доступа для пользователей с высоким уровнем риска. Используйте Defender для облачных приложений для блокировки приложений с высоким уровнем риска. Используйте условный доступ Entra , чтобы требовать от Adele принять условия использования перед предоставлением доступа к ChatGPT. Используйте защиту от потери данных конечной точки Purview, чтобы заблокировать вставку конфиденциальных данных в потребительские приложения ИИ.

Как ИИ может привести к риску соответствия требованиям?

В следующем примере Джейн назначается руководить управлением ИИ для компании Contoso.

Этап	Описание	Неуправляемые риски
1	Джейн стремится интерпретировать нормативные требования в применимые меры контроля, которые ИТ-команды могут внедрить.	Отсутствие экспертов, которые хорошо разбираются как в нормативных требованиях, так и в технологии.
2	Джейн начинает подготовку к оценке рисков, но не знает о системах искусственного интеллекта, созданных и используемых в Contoso. Она также не имеет представления об использовании и потенциальных рисках несоответствия требованиям.	Отсутствие видимости систем ИИ, развернутых в среде. Нет управления использованием ИИ.
3	После нескольких внутренних интервью Джейн понимает, что разработчики создают около 14 приложений ИИ одновременно с различными стандартами безопасности, безопасности и конфиденциальности, реализованными.	Нет видимости элементов управления, встроенных в системы искусственного интеллекта разработчиками.
4	Некоторые приложения искусственного интеллекта используют персональные данные без стандартных ограничений, чтобы оценить риски.	Оценка рисков отсутствует.
5	Клиенты жалуются на создание вредного и незапланированного содержимого с помощью ИИ Компании Contoso.	Отсутствие элементов управления для выходных данных ИИ.

Правила искусственного интеллекта приводят к неопределенности и подавляющему риску ответственности руководителям, ответственным за управление ИИ. Без каких-либо изменений Contoso рискует нарушением нормативных требований в области ИИ и может потенциально столкнуться с штрафами и ущербом для репутации.

Этап	Описание
Подготовьте	Используйте Purview Compliance Manager, чтобы получить рекомендации по внедрению мер контроля, которые помогут удовлетворить требования соответствия.
Открыть	Используйте Defender для облака для обнаружения ресурсов ИИ, развернутых в облачных средах. Используйте Defender для облачных приложений для обнаружения используемых приложений SaaS AI.
Управление	Управляйте использованием ИИ с помощью аудита Microsoft Purview, управления жизненным циклом данных, соблюдения коммуникации и электронного обнаружения. Используйте отчеты ИИ в Microsoft Foundry для разработчиков, чтобы документировать сведения о проекте ИИ. Используйте оценки конфиденциальности Priva для упреждающего анализа рисков конфиденциальности для каждого проекта ИИ. Используйте Azure AI Content Safety для устранения рисков вредного или необоснованного содержимого.

С упреждающим использованием возможностей управления организации могут оценивать и устранять риски при внедрении ИИ.

Пять шагов по реализации эффективной безопасности для искусственного интеллекта

По мере повышения осведомленности о рисках, связанных с быстрой реализацией GenAI, многие организации реагируют заранее путем выделения существенных ресурсов для повышения их мер безопасности. Руководители по безопасности и рискам могут предпринять несколько действий, чтобы создать путь к безопасным и безопасным инновациям ИИ.

Эти рекомендуемые методики сосредоточены на содействии совместной среде и реализации эффективных мер безопасности, которые будут поддерживать прогресс GenAI при защите интересов организации.

Шаг 1. Создание команды безопасности для искусственного интеллекта

Большинство компаний признают необходимость формирования выделенных кроссфункциональных команд для управления уникальными вызовами безопасности, создаваемыми ИИ. Выделенные группы безопасности гарантируют, что системы искусственного интеллекта тщательно тестируются, уязвимости быстро выявляются и устраняются, а протоколы безопасности постоянно обновляются, чтобы поддерживать темпы развития угроз.

В настоящее время 85 процентов респондентов опроса имеют (45%) или планируют иметь (35%) выделенную команду для решения безопасности ИИ. Более 6 из 10 сказали, что их команды будут подчиняться лицу, ответственному за принятие решений в области безопасности, что обеспечивает не только бдительный надзор, но и стратегическое видение и руководство в решении рисков, связанных с ИИ.

В частности, средний размер группы или предполагаемый размер команды, из этих выделенных групп безопасности составил 24 сотрудника, что указывает на существенные ресурсы, которые компании привержены защите своих инициатив искусственного интеллекта. Когда учитывался размер компании, размеры команд различались.

Ниже приведены несколько рекомендаций, которые организации могут использовать для успешного создания эффективной кроссфункциональную группу безопасности для искусственного интеллекта.

Создание комитета по искусственному интеллекту для содействия совместной работе между отделами

Безопасность для ИИ — это коллективные усилия, которые выходят за рамки ИТ-отдела. Поощряйте совместную работу между группами, такими как безопасность, ИТ-отдел, юридический, соответствие и управление рисками, чтобы создать комплексные стратегии безопасности. Наличие различных перспектив и опыта повышает эффективность протоколов безопасности.

Нанимайте людей с разнообразными навыками

Для формирования успешной команды безопасности для искусственного интеллекта требуется баланс навыков. Найдите участников группы с опытом в области обработки и анализа данных, кибербезопасности, программного проектирования и машинного обучения. Это разнообразие гарантирует, что рассматриваются различные аспекты безопасности, от технической разработки до предотвращения угроз.

Создание четких ролей и обязанностей

Для эффективной производительности четко определите роль каждого члена команды. Убедитесь, что каждый понимает свои конкретные обязанности, что способствует подотчетности и избегает перекрытия усилий.

Инвестиции в непрерывную подготовку и разработку

Быстрая эволюция технологий ИИ требует постоянного образования для групп безопасности. Предоставление доступа к учебным программам и семинарам, которые сосредоточены на практике, возникающих угрозах и этических соображениях, связанных с безопасностью искусственного интеллекта. Эти инвестиции не только расширяют возможности членов команды, но и гарантируют, что организация опережает потенциальные уязвимости.

Шаг 2. Оптимизация ресурсов для защиты GenAI

Внедрение приложений ИИ в организациях не только является революцией операций, но и требует значительных изменений в выделении ресурсов и бюджета, особенно в области ИТ-безопасности.

Значительное большинство лидеров безопасности и рисков (78%) считают, что их бюджет ИТ-безопасности увеличится, чтобы удовлетворить уникальные проблемы и возможности, вызванные ИИ. Эта корректировка имеет решающее значение по нескольким причинам. Системы искусственного интеллекта требуют надежной инфраструктуры безопасности для безопасной работы. Это может включать обновление существующих систем безопасности, внедрение более строгих средств управления доступом и повышение безопасности и управления данными. Другие ресурсы также могут потребоваться для удовлетворения новых новых нормативных требований искусственного интеллекта.

Ранее в этой статье корпорация Майкрософт рекомендует выполнять работу, чтобы понять мотивации руководителей бизнеса и различных бизнес-подразделений в вашей организации. Определение основных проблем и общих бизнес-целей является важным шагом к переговорам о ресурсах для достижения целей.

Выделение средств для оценки соответствия требованиям, юридических консультаций и аудита становится важным для согласования стратегии ИИ организации с отраслевой платформой и обеспечения более безопасного, безопасного и соответствующего требованиям ИИ и систем. Приоритеты средств для постоянного обучения сотрудников и разработки навыков, которые могут включать специализированную подготовку по средствам безопасности для ИИ, стратегий управления рисками и этических соображений в использовании ИИ также важно учитывать при выделении бюджета и ресурсов.

Шаг 3. Подход к нулю доверия

При подготовке к внедрению ИИ стратегия нулевого доверия предоставляет руководителям по безопасности и рискам набор принципов, которые помогают решить некоторые из их главных проблем, включая чрезмерное раскрытие или агрессивное распространение данных и теневой ИТ. Подход "Нулевое доверие" переходит от сетевого фокуса к ресурсу и ориентированному на данные фокусу и обрабатывает каждый запрос доступа как потенциальную угрозу независимо от его происхождения.

Нулевое доверие постоянно проверяет удостоверения каждого пользователя и устройства, гарантируя, что только те, у которых есть четкие разрешения, могут получить конфиденциальную информацию. Динамически изменяя меры безопасности на основе оценки в режиме реального времени, нулевое доверие сводит к минимуму риск утечки данных и защищает организацию от внутренних и внешних угроз. Непрерывная проверка, минимальный доступ к привилегиям и динамическое управление рисками являются краеугольными камнями этого подхода, обеспечивая надежную и адаптируемую платформу безопасности, которая поддерживает успешность комплексной безопасности организации.

Принимая нулевое доверие, организации могут защитить свои развертывания ИИ и знать, что их безопасность постоянно проверяется и защищается. Zero Trust позволяет организациям уверенно принимать ИИ, гарантируя, что мощные возможности ИИ используются безопасно и эффективно.

Все рекомендации по безопасности для ИИ, предоставляемые корпорацией Майкрософт, привязаны к принципам нулевого доверия. Следуя рекомендациям по безопасности для GenAI, вы создаете сильную основу нулевого доверия.

Шаг 4. Инвестиции в общую ответственность с партнерами, которыми вы доверяете

Ресурс, который часто используется для информирования стратегии и приоритетов является моделью общей ответственности. Ваша ответственность за защиту использования ИИ в вашей организации зависит от типа используемых приложений. Партнеры, в которых вы инвестируете, разделяют ответственность с вами.

Модель общей ответственности помогает группам безопасности управлять организацией, чтобы выбрать:

Приложения GenAI, которые сокращают нагрузку ответственности в рамках своих организаций.
Партнеры, которые заработали свое доверие.

На этой схеме приведены общие сведения о балансе обязанностей как для вас, так и для Майкрософт. Многие организации используют модель общей ответственности для определения приоритета использования приложений SaaS в партнерстве с доверенными поставщиками и сокращения числа пользовательских приложений.

Дополнительные сведения см. в модели общей ответственности ИИ — Microsoft Azure.

Помимо инвестиций с партнерами, которые заработали доверие, многие специалисты по безопасности рекомендуют консолидировать средства безопасности и поставщиков. Корпорация Майкрософт предлагает комплексное решение по обеспечению безопасности для искусственного интеллекта с инструментами, которые работают вместе, значительно сокращая объем интеграции для групп безопасности.

Шаг 5. Внедрение комплексного решения по обеспечению безопасности для искусственного интеллекта

ИИ представляет определенные риски, которые традиционные меры безопасности могут не полностью устранить. Безопасность искусственного интеллекта предназначена для устранения этих рисков.

Значительное большинство компаний планируют приобретать специализированные инструменты и платформы для защиты использования и разработки приложений ИИ. Отвечая на вопрос о том, как они планируют защитить и защитить использование и разработку приложений ИИ в своих организациях, большинство респондентов опроса (72%) заявили, что они планируют приобрести новое выделенное решение безопасности для защиты использования и разработки ИИ, в то время как 64% заявили, что они планируют использовать существующие решения безопасности для защиты ИИ.

ИТ-специалисты и руководители по безопасности считают, что основными участниками бюджета для новых решений по защите и управлению ИИ будут ИТ-отделы (63%) и отделы информационной безопасности и кибербезопасности (57%). Эти выводы показывают, что в дополнение к использованию существующих решений по обеспечению безопасности организации видят необходимость поиска новых решений, которые могут помочь устранить растущие и возникающие риски искусственного интеллекта.

На основе комплексной платформы безопасности Майкрософт корпорация Майкрософт предоставляет комплексные средства безопасности для защиты ИИ, от обнаружения средств ИИ и данных до защиты, предназначенных специально для устранения угроз ИИ. Эти средства включают сложные панели мониторинга и ресурсы соответствия требованиям, помогая вам оставаться на вершине рисков и нормативных обязательств.

На следующем рисунке представлено сводное представление всех возможностей Майкрософт для защиты организаций, внедряющих ИИ. Эти возможности также перечислены в таблице ниже.

Основные проблемы с клиентом	Возможности
Предотвращение утечки данных и чрезмерного доступа	— Элементы управления доступом и конечными точками — Microsoft Entra и Intune — Управление безопасностью данных для искусственного интеллекта — Microsoft Purview — Классификация данных, маркировка и защита — Microsoft Purview — Защита от потери данных — Microsoft Purview — Обнаружение и реагирование на аномалии и рискованные действия — Microsoft Purview — Безопасность приложений SaaS — Microsoft Defender
Защита ИИ от уязвимостей и возникающих угроз	— Безопасность и управление данными — Microsoft Purview - Оценка качества, безопасности и контроля безопасности — Foundry — управление безопасностью для ресурсов ИИ (приложения, модели, оркестраторы, пакеты SDK) — Microsoft Defender — Политика управления моделями — портал Azure — экран защиты безопасности контента — Azure AI — защита от угроз для рабочих нагрузок ИИ — Microsoft Defender
Управление ИИ для соблюдения нормативных требований	— Оценки соответствия нормативным требованиям и стандартам ИИ — Microsoft Purview — Обнаружение и каталог ИИ — Microsoft Defender — Аудит запросов и ответов, управление жизненным циклом, обнаружение электронных данных, соответствие требованиям к обмену данными — Microsoft Purview — Отчеты ИИ для разработчиков для регистрации сведений о проекте и элементах управления — Foundry — Оценка влияния конфиденциальности — Microsoft Priva — Устранение рисков для вредного содержимого, неправильной информации и защищенных материалов — безопасность содержимого ИИ Azure

Дальнейшие действия по защите искусственного интеллекта

Эта библиотека поможет вам реализовать безопасность искусственного интеллекта в поэтапном подходе.