Серия обучения тестированию методом красной команды: защита генеративных систем ИИ.

Серия обучения Microsoft AI Red Teaming 101 помогает специалистам защитить системы генерирующего ИИ от возникающих угроз. В этой серии описаны уязвимости, методы атак и стратегии защиты, предоставляющие полезные сведения и практические сведения. Независимо от того, являетесь ли вы экспертом по безопасности, инженером машинного обучения или бизнес-лидером, вы получите практические знания с помощью реальных примеров, модульных эпизодов и автоматизированных средств тестирования. Ознакомьтесь с темами, такими как атаки с использованием внедрения запросов, многоходовые состязательные методы и масштабируемые методы защиты для улучшения экспертизы в области безопасности ИИ.

Зачем смотреть этот учебную серию

Получите практические советы по выявлению, эксплойту и защите от критически важных уязвимостей в системах создания искусственного интеллекта. Ознакомьтесь с лучшими практиками, методами и руководствами, основанными на реальных уроках от Команды Красной группы по искусственному интеллекту Майкрософт.

Кто должен просматривать этот учебный курс

Серия обучения полезна для команд безопасности, инженеров машинного обучения, практиков ИИ и бизнес-лидеров, работающих с ИИ. Он в первую очередь фокусируется на:

  • Специалисты по безопасности: узнайте о векторах атак, относящихся к ИИ, и стратегиях защиты.
  • Практики машинного обучения и инженеры ИИ: добавьте тестирование безопасности в рабочие процессы разработки ИИ.
  • Архитекторы корпоративной и безопасности: создание безопасных систем ИИ и изучение новых угроз.

Подсказка

Видео ИИ Red Teaming 101 модульные, поэтому вы можете перейти к интересующему вас разделу или начать с начала и посмотреть их все. Скачайте слайды и следуйте инструкциям по вашему собственному темпу.

Что входит в серию обучения

В серии обучения приводятся рекомендации по пониманию уязвимостей, создаваемых ИИ, выполнению методов атаки и реализации оборонительных мер. Семинар включает практические демонстрации, реальные примеры и средства автоматического тестирования на основе практик обеспечения безопасности ИИ компании Майкрософт.

Подсказка

Все эпизоды включают практические демонстрации и доступ к лабораториям красной команды Microsoft для получения практического опыта.

Введение и основы

Эпизод 1. Что такое красная команда ИИ? — Введение в основы красной команды искусственного интеллекта, основные риски в генерируемом ИИ и миссия красной команды Майкрософт

Эпизод 2. Как работают модели создания моделей ИИ — понимание архитектуры модели, этапов обучения и почему эти модели создают уникальные риски безопасности.

Часть A . Основные методы атаки

Эпизод 3. Объяснение прямого внедрения запросов - Как злоумышленники управляют поведением модели путем внедрения вредоносных инструкций, включая примеры из реальной практики, такие как атака чат-бота $1 SUV

Эпизод 4: объяснение непрямой инъекции запросов - скрытые атаки, где вредоносные команды содержатся во внешних источниках данных, таких как электронная почта, веб-сайты или базы данных

Эпизод 5: Single-Turn атаки - Расширенные методы инженерии запросов, включая взлом характера, эмоциональные манипуляции и обход фильтров с использованием уловок кодирования

Эпизод 6: Многоэтапные атаки - методы, такие как Скелетон Ки и Крещендо, которые постепенно ведут модели к обходу защиты безопасности.

Часть B. Защита и устранение рисков

Эпизод 7. Защита от атак — стратегии устранения рисков и методы защиты, включая методы защиты майкрософт (разделители, маркировка данных и кодировка)

Часть C. Автоматизация и масштабирование

Эпизод 8. Автоматизация тестирования красной команды ИИ с помощью PyRIT — введение в средство с открытым исходным кодом от Microsoft для автоматизации и масштабирования проведения состязательных тестов систем генеративного ИИ, инструмента идентификации рисков на Python (PyRIT)

Эпизод 9. Автоматизация атак Single-Turn — практическая демонстрация настройки наборов данных, целевых объектов и логики оценки для отправки нескольких запросов одновременно с помощью PyRIT

Эпизод 10. Автоматизация многоходовых диалогов — расширенные методы автоматизации для многоходовых бесед, включая диалоги с антагонистическими моделями и тестирование систем создания текста и изображений

Что вы узнаете

После завершения этой серии обучения вы узнаете:

  • Основы AI red-teaming в сравнении с традиционными подходами красного тиминга
  • Основные уязвимости в генеративных системах ИИ, такие как встраивание запросов и неправильное согласование модели
  • Методы атаки, от простой манипуляции запросами до сложных многоходовых состязательных стратегий
  • Стратегии защиты, включая проверенные методы смягчения последствий, такие как методы Spotlighting от Майкрософт
  • Средства автоматизации для масштабирования усилий red teaming с помощью PyRIT и других средств с открытым кодом
  • Применение в реальном мире, включая практические задания в лабораториях и кейсы из работы с производственным ИИ от Microsoft.

Связанный контент

  • Last updated on