Поделиться через

Разработка ответственных приложений и функций ИИ в Windows

  • Статья

В этом документе представлен обзор рекомендуемых рекомендаций по разработке, используемых при создании приложений и функций в Windows с генерируемым искусственным интеллектом.

Рекомендации по ответственной разработке созданных приложений и функций ИИ в Windows

Каждая команда корпорации Майкрософт следует основным принципам и методикам ответственного создания и отправки ИИ, включая Windows. Дополнительные сведения о подходе Корпорации Майкрософт к ответственной разработке см. в первом ежегодном отчете о прозрачности ИИ. Windows следует базовым основам разработки RAI — управление, сопоставление, измерение и управление ими , которые выровнены с Национальным институтом стандартов и технологий (NIST) AI Risk Management Framework.

Управление — политики, практики и процессы

Стандарты являются основой процессов управления и соответствия требованиям. Корпорация Майкрософт разработала свой собственный стандарт ответственного ИИ, включая шесть принципов , которые можно использовать в качестве отправной точки для разработки рекомендаций по ответственному ИИ. Мы рекомендуем создать принципы ИИ в конце жизненного цикла разработки, а также в процессы и рабочие процессы для соответствия законам и нормативным требованиям в области конфиденциальности, безопасности и ответственного ИИ. Это касается ранней оценки каждой функции ИИ, используя такие инструменты, как контрольный список и рекомендации по взаимодействию с искусственным интеллектом — Microsoft Research, для мониторинга и проверки эталонов ИИ, тестирования и процессов с помощью таких инструментов, как системы показателей ответственного ИИ, для общедоступной документации в возможности и ограничения функций ИИ, а также раскрытия и контроля пользователей и элементов управления. Обратите внимание, согласие, сбор и обработка информации и т. д. в соответствии с применимыми законами о конфиденциальности, нормативными требованиями и политиками.

Карта — определение риска

Ниже приведены рекомендации по выявлению рисков.

Сквозное тестирование

  • Red-teaming: Термин red teaming исторически описал систематические состязательные атаки для тестирования уязвимостей безопасности. С ростом крупных языковых моделей (LLM) термин расширился за рамки традиционной кибербезопасности и развивался в общем использовании, чтобы описать множество видов проверки, тестирования и атаки систем искусственного интеллекта. При использовании LLM доброкачественное и состязательное использование может создавать потенциально вредные выходные данные, которые могут принимать множество форм, включая вредное содержимое, например речь ненависти, подстрекательство или славение насилия, или сексуального содержимого.

  • Оценка модели. Помимо сквозного тестирования, важно также оценить саму модель.

    • Карточка модели. Для общедоступных моделей, таких как huggingFace, вы можете проверить карточку модели каждой модели в качестве удобной ссылки, чтобы понять, подходит ли модель для вашего варианта использования. Дополнительные сведения о карточках моделей.

    • Ручное тестирование: люди, выполняющие пошаговые тесты без сценариев, являются важным компонентом оценки модели, которая поддерживает...

      • Измерение хода выполнения по небольшому набору приоритетных вопросов. При устранении конкретных последствий наиболее продуктивно проверять ход выполнения вручную с небольшим набором данных до тех пор, пока вред больше не будет наблюдаться перед переходом к автоматическому измерению.

      • Определение и создание отчетов метрик до тех пор, пока автоматическое измерение не будет достаточно надежным для использования только.

      • Периодически проверяйте качество автоматического измерения.

    • Автоматическое тестирование: автоматическое тестирование также является важным компонентом оценки модели, которая поддерживает...

      • Измерение в большом масштабе с увеличением охвата, чтобы обеспечить более полные результаты.

      • Текущее измерение для отслеживания любой регрессии по мере развития системы, использования и устранения рисков.

    • Выбор модели. Выберите модель, которая подходит для вашей цели и обучите себя понимать ее возможности, ограничения и потенциальные проблемы безопасности. При тестировании модели убедитесь, что она создает результаты, соответствующие вашему использованию. Чтобы приступить к работе, источники моделей Майкрософт (и не microsoft/открытый код) включают:

Мера. Оценка рисков и устранение рисков

Рекомендуемые методики:

  • Назначьте Content Moderator: Content Moderator проверяет текст, изображение и видеоматериалы для материалов, которые потенциально оскорбительны, рискованные или нежелательные в содержимом. Дополнительные сведения: введение в Content Moderator (Обучение Microsoft Learn).

    • Используйте фильтры безопасности содержимого: этот ансамбль моделей классификации с несколькими классами обнаруживает четыре категории вредного содержимого (насилие, ненависть, сексуальность и самоповредение) на четырех уровнях серьезности соответственно (безопасный, низкий, средний и высокий). Дополнительные сведения. Настройка фильтров содержимого с помощью Службы Azure OpenAI.

    • Применение мета-запроса: мета-запрос — это системное сообщение, включенное в начало запроса и используется для создания модели с контекстом, инструкциями или другими сведениями, соответствующими вашему варианту использования. Эти инструкции используются для руководства по поведению модели. Дополнительные сведения: создание эффективных охранников с помощью метапроигрывательного или системного проектирования сообщений.

    • Использование блок-списков. Это блокирует использование определенных терминов или шаблонов в запросе. Дополнительные сведения. Использование списка блокировок в Azure OpenAI.

    • Знакомство с происхождением модели: Прованс является историей владения моделью, или кто-где- когда, и очень важно понимать. Кто собрал данные в модели? Кто относится к данным? Какой тип данных используется? Где были собраны данные? Когда были собраны данные? Зная, откуда пришли данные модели, вы можете оценить его качество, надежность и избежать любого неэтичного, несправедливого, предвзятого или неточного использования данных.

    • Используйте стандартный конвейер: используйте один конвейер con режим палатки ration, а не вытягивание фрагментов частей. Дополнительные сведения: общие сведения о конвейерах машинного обучения.

  • Применение рисков пользовательского интерфейса. Это обеспечивает важную ясность для пользователя о возможностях и ограничениях функции на основе искусственного интеллекта. Чтобы помочь пользователям и обеспечить прозрачность вашей функции, вы можете:

    • Поощряйте пользователей изменять выходные данные перед принятием их

    • Выделение потенциальных неточностей в выходных данных искусственного интеллекта

    • Раскрытие роли ИИ в взаимодействии

    • Ссылки и источники на Cite

    • Ограничение длины входных и выходных данных при необходимости

    • Предоставление структуры входных или выходных данных— запросы должны соответствовать стандартному формату

    • Подготовьте предварительно определенные ответы для спорных запросов.

Управление — устранение рисков ИИ

Рекомендации по устранению рисков искусственного интеллекта:

  • Мониторинг злоупотреблений: эта методология обнаруживает и устраняет экземпляры повторяющегося содержимого и (или) поведения, которые предполагают, что служба была использована таким образом, что может нарушать Кодекс поведения или другие применимые условия продукта. Дополнительные сведения: мониторинг злоупотреблений.

  • Поэтапное доставку: медленно развертывайте решение ИИ для обработки входящих отчетов и проблем.

  • План реагирования на инциденты: для каждого риска с высоким приоритетом оцените, что произойдет и сколько времени потребуется для реагирования на инцидент, и как будет выглядеть процесс реагирования.

  • Возможность отключить функцию или систему: предоставьте функциональные возможности, чтобы отключить функцию, если инцидент находится или произошел, что требует приостановки функциональных возможностей, чтобы избежать дальнейшего ущерба.

  • Управление доступом пользователей или блокировка: разработка способа блокировки пользователей, которые неправильно используют систему.

  • Механизм обратной связи пользователей: потоки для обнаружения проблем на стороне пользователя.

  • Ответственное развертывание данных телеметрии: определение, сбор и мониторинг сигналов, указывающих на удовлетворенность пользователей или их способность использовать систему в соответствии с соответствующими законами о конфиденциальности, политиками и обязательствами. Используйте данные телеметрии для выявления пробелов и улучшения системы.

Инструменты и ресурсы