Устойчивое проектирование искусственного интеллекта для рабочих нагрузок в Azure

Проектирование, создание и устойчивое использование рабочих нагрузок искусственного интеллектаимеет решающее значение из-за их значительного энергопотребления и углеродного следа. Применяйте устойчивые методики, которые соответствуют столпам Azure Well-Architected Framework и тщательно сбалансируют экологические соображения с бизнес-требованиями.

Тремя ключевыми этапами проектирования рабочей нагрузки ИИ являются проектирование моделей, проектирование данных и операции.

• Этап проектирования модели сосредоточен на выборе соответствующей модели для бизнес-задачи, которая должна быть решена. Этот выбор зависит от того, нужно ли решить сценарий прогнозирования, сценарий классификации или сценарий создания контента.

• Этап разработки данных посвящен выбору подходящей инфраструктуры хранения и обработки данных для поддержки обучения и операций модели. Действия по проектированию моделей и данных являются частью этапа обучения.

• Этап проектирования операций или этап вывода фокусируется на развертывании и масштабном выполнении модели.

В этой статье описывается, как включить принципы устойчивого проектирования на эти этапы.

Рекомендации по проектированию моделей

Проектирование модели — это первый этап рабочей нагрузки ИИ, в которой вы выбираете подходящую модель для решения бизнес-задачи. Модель — это предварительно обученный пакет, который помогает решить проблемы машинного обучения, такие как классификация, предсказание и прогнозирование.

На этапе проектирования модели существует несколько точек принятия решений. Рассмотрим следующие моменты с точки зрения устойчивости:

• Размер модели: Выбирайте небольшие языковые модели вместо больших, где это применимо, для уменьшения потребления энергии.

  Уменьшение размера моделей искусственного интеллекта снижает вычислительные ресурсы, необходимые для обработки. В результате общее потребление энергии уменьшается. Такой подход повышает эффективность модели и позволяет развертывать ИИ на устройствах с ограниченными ресурсами.

  Компромисс: небольшие языковые модели могут не подходить для обработки сложных задач или для поддержания контекста. Они также могут повлиять на точность. Убедитесь, что правильный компромисс учитывается на основе бизнес-потребностей. Дополнительные сведения см. в разделе "Основные различия между небольшими языковыми моделями и большими языковыми моделями".

• Возможность повторного использования модели: Используйте предварительно обученные модели для экономии циклов энергии, обеспечивая соблюдение требований к безопасности и соответствию требованиям.

  Использование предварительно обученной модели экономит циклы энергии, устраняя необходимость планирования приема данных, очистки, обучения, предварительной подготовки и точной настройки. Предварительно обученные модели можно использовать немедленно и являются более устойчивым вариантом. Проверьте происхождение и историю модели, чтобы обеспечить соответствие требованиям безопасности и этических стандартов и выполнить проверку безопасности для предварительно обученных моделей.

• Энергоэффективные платформы: Выберите платформы, такие как TensorFlow и PyTorch, для их энергоэффективности. Эти платформы используют такие методы, как квантизация и обрезка, которые помогают сократить потребление энергии. Дополнительные сведения см. в разделе "Достижения в области низкоразрядной квантизации" позволяют использовать большие языковые модели на пограничных устройствах.

• Тонкая настройка: Сначала предварительно обучать модели на общих наборах данных, прежде чем выполнять точную настройку в определенных областях, чтобы уменьшить вычислительные циклы. Для тонкой настройки требуется значительно меньше времени по сравнению с обучением модели с нуля. Такой подход приводит к снижению потребления энергии.

  Модели с тонкой настройкой требуют меньше итераций для достижения высокой точности, что делает процесс вывода более эффективным и снижает потребление энергии во время развертывания.

• Учебный регион: Обучение модели является энергоемким. Важно выбрать правильный регион. Выберите регионы с низким уровнем углерода , управляемые возобновляемыми источниками энергии для обучения модели.

  Кроме того, используйте планирование, принимающее во внимание углеродную нагрузку, чтобы переносить обучающие рабочие нагрузки на времена и в регионы с более низкой интенсивностью углерода. Интегрируйтесь с Azure для оптимизации выбросов углерода для доступа к данным интенсивности углерода в режиме реального времени.

• Стратегии кэширования: Используйте кэширование моделей и кэширование результатов для уменьшения избыточных вычислений при сохранении времени отклика.

  Кэширование моделей включает хранение загруженных или инициализированных моделей в памяти. Это хранилище позволяет последующим запросам повторно использовать уже загруженную модель. Кэширование результатов сохраняет выходные данные предыдущих вычислений или прогнозов. Когда система снова выполняет идентичные или аналогичные входные данные, она может быстро получить кэшированные результаты, а не пересчитывать их.

Рекомендации по проектированию данных

Этап проектирования данных включает идентификацию данных, классификацию, прием, хранение и вычисления. Для каждого из этих шагов процесса требуются вычислительные ресурсы, сетевые ресурсы и ресурсы хранилища. Принимая сознательные решения по требуемой инфраструктуре, вы можете повысить устойчивость обработки данных.

Рассмотрим следующие факторы на этапе разработки данных:

• Общедоступные наборы данных: Повторное использование общедоступных наборов данных и прием только соответствующих данных. Используйте существующие наборы данных для уменьшения избыточности сбора и обработки данных. Такой подход снижает потребление энергии и выбросы углерода.

  Реализуйте стратегии фильтрации данных для обработки только данных, необходимых для конкретного варианта использования. Этот подход позволяет избежать ненужных вычислительных накладных расходов. Перед масштабированием до полного набора данных рекомендуется использовать методы выборки данных для начальной разработки моделей.

  : проверьте лицензирование общедоступных наборов данных, чтобы убедиться, что у них есть правильные утверждения с открытым кодом.

• Оптимизированные методы приема: Реализуйте оптимизированные методы приема данных, такие как пакетная обработка и упрощенные конвейеры, чтобы свести к минимуму вычислительные издержки и повысить устойчивость.

  Дополнительные сведения об обработке и хранении данных см. в разделе "Устойчивое хранилище".

• Оптимизация качества данных: Обеспечение высококачественных данных для обучения, чтобы избежать потерь времени и ресурсов. Очистка данных сокращает вычислительные мощности, необходимые для подготовки и очистки данных и предварительной обработки. Такой подход приводит к снижению потребления энергии.

  Очистка данных сводит к минимуму потребности в хранении, удаляя избыточные и неуместные сведения, что сокращает энергию, необходимую для хранения данных.

• Периферийные вычисления: Рассмотрите возможность перемещения обработки, сбора данных, вычислений и хранения на периферию, при соблюдении требований безопасности и соответствия. Крайевые вычисления позволяют обрабатывать данные в режиме реального времени. Эта обработка снижает задержку и энергию, необходимую для непрерывного обмена данными между устройствами и центральными серверами.

  Устройства периферийной обработки можно оптимизировать для эффективного запуска моделей ИИ, используя меньше энергии по сравнению с традиционной облачной обработкой. Реализуйте пограничные элементы управления безопасностью и мониторинг для распределенной обработки данных.

• Оптимизация хранилища: Реализуйте подходы к оптимизации хранилища, чтобы свести к минимуму влияние на окружающую среду при выполнении бизнес-требований. Примените автоматизированное управление жизненным циклом данных с многоуровневыми хранилищами и интеллектуальной архивацией, чтобы сократить долгосрочные потребности в хранении.

  Используйте расширенные алгоритмы сжатия и методы дедупликации, чтобы свести к минимуму объем хранилища и связанное потребление энергии. Балансируйте политики хранения с требованиями к соответствию требованиям, чтобы избежать ненужных затрат на хранение данных.

• Стратегия региональных данных: Выберите регионы для хранилища данных, которые оптимизируют затраты и производительность при минимизации влияния на окружающую среду. Храните данные обучения в том же регионе, где обучение модели происходит для снижения затрат на передачу данных между регионами и задержку.

  При планировании инфраструктуры данных рассмотрите регионы, которые имеют более низкие затраты на хранение и доступность возобновляемых источников энергии. Оцените общую стоимость, включая расходы на хранение, вычисления и передачу данных при выборе регионов для хранения данных и обучения модели.

  Компромисс: сбалансируйте требования к месту расположения данных с соблюдением нормативных требований и возможностями развертывания в низкоуглеродных регионах. Некоторым организациям может потребоваться хранить данные в определенных регионах из-за нормативных требований.

• Аварийное восстановление и резервное копирование: Разработка стратегий аварийного восстановления и резервного копирования, которые балансирует защиту данных с энергетической эффективностью. Реализуйте интеллектуальную оптимизацию многоуровневой репликации, оптимизацию репликации между регионами и управление жизненным циклом с дедупликацией. Эти стратегии минимизируют потребление энергии, связанное с хранением, при сохранении необходимых параметров восстановления.

Рекомендации по проектированию операций

Этап операционной разработки включает развертывание модели, оптимизацию вывода, мониторинг, обслуживание и масштабирование. Принимая обоснованные решения о операционной инфраструктуре и процессах, вы можете значительно повысить устойчивость рабочих нагрузок вывода искусственного интеллекта.

Существует несколько операционных решений по проектированию, влияющих на устойчивость. Учитывайте следующие ключевые факторы для поддержания эффективных рабочих нагрузок ИИ при минимизации воздействия на окружающую среду:

• Развертывание с учетом углеродного следа: Развертывание моделей в регионах с низким уровнем выбросов углерода с использованием возобновляемых источников энергии. Реализуйте динамическое выбор региона на основе данных по углеродной интенсивности в реальном времени и требований к рабочей нагрузке.

• Частота переобучения: Оркестрация переобучения включает автоматизацию моделей переобучения на основе новых данных при балансировке требований точности с экологическим воздействием.

  Этот подход гарантирует, что модель остается up-to-date и поддерживает ее производительность с течением времени. Переобучение часто не является устойчивым. Рассмотрите возможность реализации обнаружения распада модели и переобучения на основе пороговых значений, чтобы свести к минимуму ненужные вычислительные циклы.

  Иногда частое переобучение не требуется, например классификация изображений или сценарии обработки речи. Модели, распознающие шаблоны речи на определенных языках или диалектах, могут оставаться эффективными в течение длительных периодов без частого переобучения. В результате модели искусственного интеллекта могут поддерживать свою эффективность с течением времени без необходимости постоянных обновлений. Сбалансируйте точность модели с потреблением энергии, задав пороговые значения для переобучения.

  Компромисс: уменьшение частоты переобучения может повлиять на точность. Например, модели, используемые на финансовых рынках, должны быть высокодинамичными и часто обученными для адаптации к новым рыночным условиям и данным. Убедитесь, что вы учитываете правильный компромисс на основе бизнес-потребностей. В качестве упреждающей меры используйте автоматизированные процессы для непрерывного мониторинга и оценки и переобучения моделей для обеспечения точности и релевантности. Кроме того, необходимо отслеживать метрики инфраструктуры и рабочей нагрузки, чтобы обеспечить оптимальную производительность и надежность. Дополнительные сведения см. в Средства мониторинга генеративного ИИ.

• Комплексная стратегия мониторинга: Стратегия мониторинга используется для отслеживания смещения данных, производительности и метрик устойчивости. Отслеживайте производительность модели, чтобы избежать потерь циклов операций машинного обучения из-за ухудшения модели. Когда модели стареют и теряют актуальность, они не прогнозируют правильные результаты, но продолжают работать, что влечет за собой потерю ресурсозатратных циклов процессов машинного обучения.

  Интегрируйте метрики устойчивости в мониторинг рабочей нагрузки ИИ, а также традиционные метрики производительности, надежности и безопасности. Дополнительные сведения о руководстве по реализации см. в разделе "Операционные процедуры устойчивого развития".

• Устойчивость масштабирования и рабочей нагрузки: Реализуйте стратегии автомасштабирования , которые балансирует распределение ресурсов с воздействием на окружающую среду. Настройте политики масштабирования для рассмотрения как требований к рабочей нагрузке, так и региональной интенсивности углерода. По возможности увеличивайте объем деятельности во время низкоуглеродных периодов.

  Проектируйте шаблоны избыточности и отказоустойчивости, которые сводят к минимуму энергетические издержки при сохранении необходимых уровней доступности. Используйте углеродно-осведомленную балансировку нагрузки, которая распределяет трафик между регионами на основе метрик производительности и данных о интенсивности углеродных выбросов в реальном времени.

• Устойчивые методики работы машинного обучения: Интеграция метрик устойчивости в рабочие процессы операций машинного обучения на протяжении всего жизненного цикла. Реализуйте расписания обучения моделей, учитывающие выбросы углерода, которые оптимизируют вычислительные нагрузки в периоды низкого уровня выбросов углерода.

  Разработка стратегий развертывания, таких как тестирование A/B и сине-зеленые развертывания для проверки влияния на устойчивость новых версий рабочей нагрузки. Этот подход помогает предотвратить выполнение неэффективных рабочих нагрузок в производственном масштабе.

  Отслеживайте метрики устойчивости во время контролируемых развертываний и реализуйте механизмы автоматического отката при превышении пороговых значений устойчивости.

Реализация этих устойчивых методик позволяет разработчикам ИИ и специалистам по обработке и анализу данных снизить влияние рабочих нагрузок искусственного интеллекта на окружающую среду. Этот подход обеспечивает выравнивание со столпами Well-Architected фреймворка, что позволяет осуществлять соответствующие компромиссы на основе ваших бизнес-требований.

Следующий шаг

Принципы проектирования устойчивой рабочей нагрузки