Выбор между облачными и локальными моделями искусственного интеллекта

Для разработчиков приложений, стремящихся интегрировать функции ИИ, корпорация Майкрософт Windows предлагает комплексную и гибкую платформу, которая поддерживает как локальную, так и масштабируемую, облачную платформу.

Выбор между облачными и локальными моделями ИИ зависит от конкретных потребностей и приоритетов. Факторы, которые следует учитывать, включают:

• Конфиденциальность данных, соответствие требованиям и безопасность
• Доступность ресурсов
• Специальные возможности и совместная работа
• Себестоимость
• Обслуживание и обновления
• Производительность и задержка
• Масштабируемость
• Требования к подключению
• Размер модели и сложность
• Инструментирование и связанная экосистема
• Настройка и управление

Ключевые факторы принятия решений для разработчиков приложений

• Конфиденциальность данных, соответствие требованиям и безопасность

  • • Локальная локальная среда: Так как данные остаются на устройстве, работа модели локально может предложить преимущества в отношении безопасности и конфиденциальности, с ответственностью за безопасность данных, оставшуюся на пользователе. Разработчик несет ответственность за управление обновлениями, обеспечение совместимости и мониторинг уязвимостей безопасности.
  • • Облако: Поставщики облачных служб предлагают надежные меры безопасности, но данные необходимо передать в облако, что может вызвать проблемы конфиденциальности данных для обслуживания бизнес-службы или службы приложений в некоторых случаях. Отправка данных в облако также должна соответствовать правилам защиты данных, таким как GDPR или HIPAA, в зависимости от характера данных и региона, в котором работает приложение. Поставщики облачных служб обычно обрабатывают обновления безопасности и обслуживание, но пользователи должны убедиться, что они используют безопасные API и следуют рекомендациям по обработке данных.

• Доступность ресурсов

  • Локальная локальная среда: Выполнение модели зависит от ресурсов, доступных на используемом устройстве, включая ЦП, GPU, NPU, память и емкость хранилища. Это может быть ограничение, если устройство не имеет высокой вычислительной мощности или достаточного хранилища. Небольшие языковые модели (SLM), например Phi, более подходят для локального использования на устройстве. Copilot+ ПК предлагают встроенные модели с готовыми функциями ИИ, поддерживаемыми Microsoft Foundry on Windows.

  • • Облако: Облачные платформы, такие как Azure службы ИИ, предлагают масштабируемые ресурсы. Вы можете использовать столько вычислительной мощности или хранилища, сколько вам нужно, и платить только за то, что вы используете. Для больших языковых моделей (LLM), таких как языковые модели OpenAI, требуются дополнительные ресурсы, но и более мощные.

• Специальные возможности и совместная работа

  • • Локальная локальная среда: Модель и данные доступны только на устройстве, если не предоставлен общий доступ вручную. Это может сделать совместную работу с данными модели более сложной.
  • • Облако: Модель и данные можно получить из любого места с подключением к Интернету. Это может быть лучше для сценариев совместной работы.

• Стоимость

  • Локальная локальная среда: Кроме первоначальных инвестиций в оборудование устройства нет дополнительных затрат.

  • Облако: Хотя облачные платформы работают с моделью с оплатой по мере использования, затраты могут накапливаться на основе используемых ресурсов и длительности использования.

• Обслуживание и обновления

  • Локальная локальная среда: Пользователь отвечает за обслуживание системы и установку обновлений.

  • Облако: Обслуживание, обновления системы и новые обновления компонентов обрабатываются поставщиком облачных служб, что снижает затраты на обслуживание для пользователя.

• Производительность и задержка

  • Локальная локальная среда: Локальное выполнение модели может снизить задержку, так как данные не нужно отправлять по сети. Однако производительность ограничена аппаратными возможностями устройства.

  • Облако: Облачные модели могут использовать мощное оборудование, но они могут привести к задержке из-за сетевого взаимодействия. Производительность может отличаться в зависимости от подключения пользователя к Интернету и времени отклика облачной службы.

• Масштабируемость

  • Локальная локальная среда: Масштабирование модели на локальном устройстве может потребовать значительных обновлений оборудования или добавления дополнительных устройств, которые могут быть дорогостоящими и трудоемкими.

  • Облако: Облачные платформы обеспечивают простую масштабируемость, позволяя быстро настраивать ресурсы на основе спроса без необходимости вносить изменения физического оборудования.

• Требования к подключению

  • Локальная локальная среда: Локальное устройство не требует подключения к Интернету для запуска модели, которая может быть полезной в средах с ограниченным подключением.

  • Облако: Облачные модели требуют стабильного подключения к Интернету для доступа и могут повлиять на проблемы с сетью.

• Размер и сложность модели

  • Локальная локальная среда: Локальные устройства могут иметь ограничения на размер и сложность моделей, которые могут выполняться из-за ограничений оборудования. Небольшие модели, такие как Phi, более подходят для локального выполнения.

  • Облако: Облачные платформы могут обрабатывать более крупные и более сложные модели, такие как предоставляемые OpenAI, из-за масштабируемой инфраструктуры.

• Инструментирование и связанная экосистема

  • Локальная локальная среда: Локальные решения ИИ, такие как Microsoft FoundryMicrosoft Foundry on Windowsмашинное Windows обучение и интеграция с Foundry Local пакетом SDK для приложений и Windowsсредой выполнения ONNX, позволяют разработчикам внедрять модели непосредственно в классические или пограничные приложения с минимальными внешними зависимостями.

  • Облако: Облачные решения ИИ, такие как Microsoft FoundryAzure службы ИИ и Azure OpenAI, предоставляют полный набор API и пакетов SDK для создания приложений ИИ. Эти службы предназначены для эффективной интеграции с Azure DevOps, GitHub Copilot, семантического ядра и других Azure служб, обеспечивая комплексное оркестрацию, развертывание модели и мониторинг в масштабе.

• Настройка и управление

  • Локальная локальная среда: Локальные модели можно использовать вне коробки, не требуя высокого уровня опыта. Microsoft Foundry on Windows предлагает такие модели, как Phi Silica они готовы к использованию. Кроме того, Windows машинное обучение позволяет разработчикам запускать пользовательские модели, например обученные с помощью среды выполнения ONNX, непосредственно на Windows устройствах. Это обеспечивает высокий уровень контроля над моделью и его поведением, что позволяет точно настроить и оптимизировать на основе конкретных вариантов использования. Foundry Local также позволяет разработчикам локально запускать модели на Windows устройствах, обеспечивая высокий уровень контроля над моделью и его поведением.

  • Облако: Облачные модели также предлагают готовые и настраиваемые варианты, позволяя разработчикам использовать предварительно обученные возможности, а также адаптировать модель в соответствии с их конкретными потребностями. Microsoft Foundry — это единое Azure предложение платформы как услуга для корпоративных операций ИИ, построителей моделей и разработки приложений. Эта основа объединяет инфраструктуру производственного уровня с понятными интерфейсами, позволяя разработчикам сосредоточиться на создании приложений, а не управлении инфраструктурой.

Примеры облачных ИИ

Если облачное решение лучше подходит для сценария Windows приложения, вы можете ознакомиться с некоторыми из приведенных ниже руководств.

Многие API доступны для доступа к облачным моделям для использования функций ИИ в приложении Windows , независимо от того, настраиваются ли эти модели или готовы к использованию. Использование облачной модели позволяет приложению оставаться упрощенным путем делегирования ресурсоемких задач в облако. Некоторые ресурсы, которые помогут вам добавить облачные API, поддерживаемые корпорацией Майкрософт или OpenAI, включают:

• Добавление завершения чата OpenAI в WinUI 3 / Windows Классическое приложение пакета SDK для приложений. Руководство по интеграции облачных возможностей завершения OpenAI ChatGPT в классическое приложение WinUI 3/ Windows App SDK.

• Добавление DALL-E в WinUI 3 / Windows Классическое приложение пакета SDK для приложений. Руководство по интеграции облачных возможностей Создания образов OpenAI DALL-E в классическое приложение WinUI 3/ Windows App SDK.

• Создание приложения рекомендаций с помощью .NET MAUI и ChatGPT. Руководство по созданию примера приложения рекомендаций, которое интегрирует облачные возможности завершения OpenAI ChatGPT в .NET MAUI.

• Добавьте DALL-E в классическое приложение .NET MAUIWindows: руководство по интеграции облачных возможностей Создания образов OpenAI DALL-E в приложение .NET MAUI.

• Azure Служба OpenAI: если вы хотите, чтобы приложение Windows получите доступ к моделям OpenAI, таким как GPT-4, GPT-4 Turbo с Vision, GPT-3.5-Turbo, DALLE-3 или серии моделей Внедрения, с дополнительными возможностями Azureбезопасности и предприятия, вы можете найти рекомендации в этой Azure документации OpenAI.

• Azure Службы ИИ: Azure предлагает целый набор служб ИИ, доступных через REST API и пакеты SDK клиентской библиотеки на популярных языках разработки. Дополнительные сведения см. в документации по каждой службе. Эти облачные службы помогают разработчикам и организациям быстро создавать интеллектуальные, передовые, готовые к рынкам и ответственные приложения с готовыми и предварительно созданными и настраиваемыми API и моделями. Примеры приложений включают обработку естественного языка для бесед, поиска, мониторинга, перевода, речи, зрения и принятия решений.