Что такое Windows AI Foundry?

Возможности создания интеллектуальных AI-решений на платформе Windows и с ее помощью стремительно развиваются. Windows AI Foundry предлагает функции, поддерживаемые ИИ, и APIs на компьютерах с Windows 11. Эти функции находятся в активной разработке и выполняются локально в фоновом режиме.

Windows AI Foundry включает несколько компонентов, которые могут обеспечивать уникальные опыты с искусственным интеллектом.

1. Windows AI: вы можете использовать встроенный ИИ Windows для интеграции служб ИИ APIsAPIs для пользователей на компьютерах Copilot+ . Некоторые из этих готовых функций ИИ, которые можно использовать из приложения Windows, включают:

   • Phi Silica: локальная, готовая к использованию языковая модель (создание текста)
   • Визуализация искусственного интеллекта: используйте ИИ для масштабирования и резкого увеличения изображения (разрешение изображения), создания текста, описывающего изображение (описание изображения), идентификации объектов в изображении (сегментация изображений) и удалении объектов из изображения (удаление объекта).
   • Text Recognition: используйте ИИ для обнаружения и извлечения текста в изображениях и преобразования его в потоки символов, доступные для чтения компьютера

2. Foundry Local: популярные модели OSS, которые можно использовать и извлекать в приложение.

3. Windows ML: включает выполнение выводов ИИ с помощью собственной модели ONNX

4. Средства разработки: такие инструменты, как Visual Studio AI Toolkit и коллекция разработчиков ИИ , которые помогут вам успешно создавать возможности искусственного интеллекта.

Как использовать ИИ в приложении Windows?

Несколько способов использования моделей машинного обучения (ML) для приложений Windows для улучшения их функциональности и пользовательского интерфейса с помощью ИИ включают:

• Приложения могут использовать генеративные модели ИИ для понимания сложных тем, чтобы суммировать, переписывать, делать отчеты или расширять.
• Приложения могут использовать модели, которые преобразуют содержимое свободной формы в структурированный формат, который может понять ваше приложение.
• Приложения могут использовать модели семантического поиска, позволяющие пользователям искать содержимое по смыслу и быстро находить связанное содержимое.
• Приложения могут использовать модели обработки естественного языка для анализа сложных требований к естественному языку, планировать и выполнять действия для выполнения запросов пользователя.
• Приложения могут использовать модели обработки изображений для интеллектуального изменения изображений, удаления или добавления субъектов, масштабирования или создания нового содержимого.
• Приложения могут использовать прогнозные диагностические модели для выявления и прогнозирования проблем, а также помогать пользователю или делать это для них.

Использование ИИ APIs Windows и создание собственных моделей

Используйте ИИ Windows APIs

Если локальная модель ИИ является правильным решением, вы можете использовать Windows AI APIs для интеграции служб ИИ для пользователей на компьютерах Copilot+ . Они APIs встроенные на компьютере и позволяют использовать уникальные функции, основанные на искусственном интеллекте, с относительно небольшими затратами.

Обучение собственной модели

Если у вас есть возможность обучать собственную модель с помощью собственных частных данных с такими платформами, как TensorFlow или PyTorch. Эту настраиваемую модель можно интегрировать в приложение Windows, запустив ее локально на оборудовании устройства с помощью ONNX Runtime и AI Toolkit для Visual Studio Code.

AI Toolkit для Visual Studio Code — это расширение VS Code, которое позволяет локально загружать и запускать модели ИИ, включая доступ к аппаратному ускорением для повышения производительности и масштабирования с помощью DirectML. Ai Tookit также может помочь вам:

• Тестирование моделей на интуитивно понятной площадке или в приложении с помощью REST API.
• Настройте модель ИИ локально или в облаке (на виртуальной машине), чтобы создать новые навыки, повысить надежность ответов, задать тон и формат ответа.
• Тонкая настройка популярных малоязыковых моделей (SLM), таких как Phi-3 и Mistral.
• Разверните функцию ИИ в облаке или с помощью приложения, работающего на устройстве.
• Используйте аппаратное ускорение для повышения производительности функций ИИ с помощью DirectML. DirectML — это низкоуровневый API, который позволяет оборудованию устройства Windows ускорить производительность моделей машинного обучения с помощью GPU устройства или NPU. Связывание DirectML с ONNX Runtime обычно является самым простым способом для разработчиков, чтобы обеспечить масштабируемую реализацию аппаратного ускорения ИИ своим пользователям. Дополнительные сведения: Обзор DirectML.
• Квантизация и проверка модели для использования в NPU с помощью возможностей преобразования модели

Кроме того, вы можете рассмотреть эти концепции тонкой настройки модели, чтобы предварительно обученная модель лучше соответствовала вашим данным.

Использование облачных моделей ИИ

Если использование локальных функций ИИ не является правильным способом для вас, использование облачных моделей ИИ и ресурсов может быть решением.

Другие функции ИИ

1. Действия приложений в Windows: создание действий для приложения, включающие новые и уникальные возможности искусственного интеллекта для потребителей

2. Recall использует ИИ, чтобы помочь вам найти любую информацию, которую вы видели на вашем компьютере. Нажмите, чтобы сделать — это функция с поддержкой ИИ, которая соединяет действия с содержимым (текстом или изображениями), найденным Recall.

3. Виндоус Studio Effects использует ИИ для применения специальных эффектов к камере устройства

Использование методик ответственного искусственного интеллекта

Каждый раз, когда вы включаете функции искусственного интеллекта в приложение Windows, мы высоко рекомендуем следовать разработке приложений и функций ответственного искусственного интеллекта в Windows.