Windows Copilot Runtime Información general
Windows Copilot Runtime presenta nuevas formas de interactuar con el sistema operativo que usan IA, como Phi Silica, el modelo de lenguaje pequeño (SLM) creado por Microsoft Research que es capaz de ofrecer muchas de las funcionalidades que se encuentran en modelos de lenguaje grandes (LLM), pero más compactas y eficientes para que se puedan ejecutar localmente en Windows.
Como desarrollador, puede integrar las aplicaciones con experiencias de Windows con tecnología de IA, como Recall y Studio Effects, sacar provecho de las nuevas API con tecnología de modelos en el dispositivo a través de la Windows Copilot Library, detectar modelos de Machine Learning (ML) para ajustar sus propios datos personalizados con el AI Toolkit en Visual Studio Code, integrar sus propios modelos de ML mediante marcos como ONNX Runtime, PyTorch o WebNN, y acceder a la aceleración de hardware para mejorar el rendimiento y escalar a través de DirectML.
Nota:
No todas las características están disponibles en este momento. Siga los canales sociales del desarrollador de Microsoft y los eventos de la comunidad para obtener la información más reciente sobre la disponibilidad.
Windows Copilot Runtime y Windows Copilot Library
Hay nuevas innovaciones que usan inteligencia artificial para mejorar y redefinir la experiencia de Windows, con algunas innovaciones de IA preparadas directamente para el uso de Windows y otras disponibles para que los desarrolladores de aplicaciones las integren en sus características de la aplicación. Estas nuevas formas de integrar la IA en una aplicación de Windows componen la Windows Copilot Library, una lista de características y API respaldadas por IA listas para usar, entre las que se incluyen:
- Studio Effects: mejora las capacidades de cámara y audio de los dispositivos Windows con efectos de fondo, corrección del contacto visual, encuadre automático, enfoque de voz, desenfoque, iluminación y filtros creativos que se ejecutan en la NPU del dispositivo con tecnología de IA para garantizar una elevada velocidad de rendimiento.
- Recall: permite buscar actividades anteriores realizadas en el dispositivo Windows, para que pueda seguir dónde lo dejó, tanto si estaba usando una aplicación, editando un documento o respondiendo a un correo electrónico.
- Phi Silica: permite que la aplicación conecte con el modelo Phi en el dispositivo para tareas de procesamiento del lenguaje natural (conversación, matemáticas, código, razonamiento) mediante el SDK de Aplicaciones para Windows.
- Text Recognition: el reconocimiento óptico de caracteres, u OCR, permite extraer texto de imágenes y documentos. Imagine tareas como convertir un PDF, un documento en papel o una imagen de una pizarra de clase en texto digital editable.
- Traducciones de subtítulos en directo: ayuda a todos los usuarios de Windows, incluidas las personas sordas o con problemas de audición, a comprender mejor el audio mediante la visualización de subtítulos del contenido hablado, incluso cuando el contenido de audio está en un idioma diferente del idioma preferido del sistema.
Los desarrolladores podrán acceder a estas API como parte del SDK de Aplicaciones para Windows.
Además de las API respaldadas por IA y listas para usar de la Windows Copilot Library, tenemos guías de instrucciones para mejorar la aplicación mediante modelos de Machine Learning (ML). En este tema se tratan temas como:
- ¿Cómo pueden las aplicaciones de Windows sacar provecho de los modelos de ML?
- ¿Dónde puedo encontrar modelos de ML de código abierto en la web?
- ¿Cómo puedo optimizar un modelo de ML para usarlo en mi aplicación de Windows?
- ¿Cómo puedo ajustar un modelo de ML con mis propios datos personalizados?
- ¿Cómo puedo sacar provecho de la aceleración de hardware para mejorar el rendimiento con las características de IA?
Gestión de la responsabilidad y ejemplos
También hemos creado recursos para apoyar a aquellos desarrolladores que buscan integrar la IA en las aplicaciones de Windows mediante una galería de ejemplos, una guía sobre el uso de IA responsable y algunas preguntas frecuentes de alto nivel que pueden ayudar a desentrañar algunos de los conceptos y la terminología.
IA en la Galería de ejemplos de Windows: ejemplos que muestran formas de integrar la IA en las aplicaciones de Windows.
Desarrollo de características y aplicaciones de IA generativa responsables en Windows: recursos y guías que le ayudarán a trabajar con la IA en Windows e incorporar la IA de forma responsable a las aplicaciones de Windows.
Preguntas frecuentes sobre el uso de la IA con Windows: preguntas frecuentes sobre terminología y conceptos relacionados con el uso de la IA en el contexto de Windows, abarcan cuestiones como: "¿Qué es DirectML?", "¿Qué es ONNX?", "¿Qué es ORT?", "¿Qué es una NPU?", "¿Qué es un SLM?", "¿Qué es la inferencia?", "¿Qué es ajustar?", etc.