Compartir a través de

Introducción al uso de API respaldadas por IA en la aplicación de Windows

  • Artículo

Windows Copilot Runtime ofrece una variedad de API respaldadas por IA denominada Windows Copilot Library que le permite acceder a características de IA sin necesidad de buscar, ejecutar u optimizar su propio modelo de Machine Learning (ML). Los modelos que impulsan la Windows Copilot Library están listos para usarse y se ejecutan pasivamente todo el tiempo en el dispositivo para habilitar las características de IA en PC de Copilot+.

Uso de API respaldadas por IA local disponibles en la Windows Copilot Library

La Windows Copilot Library incluye estas API respaldadas por IA y que cuentan con tecnología de modelos que se ejecutan local y directamente en el dispositivo Windows:

  • Phi Silica: la API Phi Silica está disponible como parte del SDK de Aplicaciones para Windows. Igual que sucede con el modelo de lenguaje grande (LLM) de GPT de OpenAI que impulsa ChatGPT, Phi es un modelo de lenguaje pequeño (SLM) desarrollado por Microsoft Research para realizar tareas de procesamiento de lenguaje en un dispositivo local. Phi Silica está diseñada específicamente para dispositivos Windows que tengan una unidad de procesamiento neuronal (NPU), lo que permite que las características de generación de texto y conversación se ejecuten de forma extremadamente eficaz; asimismo, están aceleradas mediante hardware directamente en el dispositivo.

  • Text Recognition con OCR: la API de Text Recognition (también denominada Reconocimiento óptico de caracteres u OCR) está disponible como parte del SDK de Aplicaciones para Windows. Esta API permite reconocer texto en una imagen y convertir diferentes tipos de documentos, como documentos de papel escaneados, archivos PDF o imágenes capturadas mediante una cámara digital, en datos editables que se pueden buscar en un dispositivo local.

  • Studio Effects: los dispositivos Windows con unidades de procesamiento neuronal (NPU) compatibles integran Studio Effects en la configuración integrada de la cámara y el micrófono del dispositivo. Aplique efectos especiales que usen IA, incluidos el desenfoque de fondo, la corrección del contacto visual, el marco automático, la corrección de la iluminación de retrato, los filtros creativos o el foco de voz para filtrar el ruido de fondo.

  • Recall: la Recall permite a los usuarios encontrar rápidamente elementos de actividades pasadas, como documentos, imágenes, sitios web y mucho más. Los desarrolladores pueden enriquecer la experiencia de Recall del usuario con su aplicación agregando información contextual a la base de datos vectorial subyacente mediante la API de actividad de usuario. Esta integración ayudará a los usuarios a elegir el punto en el que salieron de la aplicación, lo que mejora la interacción de la aplicación y proporciona al usuario un flujo sin problemas entre Windows y la aplicación.

Pronto se agregarán más características, incluidas las traducciones de subtítulos en directo, la búsqueda semántica, la generación aumentada de recuperación (RAG), el resumen de texto y la superresolución de imágenes.

Uso de API respaldadas por IA y basadas en la nube en la aplicación de Windows

También puede interesarle usar las API que ejecutan modelos en la nube para potenciar las características de IA que se pueden agregar a la aplicación de Windows. Algunos ejemplos de API respaldadas por IA y basadas en la nube que ofrece Microsoft u OpenAI incluyen:

  • Agregar finalizaciones de chat de OpenAI a la aplicación de escritorio WinUI 3 o al SDK de Aplicaciones para Windows: tutorial sobre cómo integrar las funcionalidades de finalización de ChatGPT de OpenAI basadas en la nube en una aplicación de escritorio WinUI 3 o en el SDK de Aplicaciones para Windows.

  • Agregar DALL-E a la aplicación de escritorio WinUI 3 o al SDK de Aplicaciones para Windows: tutorial sobre cómo integrar las funcionalidades de generación de imágenes de DALL-E de OpenAI basadas en la nube en una aplicación de escritorio WinUI 3 o en el SDK de Aplicaciones para Windows.

  • Creación de una aplicación de recomendación con .NET MAUI y ChatGPT: tutorial sobre cómo crear una aplicación de recomendación de ejemplo que integre las funcionalidades de finalización de ChatGPT de OpenAI basadas en la nube en una aplicación de .NET MAUI.

  • Incorporación de DALL-E a la aplicación de escritorio de .NET MAUI de Windows: tutorial sobre cómo integrar las funcionalidades de generación de imágenes de DALL-E de OpenAI basadas en la nube en una aplicación .NET MAUI.

  • Azure OpenAI Service: si quiere que la aplicación de Windows acceda a modelos de OpenAI, como GPT-4, GPT-4 Turbo con Vision, GPT-3.5-Turbo, DALLE-3 o la serie de modelos Embeddings, con las funcionalidades de seguridad y de empresa agregadas de Azure, puede encontrar instrucciones en esta documentación de OpenAI de Azure.

  • Servicios de Azure AI: Azure ofrece un conjunto completo de servicios de IA disponibles a través de la API REST y los SDK de la biblioteca cliente en lenguajes de desarrollo conocidos. Para más información, consulte la documentación de cada servicio. Los servicios basados en la nube ayudan a los desarrolladores y a las organizaciones a crear rápidamente aplicaciones inteligentes, vanguardistas, listas para el mercado y responsables con API y modelos listos para usar, precompilados y personalizables. Algunos ejemplos de aplicaciones son el procesamiento del lenguaje natural para conversaciones, búsqueda, supervisión, traducción, voz, visión y toma de decisiones.

Consideraciones a tener en cuenta para usar las API respaldadas por IA locales frente a las basadas en la nube en la aplicación de Windows

Al decidir si quiere usar una API en la aplicación de Windows que se base en la ejecución de un modelo de ML de forma local frente a la ejecución en la nube, existen varias ventajas y desventajas que debe tener en cuenta.

  • Disponibilidad de recursos

    • Dispositivo local: la ejecución de un modelo depende de los recursos disponibles en el dispositivo que se usa, incluida la CPU, la GPU, la NPU, la memoria y la capacidad de almacenamiento. Esto puede limitarle si el dispositivo no tiene una capacidad computacional elevada o un almacenamiento suficiente. Los modelos de lenguaje pequeños (SLM), como Phi, son mejores para usarlos de manera local en un dispositivo.
    • Nube: plataformas en la nube, como Azure, ofrecen recursos escalables. Puede usar tanta potencia computacional como necesite y solo pagar por lo que use. Los modelos de lenguaje grandes (LLM), como los modelos de lenguaje de OpenAI, requieren más recursos, pero también son más eficaces.

  • Privacidad de datos y seguridad

    • Dispositivo local: dado que los datos permanecen en el dispositivo, ejecutar un modelo de manera local puede ser más seguro y privado. La responsabilidad de la seguridad de los datos recae en el usuario.
    • Nube: los proveedores de nube ofrecen medidas de seguridad sólidas, pero los datos deben transferirse a la nube, lo que podría generar problemas de privacidad de datos en algunos casos.

  • Accesibilidad y colaboración

    • Dispositivo local: el modelo y los datos solo son accesibles desde el dispositivo, a menos que se compartan manualmente. Esto puede suponer que la colaboración en los datos del modelo sea más difícil.
    • Nube: se puede acceder al modelo y a los datos desde cualquier lugar con conectividad a Internet. Esto puede ser mejor para escenarios de colaboración.

  • Coste

    • Dispositivo local: no hay ningún coste adicional más allá de la inversión inicial en el dispositivo.
    • Nube: mientras que las plataformas en la nube funcionan según un modelo de pago por uso, los costes pueden acumularse en función de los recursos usados y la duración del uso.

  • Mantenimiento y actualizaciones

    • Dispositivo local: el usuario es responsable de mantener el sistema e instalar las actualizaciones.
    • Nube: el proveedor de servicios en la nube controla el mantenimiento, las actualizaciones del sistema y las nuevas actualizaciones de características, lo que reduce la sobrecarga de mantenimiento para el usuario.

Consulte Ejecución de un modelo de lenguaje pequeño localmente frente a modelos de lenguaje grande en la nube para obtener más información sobre las diferencias que supone ejecutar localmente un modelo de lenguaje pequeño (SLM) y ejecutar un modelo de lenguaje grande (LLM) en la nube.