Elección entre modelos de inteligencia artificial locales y basados en la nube

Para los desarrolladores de aplicaciones que buscan integrar características de inteligencia artificial, Microsoft Windows ofrece una plataforma completa y flexible que admite soluciones locales, de procesamiento en dispositivos y escalables basadas en la nube.

Elegir entre modelos de inteligencia artificial locales y basados en la nube depende de sus necesidades y prioridades específicas. Muchas aplicaciones de producción usan una estrategia híbrida: pruebe primero una API de IA local Windows o un modelo local y, a continuación, vuelva a un punto de conexión en la nube cuando el modelo no esté instalado, el dispositivo no sea compatible, el usuario no da su consentimiento para una descarga de modelo o la tarea requiere un modelo mayor.

Factores que deben tenerse en cuenta:

  • Privacidad, conformidad y seguridad de los datos
  • Disponibilidad de recursos
  • Accesibilidad y colaboración
  • Costos
  • Mantenimiento y actualizaciones
  • Rendimiento y latencia
  • Escalabilidad
  • Requisitos de conectividad
  • Tamaño y complejidad del modelo
  • Las herramientas y el ecosistema asociado
  • Personalización y control

Factores clave de decisión para desarrolladores de aplicaciones

  • Privacidad, cumplimiento y seguridad de los datos

    • Local, en el dispositivo: Dado que los datos permanecen en el dispositivo, ejecutar un modelo localmente puede ofrecer ventajas relacionadas con la seguridad y la privacidad, siendo la responsabilidad de la seguridad de los datos del usuario. El desarrollador es responsable de administrar las actualizaciones, garantizar la compatibilidad y supervisar las vulnerabilidades de seguridad.

    • Nube: Los proveedores de nube ofrecen medidas de seguridad sólidas, pero los datos deben transferirse a la nube, lo que podría provocar problemas de privacidad de datos para el mantenedor de servicios de aplicaciones o empresariales en algunos casos. El envío de datos a la nube también debe cumplir con las regulaciones de protección de datos, como RGPD o HIPAA, en función de la naturaleza de los datos y la región en la que opera la aplicación. Normalmente, los proveedores de nube controlan las actualizaciones de seguridad y el mantenimiento, pero los usuarios deben asegurarse de que usan API seguras y seguir los procedimientos recomendados para el control de datos.

  • Disponibilidad de recursos

    • Local, en las instalaciones: La ejecución de un modelo depende de los recursos disponibles en el dispositivo que se usa, incluida la CPU, la GPU, la NPU, la memoria y la capacidad de almacenamiento. Esto puede ser limitar si el dispositivo no tiene una capacidad computacional elevada o un almacenamiento suficiente. Modelos de lenguaje pequeño (SLAM), como Phi, son más adecuados para su uso local en un dispositivo. Copilot+ Los equipos ofrecen modelos integrados con características de inteligencia artificial listas para usar compatibles con Microsoft Foundry on Windows.

    • Nube: Las plataformas en la nube, como Azure AI Services, ofrecen recursos escalables. Puede usar tanta potencia computacional como necesite y solo pagar por lo que use. Los modelos de lenguaje grande (LLM), como los modelos de lenguaje OpenAI , requieren más recursos, pero también son más eficaces.

  • Accesibilidad y colaboración

    • Local, en las instalaciones: El modelo y los datos solo son accesibles en el dispositivo a menos que se compartan manualmente. Esto tiene el potencial de hacer que la colaboración en los datos del modelo sea más difícil.

    • Cloud: se puede acceder al modelo y a los datos desde cualquier lugar con conectividad a Internet. Esto puede ser mejor para escenarios de colaboración.

  • Costo

    • Local, en las instalaciones: No hay ningún costo adicional más allá de la inversión inicial en el hardware del dispositivo.

    • Nube: Mientras que las plataformas en la nube funcionan en un modelo de pago por uso, los costos pueden acumularse en función de los recursos usados y la duración del uso.

  • mantenimiento y actualizaciones

    • Local, en las instalaciones: El usuario es responsable de mantener el sistema e instalar actualizaciones.

    • Cloud: el proveedor de servicios en la nube gestiona el mantenimiento, las actualizaciones del sistema y de nuevas funciones, reduciendo la carga de mantenimiento para el usuario.

  • Rendimiento y latencia

    • Local, en las instalaciones: La ejecución de un modelo localmente puede reducir la latencia, ya que no es necesario enviar datos a través de la red. Sin embargo, el rendimiento está limitado por las funcionalidades de hardware del dispositivo.

    • Nube: Los modelos basados en la nube pueden aprovechar hardware eficaz, pero pueden introducir latencia debido a la comunicación de red. El rendimiento puede variar en función de la conexión a Internet del usuario y del tiempo de respuesta del servicio en la nube.

  • Escalabilidad

    • Local, en las instalaciones: Escalar un modelo en un dispositivo local puede requerir actualizaciones significativas de hardware o la adición de más dispositivos, lo que puede ser costoso y llevar tiempo.

    • Nube: Las plataformas en la nube ofrecen una escalabilidad sencilla, lo que le permite ajustar rápidamente los recursos en función de la demanda sin necesidad de cambios de hardware físicos.

  • Requisitos de conectividad

    • Local, en las instalaciones: Un dispositivo local no requiere una conexión a Internet para ejecutar un modelo, lo que puede ser beneficioso en entornos con conectividad limitada.

    • Nube: Los modelos basados en la nube requieren una conexión estable a Internet para el acceso y pueden verse afectadas por problemas de red.

  • Disponibilidad en tiempo de ejecución y alternativa

    • Local, en las instalaciones: Las características de IA local pueden depender del hardware, la versión, Windows la versión del SDK de aplicaciones, la región y de si hay instalado un modelo opcional. Antes de invocar una característica de inteligencia artificial local, compruebe su estado de preparación y guíe al usuario a través de cualquier flujo de descarga o consentimiento del modelo necesario. Para Windows las API de IA, use el patrón de preparación específico de la API documentado en Introducción a Windows las API de IA y las páginas de API individuales.

    • Nube: Un endpoint en la nube puede servir como alternativa cuando un modelo local no está listo o no es compatible en el dispositivo actual. Decida si el mecanismo de respaldo es automático, controlado por el usuario o está desactivado para escenarios sensibles desde el punto de vista de la privacidad. Asegúrese de que la interfaz de usuario explica cuándo los datos salen del dispositivo.

  • Tamaño y complejidad del modelo

    • Local, en las instalaciones: Los dispositivos locales pueden tener limitaciones en el tamaño y la complejidad de los modelos que se pueden ejecutar debido a restricciones de hardware. Los modelos más pequeños, como Phi, son más adecuados para la ejecución local.

    • Nube: Las plataformas en la nube pueden controlar modelos más grandes y complejos, como los proporcionados por OpenAI, debido a su infraestructura escalable.

  • Herramientas y el ecosistema asociado

    • Local, en las instalaciones: Las soluciones de inteligencia artificial local, como Microsoft FoundryMicrosoft Foundry on Windows, Windows ML y Foundry Local, se integran con Windows SDK de aplicaciones y el entorno de ejecución de ONNX, lo que permite a los desarrolladores insertar modelos directamente en aplicaciones perimetrales o de escritorio con dependencias externas mínimas.

    • Nube: Las soluciones de inteligencia artificial en la nube, como Microsoft Foundry, Azure AI Services y Azure OpenAI Service, proporcionan un conjunto completo de API y SDK para crear aplicaciones de inteligencia artificial. Estos servicios están diseñados para integrarse sin problemas con Azure DevOps, GitHub Copilot, Kernel semántico y otros Azure servicios, lo que permite la orquestación de un extremo a otro, la implementación del modelo y la supervisión a escala.

  • Personalización y control

    • Local, en las instalaciones: Los modelos locales se pueden usar directamente, sin necesidad de un alto nivel de experiencia. Microsoft Foundry on Windows ofrece modelos como Phi Silica que están listos para usar. Como alternativa, Windows ML permite a los desarrolladores ejecutar modelos personalizados, como los entrenados con ONNX Runtime, directamente en Windows dispositivos. Esto proporciona un alto nivel de control sobre el modelo y su comportamiento, lo que permite ajustar y optimizar en función de casos de uso específicos. Foundry Local también permite a los desarrolladores ejecutar modelos localmente en Windows dispositivos, lo que proporciona un alto nivel de control sobre el modelo y su comportamiento.

    • Nube: Los modelos basados en la nube también ofrecen opciones listas para usar y personalizables, lo que permite a los desarrolladores aprovechar las funcionalidades previamente entrenadas, a la vez que se adapta el modelo a sus necesidades específicas. Microsoft Foundry es una oferta unificada Azure de plataforma como servicio para las operaciones de inteligencia artificial empresarial, los generadores de modelos y el desarrollo de aplicaciones. Esta base combina la infraestructura de nivel de producción con interfaces fáciles, lo que permite a los desarrolladores centrarse en la creación de aplicaciones en lugar de administrar la infraestructura.

Ejemplos de INTELIGENCIA ARTIFICIAL en la nube

Si una solución basada en la nube funciona mejor para el Windows escenario de la aplicación, puede que le interesen algunos de los tutoriales siguientes.

Muchas API están disponibles para acceder a los modelos basados en la nube para impulsar las características de inteligencia artificial en la Windows aplicación, tanto si esos modelos están personalizados como listos para usarse. El uso de un modelo basado en la nube puede permitir que la aplicación permanezca simplificada mediante la delegación de tareas que consumen muchos recursos en la nube. Algunos recursos que le ayudarán a agregar API respaldadas por IA basadas en la nube ofrecidas por Microsoft o OpenAI incluyen:

  • Agregar finalizaciones de chat de OpenAI a tu aplicación de escritorio WinUI 3 / Windows App SDK: Un tutorial sobre cómo integrar las capacidades de finalización de OpenAI ChatGPT en la nube en una aplicación de escritorio WinUI 3 / Windows App SDK.

  • Agregar DALL-E a tu aplicación de escritorio de WinUI 3 / Windows SDK de aplicaciones: Un tutorial sobre cómo integrar las capacidades de generación de imágenes de OpenAI basadas en la nube de DALL-E en una aplicación de escritorio de WinUI 3 / Windows SDK de aplicaciones.

  • Azure Servicio OpenAI: si quieres que tu Windows aplicación acceda a modelos openAI, como GPT-4, GPT-4 Turbo with Vision, GPT-3.5-Turbo, DALLE-3 o la serie de modelos Embeddings, con las funcionalidades empresariales y de seguridad agregadas de Azure, puedes encontrar instrucciones en esta Azure documentación de OpenAI.

  • Azure Servicios de IA: Azure ofrece un conjunto completo de servicios de inteligencia artificial disponibles a través de api REST y SDK de biblioteca cliente en lenguajes de desarrollo populares. Para más información, consulte la documentación de cada servicio. Estos servicios basados en la nube ayudan a los desarrolladores y organizaciones a crear rápidamente aplicaciones inteligentes, avanzadas, listas para el mercado y responsables con api y modelos precompilados y personalizables. Algunos ejemplos de aplicaciones son el procesamiento del lenguaje natural para conversaciones, búsqueda, supervisión, traducción, voz, visión y toma de decisiones.

Diseño de una ruta de acceso local o en la nube híbrida

Usa una ruta de acceso híbrida cuando la aplicación debe aprovechar la inferencia local cuando esté disponible, pero sigue proporcionando una experiencia útil en dispositivos no compatibles o antes de que un modelo local esté listo.

  1. Elija primero la funcionalidad local. Comience con una Windows API de IA cuando coincida con su escenario o use Windows ML o Foundry Local cuando necesite ejecutar un modelo específico.
  2. Compruebe la preparación antes de su uso. En el inicio o antes de que se muestre la característica, consulte el estado de preparación de la característica local. Si la API informa de que la característica no se admite, no está instalada o necesita una descarga, no invoque ciegamente.
  3. Pida consentimiento cuando se deba descargar un modelo local. Algunos modelos locales son opcionales y pueden ser varios GB. Explique el tamaño de descarga, por qué se necesita el modelo y si la aplicación puede continuar sin él.
  4. Defina una alternativa de respaldo en la nube. Si el modelo local no está listo, llame a un punto de conexión en la nube solo cuando el usuario y la organización permitan que los datos salgan del dispositivo. Mantenga las rutas de acceso locales y en la nube detrás de la misma abstracción de nivel de aplicación para que el resto de la aplicación no dependa de dónde se ejecute la inferencia.
  5. Mantener el comportamiento observable. Registre qué ruta se utilizó, los fallos de preparación, los resultados de la descarga de modelos y los errores de respaldo en la nube, sin registrar instrucciones, tokens ni contenido sensible, a menos que su organización haya aprobado ese tratamiento de datos.

Flujo de decisión de alternativa híbrida

Use este flujo como punto de partida:

  1. Cuando el usuario inicia una característica de IA, compruebe si una característica de inteligencia artificial local se ajusta a la tarea.
  2. Si ninguna característica local se ajusta a la tarea, use inteligencia artificial en la nube u otro servicio.
  3. Si una característica local se ajusta a la tarea, compruebe si la característica está lista en el dispositivo actual.
  4. Si la característica local está lista, ejecute la inferencia local.
  5. Si la característica local necesita una descarga del modelo, solicite el consentimiento del usuario antes de iniciar la descarga.
  6. Si el usuario da su consentimiento, descargue o prepare el modelo, vuelva a intentar la inferencia local.
  7. Si el usuario no da su consentimiento o si la función local no es compatible, compruebe si se permite la alternativa en la nube en ese caso.
  8. Si se permite el mecanismo de respaldo en la nube, utilice la ruta en la nube.
  9. Si no se permite el uso de la nube como alternativa, explique el requisito relacionado con el dispositivo, el modelo o la directiva y deshabilite u oculte la función.

Para más información sobre la preparación local, consulte Windows API de IA, Introducción a Windows las API de IA, Foundry Localy Windows aprendizaje automático.

  • Last updated on