LLM locales listos para usar en Microsoft Foundry en Windows

Microsoft Foundry en Windows proporciona varios modelos de lenguaje grandes (LLM) locales listos para usar que puede integrar en las aplicaciones de Windows.

LLM listos para usar

Tu aplicación puede usar fácilmente los siguientes LLMs locales en menos de una hora. Microsoft controla la distribución de LLM y los modelos se comparten entre aplicaciones. El uso de estos modelos de lenguaje solo requiere unas pocas líneas de código, sin necesidad de experiencia en aprendizaje automático.

	Qué es	Dispositivos compatibles	Docs
PhiLice	El mismo LLM en el dispositivo que usan las experiencias de Windows de bandeja de entrada	Pc de Copilot+ (NPU)	Aprende más
Más de 20 LLM de código abierto	Elija entre más de 20 modelos LLM de OSS disponibles	Windows 10+ (El rendimiento varía, no todos los modelos disponibles en todos los dispositivos)	Aprende más

Ajuste de las LLM locales

Si los LLM listos para usar anteriores no funcionan para su escenario, puede ajustar finamente los LLM para su escenario. Esta opción requiere cierto trabajo para crear un conjunto de datos de entrenamiento de ajuste fino, pero es menos trabajo que entrenar un modelo propio.

• Phi Silica: Consulte LoRA Fine-Tuning para Phi Silica para comenzar.

Uso de LLMs de Hugging Face u otras fuentes

Puedes usar una amplia variedad de LLMs de Hugging Face u otras fuentes, y ejecutarlos localmente en equipos con Windows 10+ usando Windows ML(la compatibilidad del modelo y el rendimiento variarán en función del hardware del dispositivo). Esta opción puede ser más compleja y puede tardar más tiempo en comparación con las LLM locales listas para usar.

Consulta Buscar o entrenar modelos para usarlos con Windows ML para obtener más información.