Chat y razonamiento

Completados

Tip

Consulte la pestaña Texto e imágenes para obtener más detalles.

Las aplicaciones de chat abarcan desde la respuesta directa a preguntas a las conversaciones que requieren el planeamiento, el análisis y el uso de herramientas. Cuando una experiencia de chat debe funcionar a través de un problema difícil en lugar de producir una respuesta fluida, un modelo de razonamiento es una elección adecuada.

MAI-Thinking

MAI-Thinking es el primer modelo de razonamiento de Microsoft AI. Se creó desde cero para matemáticas serias, codificación, ingeniería de software y implementación empresarial del mundo real. Su arquitectura de mezcla de expertos activa un subconjunto de sus parámetros generales durante la inferencia, lo que le da una superficie de inferencia más pequeña que un modelo denso de tamaño similar.

MAI-Thinking está diseñado para cargas de trabajo como:

• Resolver problemas matemáticos y lógicos de varios pasos.
• Analizar los requisitos y generar o revisar el código.
• Planear una secuencia de acciones para un agente.
• Sintetizar información para respaldar una decisión empresarial.
• Mantener el contexto en una conversación de resolución de problemas de varios turnos.

El modelo se integra con las funcionalidades de Microsoft Foundry para la evaluación, la observabilidad, la seguridad y la implementación. Estas funcionalidades ayudan a los equipos a evaluar la calidad de salida, el comportamiento de la aplicación de seguimiento y a aplicar controles al pasar de un experimento a producción.

Tip

Revise la tarjeta de modelo MAI-Thinking-1 para conocer las funcionalidades, las limitaciones y los detalles de implementación actuales.

Adaptar el modelo a la experiencia del chat

El razonamiento puede mejorar las respuestas a preguntas difíciles, pero también puede requerir más procesamiento que una respuesta directa. Antes de elegir un modelo de pensamiento para cada mensaje, clasifique el trabajo que realiza la aplicación de chat.

Use un modelo de razonamiento cuando la solicitud requiera descomposición, cálculo, codificación, planificación o comparación entre varias restricciones. Para obtener respuestas sencillas, de extracción, enrutamiento o repetidas con frecuencia, evalúe si un modelo más rápido puede satisfacer el objetivo de calidad a menor latencia y costo.

Un proceso práctico de evaluación es:

1. Recopile conversaciones representativas de un solo turno y de varios turnos de la carga de trabajo prevista.
2. Defina lo que hace que una respuesta sea correcta, útil, segura y apropiadamente concisa.
3. Pruebe el modelo con las herramientas y el contexto que proporcionará la aplicación de producción.
4. Mida la finalización de tareas y los patrones de error, no solo lo fluida que suena la respuesta.
5. Compare la calidad, la latencia y el costo antes de seleccionar una implementación.

Note

Un modelo de razonamiento todavía puede cometer errores. Las aplicaciones que afectan a las personas, el dinero, la seguridad u otras decisiones de alto impacto necesitan base, evaluación, salvaguardias y supervisión humana adecuada.