Conversation et raisonnement

Terminée

Tip

Pour plus d’informations, consultez l’onglet Texte et images !

Les applications de conversation vont de la réponse aux questions simples aux conversations qui nécessitent une planification, une analyse et une utilisation de l’outil. Lorsqu’une expérience conversationnelle doit résoudre un problème complexe plutôt que de simplement produire une réponse fluide, un modèle de raisonnement constitue un choix approprié.

MAI-Thinking-1

MAI-Thinking-1 est le premier modèle de raisonnement de l’IA de Microsoft. Il a été construit à partir de zéro pour les mathématiques graves, le codage, l’ingénierie logicielle et le déploiement d’entreprise réel. Son architecture de mélange d’experts active un sous-ensemble de ses paramètres globaux pendant l’inférence, ce qui lui donne une empreinte d’inférence plus petite qu’un modèle dense de taille similaire.

MAI-Thinking-1 est conçu pour les charges de travail telles que :

• Résoudre des problèmes mathématiques et logiques à plusieurs étapes.
• Analyse des exigences et production ou révision du code.
• Planification d’une séquence d’actions pour un agent.
• Synthèse des informations pour prendre en charge une décision d’entreprise.
• Maintien du contexte dans une conversation de résolution de problèmes à plusieurs tours.

Le modèle est intégré aux fonctionnalités de Microsoft Foundry pour l’évaluation, l’observabilité, la sécurité et le déploiement. Ces fonctionnalités permettent aux équipes d’évaluer la qualité des sorties, de suivre le comportement de l’application et d’appliquer des contrôles lors du passage d’une expérience à la production.

Tip

Passez en revue la carte de modèle MAI-Thinking-1 pour connaître les fonctionnalités actuelles, les limitations et les détails du déploiement.

Associer le modèle à l’expérience de chat

Le raisonnement peut améliorer les réponses aux questions difficiles, mais il peut également nécessiter plus de traitement qu’une réponse directe. Avant de choisir un modèle de réflexion pour chaque message, classifiez le travail effectué par votre application de conversation.

Utilisez un modèle de raisonnement lorsque la requête nécessite la décomposition, le calcul, le codage, la planification ou la comparaison entre plusieurs contraintes. Pour une extraction simple, un routage ou des réponses fréquemment répétées, évaluez si un modèle plus rapide peut répondre à la cible de qualité à une latence et un coût moindres.

Un processus d’évaluation pratique est le suivant :

1. Collectez des conversations à tour unique et multitour représentatives à partir de la charge de travail prévue.
2. Définissez ce qui rend une réponse correcte, utile, sûre et correctement concise.
3. Testez le modèle avec les outils et le contexte fournis par l’application de production.
4. Mesurez l’exécution des tâches et les types d’erreurs, et pas seulement la fluidité apparente de la réponse.
5. Comparez la qualité, la latence et le coût avant de sélectionner un déploiement.

Note

Un modèle de raisonnement peut encore faire des erreurs. Les applications qui affectent les personnes, l’argent, la sécurité ou d’autres décisions à fort impact ont besoin d’un fondement, d’une évaluation, d’une protection et d’une surveillance humaine appropriée.