Résumé
Dans ce module, vous avez exploré le flux de travail complet pour sélectionner, déployer et évaluer les modèles Foundry. Vous avez appris à prendre des décisions éclairées sur la sélection de modèles à l’aide de benchmarks, comment déployer des modèles sur des points de terminaison et comment évaluer leurs performances à l’aide de différentes approches d’évaluation.
Points clés à prendre
Le catalogue de modèles du portail Microsoft Foundry fournit accès à plus de 1 900 modèles provenant de fournisseurs notamment Microsoft, OpenAI, Meta, Mistral et Hugging Face. Le filtrage efficace par collection, fonctionnalités, options de déploiement et autres attributs vous permet de limiter le catalogue aux modèles correspondant à vos besoins.
Les benchmarks de modèle offrent des comparaisons objective entre les dimensions qualité, sécurité, coût et performances. Les métriques de qualité telles que la précision, la cohérence et la fluidité évaluent la façon dont les modèles génèrent des réponses appropriées. Les métriques de sécurité identifient les risques liés au contenu dangereux. Les benchmarks de coût permettent d’équilibrer la qualité avec les contraintes budgétaires. Les métriques de performances telles que la latence et le débit indiquent une réactivité pour les applications en temps réel.
Les options de déploiement incluent l’API serverless pour la flexibilité du paiement par appel, les déploiements provisionnés pour des charges de travail à volume élevé cohérents, le calcul managé pour l’hébergement basé sur une machine virtuelle et le traitement par lots pour les travaux non interactifs optimisés pour les coûts. Chaque option offre des caractéristiques différentes pour la mise à l’échelle, la facturation et le contrôle.
Les tests dans le terrain de jeu fournissent des commentaires immédiats sur le comportement du modèle sans écrire de code. Testez vos requêtes, ajustez les paramètres et analysez les réponses afin d’évaluer les capacités du modèle avant son intégration dans des applications.
Les approches d’évaluation vont des tests manuels aux métriques automatisées. L’évaluation manuelle capture des aspects de qualité subjectifs tels que la satisfaction des utilisateurs et la pertinence contextuelle. Les métriques assistées par l’IA évaluent automatiquement les risques de qualité et de sécurité de génération. Les métriques NLP telles que le F1-score et le ROUGE fournissent une comparaison mathématique par rapport aux données de référence.
Les flux d’évaluation complets dans le portail Microsoft Foundry vous permettent d’exécuter des évaluations systématiques à l’aide de jeux de données de test et de plusieurs métriques. Les résultats identifient les points forts, les faiblesses et les domaines nécessitant une amélioration, guidant le développement itératif de vos applications d’IA génératives.
Prochaines étapes
Avec les modèles déployés et évalués, tenez compte des étapes suivantes :
Intégrez des modèles dans des applications à l’aide des kits SDK, des API REST et des exemples de code fournis dans le portail Microsoft Foundry. Vos applications peuvent désormais consommer des modèles déployés via des appels d’API authentifiés.
Implémentez la Génération Augmentée par Récupération (RAG) pour ancrer les réponses du modèle dans les données de votre organisation. RAG combine des modèles avec des fonctionnalités de recherche pour fournir des réponses précises et contextuellement pertinentes en fonction de vos documents et bases de connaissances.
Apply Azure AI Content Safety services pour ajouter une couche de protection supplémentaire contre le contenu dangereux. Les filtres de contenu peuvent bloquer les entrées et sorties inappropriées, en complément des fonctionnalités de sécurité au niveau du modèle.
Ajustez les modèles (lorsqu’ils sont pris en charge) sur votre domaine spécifique ou le cas d’usage pour améliorer les performances des scénarios spécialisés. Le réglage précis adapte les modèles à usage général à vos besoins uniques.
Surveillez la performance de production en utilisant Azure Monitor et Application Insights pour suivre l’utilisation, la latence, les coûts et les erreurs. La surveillance continue garantit que vos applications restent saines et performantes.
Itérer en fonction des commentaires des utilisateurs en collectant des données d’utilisation réelles et en effectuant des réévaluations périodiques. L’amélioration continue maintient vos applications IA génératives alignées sur les besoins des utilisateurs.
Les compétences que vous avez développées dans ce module , en sélectionnant les modèles appropriés, en les déployant efficacement et en évaluant leurs performances, constituent la base de la création d’applications d’IA génératives robustes et de haute qualité à l’aide de Microsoft Foundry.