Comprendre le cycle de vie de développement d’une application de modèle de langage
Maintenant que vous comprenez comment sélectionner un modèle et créer un prototype, il est temps de réfléchir à la mise à l’échelle pour les charges de travail réelles. Pour vous préparer à la mise à l’échelle, vous devez passer du prototype à la production, ce qui implique l’adoption du cycle de vie des opérations d’IA générative (GenAIOps).
L’IA générative (GenAI) applique des modèles préentraînés qui peuvent être affinés ou augmentés avec vos propres données pour créer du contenu en fonction de l’entrée utilisateur. Par rapport au développement d’applications IA traditionnel, ce changement éloigne le focus de la création de modèle et de la génération de contenu dynamique, ce qui apporte son propre ensemble de défis et d’opportunités de mise à l’échelle.
Examinons ce changement de paradigme avant de passer au cycle de vie de bout en bout des applications GenAI.
Comprendre le passage de MLOps à GenAIOps
L’application des principes et pratiques DevOps au développement de solutions Machine Learning n’est pas nouvelle. L’application de DevOps à l’apprentissage automatique traditionnel est appelée d’opérations Machine Learning ou MLOps. MLOps est une fusion du Machine Learning avec les pratiques DevOps pour couvrir les principaux composants d’un flux de travail Machine Learning : pipeline de données, entraînement de modèle et déploiement de modèle.
Générative AI Operations, ou GenAIOps, est un domaine spécialisé dans MLOps qui se concentre sur le développement et le déploiement d’applications intégrées à des modèles de langage.
| DevOps traditionnel | MLOps traditionnel | GenAIOps | |
|---|---|---|---|
| audiences | Développeurs d’applications | Ingénieurs ML et scientifiques des données | Ingénieurs ML et développeurs d’applications |
| ressources à partager | Bibliothèques et composants de code, API, environnements, fonctionnalités | Modèle, données, environnements, fonctionnalités | Modèles de langage, agents, plug-ins, invites, chaînes, API |
| Métriques/évaluations | Sécurité du code, validation des tests unitaires, latence, coût | Qualité (précision) et préjudice (biais) | Qualité (cohérence, pertinence), préjudice (fabrications, toxicité), honnête (fondement), coût (jeton par requête), latence (temps de réponse) |
| modèles ML | -- | Générer à partir de zéro | Prédéfini, affiné sert d’API |
Il existe plusieurs différences entre MLOps et GenAIOps :
Audiences : MLOps est principalement destiné aux scientifiques des données, tandis que GenAIOps a un public plus large, y compris les développeurs.
ressources générées : dans MLOps les ressources clés sont liées aux données et aux modèles, tandis que dans GenAIOps, il existe un focus sur les intégrations de modèles préentraînés avec des connecteurs de données, des fonctions, des plug-ins ou d’autres modèles de langage.
Métriques d’évaluation :
- Métriques de performances du modèle: dans les scénarios de Machine Learning traditionnels, nous pourrions calculer la distance entre les résultats prédits et réels, exprimées en termes de précision ou de perte de . Avec les modèles linguistiques, nous n’avons pas toujours une vérité de base, donc nous avons besoin de mesures de qualité différentes, telles que cohérence et pertinence des réponses.
- Métriques de performances des applications: GenAIOps inclut également un ensemble de métriques pour évaluer les performances de l’application, de même que ce qui se passe dans les devOps et MLOps traditionnels, comme coût, débitetlatence.
- mesures de risque et de sécurité: en plus des dommages connus, tels que le biais des données, les nouvelles fonctionnalités des modèles linguistiques apportent également de nouveaux risques liés à la génération de fabrications, d’informations incorrectes ou de messages offensants, qui nécessitent de nouvelles mesures de sécurité.
Les modèles sous-jacents : dans MLOps, les modèles sont couramment formés à partir de zéro, tandis que dans GenAIOps, nous utilisons des modèles préentraînés sur d’énormes volumes de données (par exemple, l’ensemble de l’Internet) et éventuellement affinés ou augmentés sur des données spécifiques.
Explorer le cycle de vie genAIOps
Le cycle de vie genAIOps est complexe, et tout ce qui est linéaire. C’est un processus itératif, reflétant la nature multiforme des applications réelles. Il comprend trois boucles principales, toutes unifiées par une quatrième boucle globale.
- Explorer : Où vous définir le besoin ou le cas d’usage de l’entreprise, et conception l’architecture, y compris les invites et les modèles nécessaires.
- Build : Où vous développer l’application initiale et évaluer itérativement pour atteindre des objectifs de qualité et de sécurité.
- Operationalize : Où vous déployer l’application pour une utilisation réelle, et fournir service fiable et responsable.
L’ensemble de ces phases est la boucle de gestion , qui se concentre sur la gouvernance, la sécurité et la conformité. Il s’agit d’un cadre qui équilibre la vitesse des livrables avec un respect strict des normes.
Ensuite, nous allons examiner chaque étape décrite pour faire partie du cycle de vie genAIOps, en couvrant les principaux outils qui vous aident pendant chaque phase spécifique.