Resumen
En este módulo, ha explorado el flujo de trabajo completo para seleccionar, implementar y evaluar modelos desde el catálogo de modelos del portal de Microsoft Foundry. Ha aprendido a tomar decisiones fundamentadas sobre la selección de modelos mediante pruebas comparativas, cómo implementar modelos en puntos de conexión y cómo evaluar su rendimiento mediante diversos enfoques de evaluación.
Conclusiones clave
El catálogo de modelos del portal de Microsoft Foundry proporciona acceso a más de 1900 modelos de proveedores como Microsoft, OpenAI, Meta, Mistral y Hugging Face. El filtrado efectivo por recopilación, funcionalidades, opciones de implementación y otros atributos le ayuda a restringir el catálogo a los modelos que coincidan con sus requisitos.
Las pruebas comparativas de modelos ofrecen comparaciones objetivas entre dimensiones de calidad, seguridad, costo y rendimiento. Las métricas de calidad, como la precisión, la coherencia y la fluidez, evalúan cómo los modelos generan las respuestas adecuadas. Las métricas de seguridad identifican los riesgos relacionados con el contenido dañino. Las pruebas comparativas de costos ayudan a equilibrar la calidad con restricciones presupuestarias. Las métricas de rendimiento, como la latencia y el rendimiento, indican la capacidad de respuesta de las aplicaciones en tiempo real.
Entre las opciones de implementación se incluyen la API sin servidor para la flexibilidad de pago por llamada, las implementaciones aprovisionadas para cargas de trabajo coherentes de gran volumen, el proceso administrado para el hospedaje basado en máquinas virtuales y el procesamiento por lotes para trabajos no interactivos optimizados para costos. Cada opción ofrece características diferentes para el escalado, la facturación y el control.
Las pruebas en el área de juegos proporcionan comentarios inmediatos sobre el comportamiento del modelo sin escribir código. Puede experimentar con avisos, ajustar parámetros y observar respuestas para comprender las funcionalidades del modelo antes de integrarlas en aplicaciones.
Los enfoques de evaluación van desde pruebas manuales hasta métricas automatizadas. La evaluación manual captura aspectos de calidad subjetivas, como la satisfacción del usuario y la idoneidad contextual. Las métricas asistidas por IA evalúan automáticamente los riesgos de calidad y seguridad de la generación. Las métricas de NLP, como la puntuación F1 y ROUGE, proporcionan una comparación matemática con los datos de referencia.
Los flujos de evaluación completos en el portal de Microsoft Foundry permiten ejecutar evaluaciones sistemáticas mediante conjuntos de datos de prueba y varias métricas. Los resultados identifican puntos fuertes, debilidades y áreas que requieren mejora, lo que guía el desarrollo iterativo de las aplicaciones de IA generativas.
Pasos siguientes
Con los modelos implementados y evaluados, tenga en cuenta estos pasos siguientes:
Integre modelos en aplicaciones mediante los SDK, las API REST y los ejemplos de código proporcionados en el portal de Microsoft Foundry. Las aplicaciones ahora pueden consumir modelos implementados a través de llamadas API autenticadas.
Implemente Recuperación de Generación Aumentada (RAG) para fundamentar las respuestas del modelo en los datos de su organización. RAG combina modelos con funcionalidades de búsqueda para proporcionar respuestas precisas y contextualmente relevantes en función de los documentos y las bases de conocimiento.
Apply Azure AI Content Safety servicios para agregar una capa adicional de protección contra contenido dañino. Los filtros de contenido pueden bloquear entradas y salidas inapropiadas, complementando las características de seguridad de nivel de modelo.
Ajuste los modelos (cuando sea compatible) a su dominio o caso de uso específico para usar los modelos mejorados en escenarios especializados. La afinación adapta los modelos de uso general a sus requisitos únicos.
Monitor rendimiento de producción mediante Azure Monitor y Application Insights para realizar un seguimiento del uso, la latencia, los costos y los errores. La supervisión continua asegura que tus aplicaciones se mantengan saludables y con un buen rendimiento.
Iteración en función de los comentarios de los usuarios mediante la recopilación de datos de uso del mundo real y la realización de evaluaciones periódicas. La mejora continua mantiene las aplicaciones de IA generativas alineadas con las necesidades del usuario.
Las aptitudes desarrolladas en este módulo, que seleccionan los modelos adecuados, los implementan de forma eficaz y evalúan su rendimiento, forman la base para crear aplicaciones sólidas de inteligencia artificial generativa de alta calidad mediante Microsoft Foundry.