Capacidades de Mosaic AI para aplicaciones de IA generativas

Mosaic AI es una plataforma para compilar, evaluar, implementar y supervisar aplicaciones de IA generativas (aplicaciones de inteligencia artificial de generación). Reúne un conjunto de herramientas que abordan los desafíos del desarrollo de aplicaciones de inteligencia artificial de nivel empresarial. Mosaic AI se integra con marcos de código abierto populares, agregando herramientas operativas, observabilidad y gobernanza de nivel empresarial, conocidas colectivamente como LLMOps.

Introducción a los componentes de mosaic AI

Model Serving le ayuda a:

• Implementación y consulta de modelos y aplicaciones de inteligencia artificial de generación mediante una interfaz unificada
• Gobernanza y supervisión de implementaciones

La evaluación del agente le ayuda a:

• Iteración rápida a alta calidad en el bucle de desarrollo.
• Supervisar y corregir la calidad durante la producción.
• Recopile información y comentarios de expertos en la materia sobre la calidad de la aplicación gen AI.
• Administrar conjuntos de datos de evaluación para definir y medir la calidad.

Agent Framework le permite:

• Despliegue el código y la configuración de su aplicación gen AI, registrados como modelos de MLflow, en endpoints de servicio preparados para producción con una sola línea de código.

MLflow proporciona funcionalidades para:

• Configure sus aplicaciones de inteligencia artificial generativa para proporcionar observabilidad y telemetría.
• Registre el código y la configuración de la aplicación de inteligencia artificial generativa para gestionar su ciclo de vida.
• Cree agentes que usan una amplia variedad de marcos, como langchain, langgraph, crewAI, SDK de OpenAI.

Habilitación de la inteligencia de datos

La plataforma De inteligencia de datos de Databricks aprende sobre los datos y usa esa información para ayudarle, a la vez que proporciona una gobernanza y seguridad sólidas:

• Búsqueda vectorial: indexe automáticamente la base de conocimiento a escala para la similitud o la búsqueda híbrida.
• Genie: use lenguaje natural para consultar los datos estructurados.
• SQL sin servidor: integra las fuentes de datos existentes en tu aplicación de inteligencia artificial generativa para análisis o transformaciones.

• Tablas online: acceda a las características en tiempo real dentro de la aplicación de IA generativa.

Cómo Mosaic AI habilita el desarrollo de aplicaciones de IA generativa

Mosaic AI le ayuda a resolver algunos de los desafíos del desarrollo de aplicaciones de inteligencia artificial de generación.

Gobernanza integral a través de los datos y la inteligencia artificial

Estrecha integración con Unity Catalog para proporcionar una única fuente de verdad para la gobernanza de datos e inteligencia artificial:

• Funciones del catálogo de Unity: gobernanza para las herramientas basadas en PYTHON y SQL del sistema del agente.
• Modelos de catálogo de Unity: gobernanza para el código y la configuración del sistema del agente.
• Conexiones de Unity Catalog: gobernanza para las API internas y externas utilizadas por el sistema de agentes.

Telemetría unificada y observabilidad en todas las aplicaciones de IA de última generación implementadas dentro y fuera de Databricks:

• El seguimiento de MLflow permite instrumentar las aplicaciones de IA generativa para recopilar datos de telemetría y observabilidad, destinados a la auditoría, evaluación y supervisión de la calidad.
• AI Gateway permite realizar un seguimiento del uso, registrar solicitudes, trazas y comentarios de los usuarios.

Lakeguard proporciona un entorno de ejecución de código de espacio aislado para que las herramientas respeten la gobernanza y las ACL del catálogo de Unity.

Entregas de calidad de producción

Fácil de colaborar con expertos en la materia (PYME) para recopilar información para informar sobre la definición de la calidad.

• La evaluación del agente proporciona interfaces de usuario integradas para permitir a los expertos en la materia etiquetar los datos de evaluación y entrenamiento y proporcionar retroalimentación sobre los resultados de la app de inteligencia artificial generativa.
• El monitoreo de las interfaces de usuario ayuda a analizar las interacciones de las PYMEs y transformar comentarios valiosos en datos de evaluación estructurados para la mejoría continua.
• Puede aprovechar las características de evaluación y supervisión de Mosaic AI tanto si implementa la aplicación en Databricks como en otro lugar.

Medición de calidad, precisa y rápida en desarrollo y producción, para aplicaciones de inteligencia artificial generativa implementadas tanto en Databricks como fuera de Databricks.

• Con Evaluación de Agentes:
  • Los conjuntos de evaluación se usan para definir y medir el estándar de calidad.
  • Los jueces de inteligencia artificial miden la calidad e identifican las causas principales de los problemas de calidad.
  • Supervisión del agente para evaluar automáticamente la calidad de las implementaciones de producción mediante jueces de LLM.
  • Supervisión de la interfaz de usuario para identificar y depurar problemas de calidad durante la producción.

Herramientas de desarrollo rápidas que reducen el tiempo de desarrollo

• Evaluación del agente
  • La generación de conjuntos de evaluación sintéticos proporciona datos de evaluación de alta calidad para probar y evaluar la calidad de las aplicaciones de inteligencia artificial de generación antes de interactuar con las PYME.
  • La funcionalidad de evaluación facilita la evaluación rápida de la calidad mediante los jueces de LLM y los conjuntos de datos de evaluación.
• Agent Framework: implemente el código y la configuración de la aplicación gen AI, registrados como modelos de MLflow, en APIs de servicio listas para producción hospedadas en el servicio de modelos usando una sola línea de código.
• AI Playground: Sandboxed UI para interactuar con una aplicación desplegada.

Compatibilidad de código abierto en Mosaic AI

Con Mosaic AI, puede escalar las aplicaciones de inteligencia artificial de generación para uso empresarial, independientemente del marco de código abierto con el que empiece.

Mosaic AI complementa , pero no reemplaza las bibliotecas y SDK de IA de código abierto existentes, como:

• OpenAI
• LangChain
• LangGraph
• AutoGen
• LlamaIndex
• CrewAI
• Kernel semántico
• DSPy

Si prefiere compilar aplicaciones de inteligencia artificial de generación desde cero, Mosaic AI admite soluciones personalizadas de solo Python sin ningún marco necesario.

Ver más

• Introducción a las aplicaciones de inteligencia artificial generativa en Databricks
• Patrones de diseño del sistema del agente
• Principales desafíos en la creación de aplicaciones de inteligencia artificial de generación