Introducción a la creación de aplicaciones GenIA en Databricks

Mosaic AI proporciona una plataforma completa para compilar, implementar y administrar aplicaciones GenAI. Este artículo le guía a través de los componentes y procesos esenciales que intervienen en el desarrollo de aplicaciones GenAI en Databricks.

Implementación y consulta de modelos de inteligencia artificial de generación de datos

Para casos de uso sencillos, puede servir y consultar directamente modelos de inteligencia artificial de generación de datos, incluidos modelos de código abierto de alta calidad, así como modelos de terceros de proveedores LLM, como OpenAI y Anthropic.

Mosaic AI Model Serving admite el servicio y la consulta de modelos de IA generativa mediante las siguientes funcionalidades:

• API de Foundation Model. Esta funcionalidad hace que los modelos abiertos de última generación y las variantes de modelo optimizadas estén disponibles para el punto de conexión de servicio del modelo. Estos modelos son arquitecturas de modelos fundamentales mantenidos que admiten la inferencia optimizada. Los modelos base, como DBRX Instruct, Llama-2-70B-chat, BGE-Large y Mistral-7B están disponibles para su uso inmediato con precios de pago por token y cargas de trabajo que requieren garantías de rendimiento, como variantes de modelo optimizadas, se pueden implementar con rendimiento aprovisionado.
• Modelos externos. Estos son modelos de IA generativa hospedados fuera de Databricks. Los puntos de conexión que sirven a modelos externos se pueden regular de forma centralizada y los clientes pueden establecer límites de velocidad y control de acceso para ellos. Algunos ejemplos son los modelos de base como GPT-4 de OpenAI, Claude de Anthropic y otros.

Consulte Creación de un modelo de IA generativa que atiende puntos de conexión

Mosaic AI Agent Framework

Mosaic AI Agent Framework comprende un conjunto de herramientas en Databricks diseñadas para ayudar a los desarrolladores a compilar, implementar y evaluar agentes con calidad de producción, como las aplicaciones de Generación aumentada de recuperación (RAG).

Es compatible con marcos de terceros como LangChain y LlamaIndex, lo que le permite desarrollar con su marco preferido y, al mismo tiempo, aprovechar el catálogo administrado de Unity de Databricks, el marco de evaluación del agente y otras ventajas de la plataforma.

Iteración rápida en el desarrollo del agente mediante las siguientes características:

• Cree y registre agentes mediante cualquier biblioteca y MLflow. Parametrice los agentes para experimentar e iterar rápidamente en el desarrollo del agente.
• El seguimiento del agente le permite registrar, analizar y comparar seguimientos en el código del agente para depurar y comprender cómo responde el agente a las solicitudes.
• Implemente agentes en producción con compatibilidad nativa con el registro de solicitudes y respuestas y el streaming de tokens, además de una aplicación de revisión integrada para obtener comentarios de los usuarios sobre el agente.