在 Databricks 上生成 Gen AI 应用简介

Mosaic AI 提供了全面的平台，用于生成、部署和管理 GenAI 应用程序。 本文指导你完成在 Databricks 上开发 GenAI 应用程序所涉及的基本组件和过程。

部署和查询生成式 AI 模型

对于简单的用例，可以直接提供和查询生成式 AI 模型，包括高质量的开放源代码模型以及 LLM 提供程序（如 OpenAI 和 Anthropic）的第三方模型。

Mosaic AI 模型服务支持使用以下功能来提供和查询生成式 AI 模型：

• 基础模型 API。 此功能使最先进的开放模型和经过微调的模型变体可供你的模型服务终结点使用。 这些模型是支持优化推理的特选基础模型体系结构。 基本模型（如 DBRX 指令、Meta-Llama-3.1-70B-Instruct、GTE-Large 和 Mistral-7B）可用于立即用于按令牌付费定价，以及需要性能保证的工作负载（如微调模型变体），可以使用预配的吞吐量进行部署。
• 外部模型。 这些是在 Databricks 外部托管的生成式 AI 模型。 可以集中管理为外部模型提供服务的终结点，客户可以为其建立速率限制和访问控制。 示例包括 OpenAI 的 GPT-4、Anthropic 的 Claude 等基础模型。

请参阅创建生成式 AI 模型服务终结点。

Mosaic AI 代理框架

Mosaic AI 代理框架包括 Databricks 上的一组工具，这些工具旨在帮助开发人员构建、部署和评估生产质量代理，例如检索增强生成 (RAG) 应用程序。

它与 LangChain 和 LlamaIndex 等第三方框架兼容，允许你使用首选框架进行开发，同时利用 Databricks 的托管 Unity Catalog、代理评估框架和其他平台优势。

使用以下功能快速迭代代理开发：

• 使用任何库和 MLflow 创建和记录代理。 将代理参数化以快速试验和迭代代理开发。
• 代理跟踪使你能够记录、分析和比较代理代码中的跟踪，从而调试和了解代理如何响应请求。
• 使用 DSPy 提高代理质量。 DSPy 可以自动进行提示工程和微调，以提高 GenAI 代理的质量。
• 部署代理到生产环境，并提供对令牌流式处理和请求/响应日志记录的本机支持，以及内置的评审应用，以获取代理的用户反馈。