部署生成式 AI 代理和模型

本文介绍 Mosaic AI 模型服务支持为生成式 AI 应用程序部署生成式 AI 代理和模型。

什么是生成式 AI 代理？

生成式 AI 代理是复合 AI 系统，依赖于大型语言模型和用户输入来确定执行任务所要执行的步骤。请参阅创建和记录 AI 代理。

生成式 AI 模型基于文本、图像和代码等输入创建新内容。这些模型使用大型数据集进行训练，并运用深度学习来识别现有数据中的模式和结构，然后根据它们学到的知识生成新内容。

基础模型是一种生成式 AI 模型。这些模型经过预先训练，目的是对其进行微调，以适应更具体的语言理解和生成任务。

Databricks 支持两种方法来部署生成式 AI 代理：

在开发过程中，在 Mosaic AI 代理框架中使用 deploy() 方法。此方法会自动创建以下内容：

对于生产应用程序，请使用 Mosaic AI 模型服务创建自己的 CPU 终结点来部署代理。

有关这些选项的更多详细信息，请参阅为生成式 AI 应用程序部署代理。

Mosaic AI 模型服务支持使用以下功能来提供和查询生成式 AI 模型：

基础模型 API。此功能使最先进的开放模型和经过微调的模型变体可供你的模型服务终结点使用。这些模型是支持优化推理的特选基础模型体系结构。可通过“按令牌付费”定价立即使用基本模型（如 DBRX Instruct、Llama-2-70B-chat、BGE-Large 和 Mistral-7B），而需要性能保证的工作负载（例如经过微调的模型变体）可以使用“预配的吞吐量”进行部署。
外部模型。这些是在 Databricks 外部托管的生成式 AI 模型。可以集中管理为外部模型提供服务的终结点，客户可以为其建立速率限制和访问控制。示例包括 OpenAI 的 GPT-4、Anthropic 的 Claude 等基础模型。

有关如何在 Databricks 上查询基础模型的入门教程，请参阅开始在 Databricks 上查询 LLM。