生成 AI エージェントとモデルを展開する

この記事では、生成 AI アプリケーションの生成 AI エージェントおよびモデルを展開するための、Mosaic AI モデルサービングのサポートについて説明します。

生成 AI エージェントとは

生成 AI エージェントは、大規模言語モデルとユーザー入力に依存して、タスクの実行手順を決定する複合 AI システムです。「AI エージェントの作成とログ記録」を参照してください。

生成 AI モデルは、テキスト、画像、コードなどの入力から、新しいコンテンツを作成します。これらのモデルは大規模なデータセットに基づいてトレーニングされ、ディープラーニングを使用して既存データ内のパターンと構造を識別してから、学習した内容に基づいて新しいコンテンツを生成します。

基盤モデルは、生成 AI モデルの一種です。これらのモデルは、より具体的な言語の理解と生成タスク用にファインチューニングされることを意図して、事前トレーニングされています。

Databricks では、生成 AI エージェントを展開するための 2 つの方法がサポートされています。

開発中は、Mosaic AI Agent Framework の deploy() メソッドを使用します。このメソッドでは、自動的に次が作成されます。

運用アプリケーションの場合は、Mosaic AI モデルサービングを使用して、エージェントを展開するための独自の CPU エンドポイントを作成します。

これらのオプションの詳細については、「生成 AI アプリケーション用のエージェントを展開する」を参照してください。

Mosaic AI モデルサービングでは、次の機能を使用した生成 AI モデルの提供とクエリ実行がサポートされています。

基盤モデル API。この機能により、最新のオープンモデルとファインチューニングされたモデルバリアントを、モデルサービングエンドポイントで使用できるようになります。これらのモデルは、最適化された推論をサポートするキュレーションされた基盤モデルアーキテクチャです。 DBRX Instruct、Llama-2-70B-chat、BGE-Large、Mistral-7B などの基本モデルは、トークン単位の支払い価格ですぐに使用でき、ファインチューニングされたモデルバリアントなどのパフォーマンス保証を必要とするワークロードは、プロビジョニングされたスループットを使用して展開できます。
外部モデル。これらは、Databricks の外部でホストされる生成 AI モデルです。外部モデルを提供するエンドポイントは一元的に管理でき、顧客はレート制限とアクセス制御を確立できます。たとえば、OpenAI の GPT-4、Anthropic の Claude などの基盤モデルがあります。

Databricks の基盤モデルに対してクエリを実行する方法の概要チュートリアルについては、「Databricks で LLM のクエリを開始する」をご覧ください。