次の方法で共有

概念: Azure Databricks における生成AI

GenAI アプリは、生成 AI モデル (大きな言語モデル、画像生成モデル、テキスト読み上げモデルなど) を使用して、新しい出力を作成したり、複雑なタスクを自動化したり、ユーザー入力に基づいてインテリジェントな対話を行ったりするアプリケーションです。

GenAI アプリは、LLM やその他の GenAI モデルへの単純な呼び出し、または複雑な AI エージェントを利用できます。 複雑さのレベルについて詳しくは、こちらをご覧ください。

GenAI アプリのエージェント、ツール、評価、モデル、その他の側面は、独自のデータを使用してカスタマイズできます。 このデータドリブンカスタマイズは 、データ インテリジェンスにつながるため、缶式 AI モデルによって提供される一般的なインテリジェンスを超えることができます。

GenAI アプリケーション

ユーザー向けの GenAI アプリケーションは、次のような多くの形式をとることができます。

GenAI アプリケーションで成功するには、多くの場合、アプリケーション開発と AI 評価という 2 つのスキル セットが必要です。 GenAI アプリの開発は、AI 以外のアプリケーションの開発とよく似ています。アプリケーションの種類に依存するソフトウェア スキルが必要です。 ただし、GenAI アプリケーションの評価には、GenAI からの複雑さとオープンエンドの応答を処理するための特殊なツールと手法が必要です。

Azure Databricks で業界固有の GenAI アプリを構築する方法については、以下を参照してください。

GenAI の評価

GenAI モデル、エージェント、アプリケーションには、多くの場合、複雑なオープンエンド動作があります。 ユーザーは任意のクエリを入力できます。 AI エージェントは、実行中にテキストや画像などを収集できます。 出力には任意のテキスト、画像、またはその他のメディアを指定でき、多くの "適切な" 回答が存在する可能性があります。

これらの複雑さにより、GenAI の評価が困難になります。 適切な評価には次のものが必要です。

  • AI を使用して AI を評価する自動化
  • 専門家やユーザーからの人からのフィードバックを得て、地上の真実を収集し、自動評価を調整する
  • 複雑なエージェントを深く掘り下けて、動作を理解してデバッグする

Azure Databricks で管理される MLflow と関連するツールは、GenAI 評価の基礎を提供します。

Agents

エージェントまたはエージェント システムは、 目標を達成するために環境で自律的に認識、決定、および行動できる AI 駆動型システムです。 プロンプトが表示されたときにのみ出力を生成するスタンドアロン GenAI モデルとは異なり、エージェント システムにはある程度の エージェンシーがあります。 最新の AI エージェントは、次のようなシステムの "頭脳" として GenAI モデルを使用します。

  1. 別のエージェントからユーザー要求またはメッセージを受信します。
  2. 続行方法に関する理由: フェッチするデータ、適用するロジック、呼び出すツール、ユーザーにさらに入力を要求するかどうか。
  3. プランを実行し、場合によっては複数のツールまたはデリゲートをサブエージェントに呼び出します。
  4. 回答を返すか、ユーザーに追加の説明を求めます。

エージェント システムは 、一般的なインテリジェンス (GenAI モデルの事前トレーニング済み機能) と データ インテリジェンス (ビジネスに固有の専門的な知識と API) をブリッジすることで、高度なカスタマー サービス フロー、データ豊富な分析ボット、複雑な運用タスクに対するマルチエージェント オーケストレーションなどの影響の大きいエンタープライズ ユース ケースを実現します。

単純な GenAI モデルから複雑なエージェントまで、連続性があります。 詳細については、 エージェント システムの設計パターンに関するページを参照してください。

Azure Databricks には、エージェントを構築するためのさまざまなオプションが用意されています。完全にガイド付きから完全にカスタム化されています。

  • Agent Bricks は、 ナレッジ アシスタントや情報抽出などの主要なアプリケーション用のガイド付きエージェント ビルダーを提供します。
  • AI Playground には、生成されたエージェント コードをエクスポートできるツール呼び出しエージェントをプロトタイプ作成するための UI が用意されています。
  • Agent Framework を使用すると、カスタム コードまたはサード パーティのエージェント作成ライブラリを使用してエージェントをビルドおよびデプロイできます。

ツール

AI エージェントは、ツールを呼び出して情報を収集したり、アクションを実行したりできます。 ツールは、明確に定義されたタスクを実行するために LLM が呼び出すことができる単一操作関数です。 AI モデルは通常、各ツール呼び出しのパラメーターを生成し、ツールは入力と出力の簡単な対話を提供します。

一般的なツール カテゴリは次のとおりです。

  • データを取得または分析するツール
    • セマンティック取得: ベクター インデックスにクエリを実行して、関連するテキストまたはその他の非構造化データを検索します。
    • 構造化取得: SQL クエリを実行するか、API を使用して構造化情報を取得します。
    • Web 検索ツール: インターネットまたは内部 Web コーパスを検索します。
    • クラシック ML モデル: 機械学習モデルを呼び出して、分類、回帰、またはその他の予測を実行します。
    • GenAI モデル: コードやイメージなどの特殊な出力を生成します。
  • 外部システムの状態を変更するツール
    • API 呼び出し: CRM エンドポイント、内部サービス、またはその他のサードパーティ統合を呼び出します。
    • 電子メールまたはメッセージング アプリの統合: メッセージを投稿するか、通知を送信します。
  • ロジックを実行したり、特定のタスクを実行したりするツール
    • コードの実行: ユーザーが指定したコードまたは LLM によって生成されたコードをサンドボックスで実行します。

ツールはエージェント ロジックに組み込んだり、 MCP などの標準化されたインターフェイスを使用してアクセスしたりできます。

ツールとエージェント:

  • ツールは、明確に定義された 1 つの操作を実行します。 エージェントは、より多くのオープンエンド タスクを実行できます。
  • ツールは一般にステートレスであり、各呼び出しを超えて継続的なコンテキストを維持しません。 エージェントは、タスクを繰り返し解決するときに状態を維持します。

ツールのエラー処理と安全性:

各ツール呼び出しは API 呼び出しなどの外部操作であるため、システムは障害を適切に処理する必要があります。 タイムアウト、応答の形式が正しくない、または入力が無効な場合は、エージェント自体が完全に失敗しないようにしてください。 運用環境では、許可されるツール呼び出しの数を制限し、ツール呼び出しが失敗した場合はフォールバック応答を持ち、エージェント システムが同じ失敗したアクションを繰り返し試行しないようにガードレールを適用します。

Databricks の AI ツールの詳細については、以下をご覧ください。

GenAI モデルと LLM

大規模言語モデル (LLM) は、人間の言語について理解、生成、および推論できる大規模なテキスト データ セットでトレーニングされた AI モデルです。 LLM は、入力プロンプトに基づいてコンテキストに関連するテキストを予測して生成することで、チャットボット、コード アシスタント、コンテンツ生成ツールなどのアプリケーションを強化します。

より一般的には、GenAI モデルまたは基盤モデルは、テキスト以外のモードについて学習するために、大量のテキスト、画像、ビデオ、オーディオ、またはその他のデータでトレーニングされます。 マルチモーダル モデルは、画像、オーディオ、その他のメディアを使用して人間の言語を組み合わせて学習します。 LLM は GenAI または基盤モデルの一種ですが、これらの用語は多くの場合、緩やかに同じ意味で使用されます。

GenAI モデルは、GenAI エージェントとアプリの背後にあるインテリジェンスを提供します。 単純なアプリは、多くの場合、プロンプト エンジニアリングでカスタマイズされた 1 つのモデルを使用して構築されます。

Azure Databricks での GenAI モデルの使用について説明します。

プロンプト エンジニアリング

GenAI モデルでは、通常、プロンプトまたはユーザー入力の処理方法をモデルに指示する指示が表示されます。 プロンプトは、詳細な手順、専門知識、データ、およびその他の情報を使用して大幅にカスタマイズできます。

Azure Databricks には、迅速なエンジニアリングを行う柔軟な方法が用意されています。 例えば次が挙げられます。

  • Agent Bricks は、 データとフィードバックに基づいて、内部でのプロンプト エンジニアリングを自動化します。
  • AI Playground には、手動の対話型プロンプト エンジニアリング用の UI が用意されています。
  • MLflow Prompt Optimization と DSPy は 、データドリブン プロンプト最適化ルーチンを提供します。

モデルの微調整

GenAI モデルは、カスタム データを使用して特定のドメインまたはアプリケーションのモデルをカスタマイズする微調整によってカスタマイズすることもできます。

Azure Databricks には、モデルを微調整する柔軟な方法が用意されています。 例えば次が挙げられます。

GenAI プラットフォームとは

GenAI には、結合されたデータと AI プラットフォームが必要です。 開発者と管理者の両方にとって、GenAI の主要コンポーネントは、シンプルで統一されたプラットフォームで接続および管理する必要があります。

主なコンポーネントは次のとおりです。

  • モデル、エージェント、アプリなどの AI 資産
  • ファイル、テーブル、処理パイプライン、ベクター インデックス、機能ストアなどのデータ資産
  • モデルやエージェントのエンドポイントなどの AI デプロイ
  • AI とデータ資産を構築およびデプロイするためのツール

主要なガバナンス機能は次のとおりです。

GenAI と Databricks アーキテクチャのモザイク AI 機能も参照してください。

詳細情報

  • Last updated on