データベース コンテキストを使用してプロンプトを拡張する

完了済み

Tip

詳細については、「 テキストと画像 」タブを参照してください。

取得では、データを取得します。 しかし、JSON BLOB 自体は誰の質問にも答えません。 顧客が自転車ペダルの互換性について尋ねると、データベースから製品情報が得られますが、言語モデルに何をすべきかを伝える必要があります。 このステップは、RAG: 拡張の "A" を表します。

チャット メッセージの構造を理解する

モデルによって API が異なりますが、ほとんどのチャット ベースのモデルは同様のパターンに従います。 この例では Azure OpenAI を使用していますが、概念は広く適用されます。

Azure OpenAI チャット モデルでは、ロールを持つメッセージが必要です。 システム ロールは、アシスタントの動作を定義します。 ユーザー ロールには、元の質問と、モデルが回答を得るデータベース コンテキストが含まれています。 必要に応じて、 アシスタント ロールは複数ターンの会話で以前の応答を保持できます。 プロンプト構造の簡略化された例を次に示します。

{
  "messages": [
    {
      "role": "system",
      "content": "You are a helpful assistant that answers questions about products. Use only the provided context to answer. If the context doesn't contain enough information, say so."
    },
    {
      "role": "user", 
      "content": "Context: {retrieved_data}\n\nQuestion: {user_question}"
    }
  ]
}

この例では、 {retrieved_data} は製品クエリから作成した JSON であり、 {user_question} は "Mountain-500 と互換性のあるペダルはどれですか?

システム メッセージは、グラウンド ルールを設定します。 ユーザー メッセージは、データベース コンテキストと実際の質問を組み合わせたものになります。

T-SQL でのビルド プロンプト

この JSON はアプリケーション コードでビルドできますが、多くの場合、すべての JSON をデータベースに保持すると便利です。 取得クエリ、コンテキストの書式設定、プロンプトの構築が一緒に実行され、T-SQL の JSON_OBJECT 関数と JSON_ARRAY 関数が JSON の書式設定を処理します。

DECLARE @userQuestion NVARCHAR(1000) = 'Which pedals are compatible with the Mountain-500?';

-- @context contains retrieved product data as JSON from the retrieval step

DECLARE @systemMessage NVARCHAR(MAX) = 'You are a customer service assistant for Adventure Works. Answer questions using only the provided product information. Be concise and helpful.';

DECLARE @userMessage NVARCHAR(MAX) = 'Product information: ' + @context + CHAR(10) + CHAR(10) + 'Customer question: ' + @userQuestion;

DECLARE @payload NVARCHAR(MAX) = JSON_OBJECT(
    'messages': JSON_ARRAY(
        JSON_OBJECT('role': 'system', 'content': @systemMessage),
        JSON_OBJECT('role': 'user', 'content': @userMessage)
    ),
    'max_tokens': 500,
    'temperature': 0.7
);

@payload変数に、Azure OpenAI API 用の完全な要求本文が含まれるようになりました。

データ内のモデルを接地する

Grounding は、データを信頼できるソースとして使用するようにモデルに指示します。 これを使用しないと、モデルはトレーニング データに依存する可能性があります。これは、ドメインの古いデータや間違っている可能性があります。 Adventure Works の自転車の保証について尋ねるお客様は、インターネットから一般的な保証情報を取得しないでください。

適切な基になる手順では、スコープを設定し ("提供された製品データのみを使用する")、正直さを奨励し ("十分な情報がない場合は、そう言う")、形式を指定できます ("100 語未満の応答を保持する")。 システム ロールの例を次に示します。

DECLARE @systemMessage NVARCHAR(MAX) = 
'You are an Adventure Works product expert. Follow these rules:
1. Answer only using the product information provided
2. Do not invent features or specifications
3. If information is missing, tell the customer you''ll need to check
4. Keep responses under 100 words
5. Suggest related products when relevant';

これらの手順は、モデルに集中し続け、有用で正確な回答を提供するのに役立ちます。

モデルの動作を制御する

要求ペイロードには、モデルによる応答の生成方法に影響を与えるパラメーターがいくつか含まれています。

  • max_tokens は応答の長さを制限します。 詳細な製品回答については、500 から 1,000 が適切に機能します。
  • temperature は、0 から 2 のスケールで創造性を制御します。 値を小さく (0.3 から 0.5) すると、より一貫性のある事実に基づく応答が生成されます。 値を大きくすると、モデルはよりクリエイティブになり、通常は RAG には必要ありません。

トークンと温度を制御すると、データに接地されたときにモデルが予測どおりに動作することを保証できます。

完全なペイロードを構築する

Adventure Works テーブルを使用して、製品の質問に対する RAG プロンプトを作成する方法を次に示します。

DECLARE @userQuestion NVARCHAR(1000) = 'Which pedals are compatible with the Mountain-500?';
DECLARE @questionVector VECTOR(1536);
DECLARE @context NVARCHAR(MAX);
DECLARE @payload NVARCHAR(MAX);

-- Generate embedding for the question
SELECT @questionVector = AI_GENERATE_EMBEDDINGS(@userQuestion USE MODEL my_embedding_model);

-- Get product context using vector search
SET @context = (
    SELECT TOP 3
        p.Name AS ProductName,
        p.Color,
        p.Size,
        pc.Name AS Category,
        pm.Name AS Model
    FROM Production.Product p
    INNER JOIN Production.ProductSubcategory ps ON p.ProductSubcategoryID = ps.ProductSubcategoryID
    INNER JOIN Production.ProductCategory pc ON ps.ProductCategoryID = pc.ProductCategoryID
    INNER JOIN Production.ProductModel pm ON p.ProductModelID = pm.ProductModelID
    ORDER BY VECTOR_DISTANCE('cosine', p.DescriptionVector, @questionVector)
    FOR JSON PATH
);

-- Build the prompt
SET @payload = JSON_OBJECT(
    'messages': JSON_ARRAY(
        JSON_OBJECT(
            'role': 'system', 
            'content': 'You are an Adventure Works product assistant. Use only the provided product data to answer questions.'
        ),
        JSON_OBJECT(
            'role': 'user', 
            'content': 'Product data: ' + @context + CHAR(10) + 'Question: ' + @userQuestion
        )
    ),
    'max_tokens': 500,
    'temperature': 0.5
);

@payload変数には、モデルに必要なすべてのものが含まれるようになりました。接地手順、取得した製品データ、顧客の質問です。 必要なのは、モデル エンドポイントに送信し、応答を処理するだけです。

重要なポイント

プロンプトは、情報検索が活用される場面です。 JSON コンテキストは、その使用方法をモデルに指示しない限り、何も意味しません。 モデルがデータに固定されるように、システム メッセージに明確な接地規則を設定します。 実際の答えのために温度を低く保ちます。 T-SQL で有効な JSON ペイロードを直接構築するには、 JSON_OBJECT と JSON_ARRAY を使用します。