拡張用の取得コンテキストを準備する

完了済み

Tip

詳細については、「 テキストと画像 」タブを参照してください。

RAG とは何か、どのような場合に使用するかを理解しました。 次のユニットでは、T-SQL で RAG ワークフローの各ステップを実装する方法について説明します。

次のシナリオを考えてみましょう。お客様が「先月購入したマウンテンバイクに適合するペダルはどれですか?」データベースのクエリを実行し、その順序を見つけ、自転車モデルを特定し、互換性のあるコンポーネントを見つけます。 このステップは、RAG: 取得の "R" を表します。 言語モデルのデータを取得して準備しましょう。 SQL からデータを取得する方法は多数ありますが、RAG の目的は、モデルに実際に使用できる構造化されたコンテキストを提供することです。

リレーショナル データを JSON に変換する

言語モデルは、リレーショナル構造ではなくテキストを処理します。 生のクエリ結果を渡した場合、モデルは列名、データ型、またはリレーションシップを解釈する方法がありません。 JSON は、構造をテキスト形式で保持することで、この問題を解決します。 フィールド名は値にアタッチされたままです。 入れ子になったオブジェクトはリレーションシップを表します。 モデルは "ProductName": "Mountain-500" を読み取り、その応答でその特定の製品を参照できます。

JSON は、物事を予測可能に保ちます。 モデルから回答が返されると、明示的に指定したフィールドから回答が返されたことがわかります。 代わりに非構造化テキストをダンプした場合、モデルが応答を作成するために使用する内容の制御が少なくなります。

FOR JSON を使用してクエリ結果を書式設定する

JSON 文字列を手動で作成する必要はありません。 SELECT の末尾に FOR JSON を追加するだけで、SQL で次の処理が実行されます。

  • FOR JSON AUTO は、クエリ構造に基づいて出力を書式設定します。 列名は自動的にフィールド名になります。

    SELECT Name, ListPrice, Color
    FROM Production.Product
    WHERE ProductID = @ProductID
    FOR JSON AUTO;
    

    このクエリは、次のようなものを返します。 [{"Name":"Mountain-500 Black, 48","ListPrice":564.99,"Color":"Black"}]

  • FOR JSON PATH では、JSON 構造を明示的に制御できます。 列のエイリアスを使用して、フィールド名と入れ子を定義します。

    SELECT 
        Name AS 'product.name',
        ListPrice AS 'product.price',
        Size AS 'product.size'
    FROM Production.Product
    WHERE ProductID = @ProductID
    FOR JSON PATH;
    

    このクエリは、次のようなものを返します。 [{"product":{"name":"Mountain-500 Black, 48","price":564.99,"size":"48"}}]

JSON 出力オプションを制御する

いくつかのオプションを使用すると、出力を整形できます。

  • WITHOUT_ARRAY_WRAPPER は、1 つのレコードを取得するときに角かっこを削除します。 このオプションは、一度に 1 つの顧客、1 つの製品、または 1 つの注文を取得することが多いため、RAG に役立ちます。

    SELECT Name, Description, Size, Weight
    FROM Production.Product
    WHERE ProductID = @ProductID
    FOR JSON PATH, WITHOUT_ARRAY_WRAPPER;
    
  • INCLUDE_NULL_VALUES は、null フィールドを省略するのではなく、出力に保持します。 意味のある値が欠けている場合には、このパラメーターを使用します。

  • ROOT('name') は、出力全体を名前付きルート要素にラップします。これは、モデルが受け取るデータの種類を理解するのに役立ちます。

含める内容を選択する

すべての列がコンテキストに属しているわけではありません。 たとえば、内部 ID、監査タイムスタンプ、倉庫コードは、顧客の質問に対してモデルが答えるのに役立ちません。 トークンを消費してノイズを生成するだけです。

製品に関する質問には、製品名、説明、仕様、および価格を含めます。 直接関連しない限り、rowguid、変更日、廃止フラグをスキップします。

トークンの制限も重要です。 送信するすべてのトークンは、モデルのコンテキストウィンドウに対してコストがかかり、カウントされます。 複数の製品を取得する場合は、各製品をシンプルに保ってください。 モデルは、含めることができるすべてのものよりも、焦点を絞ったコンテキストでより優れたパフォーマンスを発揮します。

複数のソースを結合する

RAG コンテキストは、多くの場合、複数のテーブルから取得されます。 ペダルの互換性に関する質問には、製品の詳細、仕様、および関連コンポーネントが必要です。 まず、ベクトル検索で関連する製品を見つけ、他のテーブルを結合して全体像を構築します。

実際には次のようになります。 まず、ユーザーの質問を埋め込みに変換します。 次に、 VECTOR_DISTANCE を使用して最も近い一致を検索し、関連するテーブルを結合し、すべてを JSON として書式設定します。

DECLARE @userQuestion NVARCHAR(1000) = 'Which pedals are compatible with the Mountain-500?';
DECLARE @questionVector VECTOR(1536);
DECLARE @context NVARCHAR(MAX);

-- Generate embedding for the question
SELECT @questionVector = AI_GENERATE_EMBEDDINGS(@userQuestion USE MODEL my_embedding_model);

-- Find relevant products and format as JSON
SET @context = (
    SELECT TOP 3
        p.Name AS ProductName,
        p.Color,
        p.Size,
        pc.Name AS Category,
        pm.Name AS Model
    FROM Production.Product p
    INNER JOIN Production.ProductSubcategory ps ON p.ProductSubcategoryID = ps.ProductSubcategoryID
    INNER JOIN Production.ProductCategory pc ON ps.ProductCategoryID = pc.ProductCategoryID
    INNER JOIN Production.ProductModel pm ON p.ProductModelID = pm.ProductModelID
    ORDER BY VECTOR_DISTANCE('cosine', p.DescriptionVector, @questionVector)
    FOR JSON PATH
);

@context変数には、プロンプトの準備が整った JSON 文字列が保持されるようになりました。 この JSON 文字列は、拡張用に書式設定された取得結果です。

重要なポイント

目標は、実際に使用できる言語モデルの構造化されたコンテキストを提供することです。 JSON では、データの意味が保持され、テキストとして読み取り可能な状態が維持されます。 迅速な結果を得たい場合は FOR JSON AUTO を使用し、フィールド名と入れ子を制御する必要がある場合は FOR JSON PATH を使用します。 単一レコード クエリの WITHOUT_ARRAY_WRAPPER を追加します。 モデルに必要な列のみを含めることで、JSON をコンパクトに保ちます。 ノイズが少ないということは、より良い回答とトークンコストの削減を意味します。