RAG 応答を生成して処理する

完了済み

Tip

詳細については、「 テキストと画像 」タブを参照してください。

お客様は、Mountain-500 バイクに適合するペダルを知りたいと考えています。 ベクター検索を使用して、関連する製品を検索し、JSON として書式設定し、接地手順を含むプロンプトを作成します。 取得と拡張の手順が実行されます。 RAG: generation の "G" が登場しました。 この手順では、すべてを言語モデルに送信し、回答を返します。

次のように考えてみましょう。あなたはすべての成分(取得されたデータ)を収集し、レシピ(拡張プロンプト)を準備し、今度はそれをオーブンに入れて(モデルを呼び出します)、最終的な皿(応答)を焼きます。 モデルでは、指定したコンテキストを使用して、根拠のある回答が生成されます。

SQL からモデルを呼び出す

この手順では、T-SQL を終了してアプリケーション コードを記述する必要があると思われる場合があります。 ただし、SQL Server と Azure SQL Database は、 sp_invoke_external_rest_endpointを使用して REST エンドポイントを直接呼び出すことができます。 このストアド プロシージャは、HTTPS 要求を外部サービスに送信し、応答を返します。 ストアド プロシージャは Azure SQL Database で既定で有効になっており、 sp_configureを使用して SQL Server 2025 で有効にすることができます。

基本的なパターンを次に示します。

DECLARE @response NVARCHAR(MAX);
DECLARE @returnValue INT;

EXECUTE @returnValue = sp_invoke_external_rest_endpoint
    @url = N'https://<endpoint>.openai.azure.com/openai/deployments/<model>/chat/completions?api-version=<api-version>',
    @method = 'POST',
    @payload = @payload,
    @credential = [https://<endpoint>.openai.azure.com],
    @response = @response OUTPUT;

@url パラメーターは、Azure OpenAI デプロイ エンドポイントを指します。 @methodは、通常、生成要求の場合は 'POST' です。 @payloadには、前にビルドした JSON プロンプトが含まれています。 @credentialは、認証の詳細を保持するデータベース スコープの資格情報を参照します。 @response出力パラメーターは、モデルの応答をキャプチャします。

拡張プロンプトを使用してモデルのデプロイ エンドポイントを呼び出すと、モデルによって処理され、結果が返されます。 ストアド プロシージャは、2xx 状態コードで HTTP 呼び出しが成功すると 0 を返し、失敗した場合は実際の HTTP 状態コードを返します。

エンドポイントで認証する

@credential パラメーターは、認証の詳細を保持するデータベース スコープの資格情報を参照します。 これらの資格情報は、マネージド ID または API キーを使用して外部モデルを作成するときに設定します。 同じ資格情報は、 sp_invoke_external_rest_endpointを使用した外部モデル呼び出しと直接 REST エンドポイント呼び出しの両方に対して機能します。

応答から回答を抽出する

モデルがプロンプトの処理を終了すると、 sp_invoke_external_rest_endpoint は標準エンベロープでラップされた結果を返します。 ストアド プロシージャは、HTTP トランザクションに関するメタデータを追加し、実際の API 応答を result プロパティ内に入れ子にします。

{
  "response": {
    "status": {
      "http": {
        "code": 200,
        "description": "OK"
      }
    }
  },
  "result": {
    "choices": [
      {
        "message": {
          "role": "assistant",
          "content": "The Mountain-500 is compatible with several pedal options..."
        }
      }
    ]
  }
}

あなたが望む答えは $.result.choices[0].message.contentにあります。 そこに到達するには、JSON からスカラー値を抽出する JSON_VALUEを使用します。

IF @returnValue = 0
BEGIN
    DECLARE @answer NVARCHAR(MAX);
    SET @answer = JSON_VALUE(@response, '$.result.choices[0].message.content');
    SELECT @answer AS AssistantResponse;
END
ELSE
BEGIN
    SELECT 
        @returnValue AS HttpStatus,
        JSON_VALUE(@response, '$.response.status.http.description') AS ErrorDescription;
END

1 つの値ではなく JSON オブジェクトまたは配列を抽出する必要がある場合は、代わりに JSON_QUERY を使用します。 ほとんどの RAG シナリオでは、メッセージコンテンツの JSON_VALUE が必要です。

エラーと再試行を管理する

データベースから外部サービスを呼び出すと、ローカル クエリでは発生しないエラー モードが発生する可能性があります。 エンドポイントが一時的に使用できないか、要求のレートが制限されたり、認証が失敗したりする可能性があります。 SQL クエリでは、これらの条件を適切に処理する必要があります。

sp_invoke_external_rest_endpointからの戻り値は、何が起こったかを示します。 0 は、HTTP 呼び出しが 2xx 状態で成功したことを意味します。 エラーの場合、戻り値は HTTP 状態コード自体です。 たとえば、429 ステータスは、サービスによって要求がスロットリングされていることを示しています。 401 または 403 は、資格情報の問題を指しています。

IF @returnValue = 0
    SET @answer = JSON_VALUE(@response, '$.result.choices[0].message.content');
ELSE IF @returnValue = 429
    RAISERROR('Service is busy. Try again later.', 16, 1);
ELSE IF @returnValue = 401 OR @returnValue = 403
    RAISERROR('Authentication failed. Check your credential configuration.', 16, 1);
ELSE
BEGIN
    DECLARE @errorMsg NVARCHAR(500) = 'API call failed with status ' + CAST(@returnValue AS NVARCHAR(10));
    RAISERROR(@errorMsg, 16, 1);
END

タイムアウトや一時的なサービスが利用できないなどの一時的なエラーの場合、ストアド プロシージャは自動的に再試行できます。 @retry_count パラメーターを追加します。この例では、呼び出しを最大 3 回試行してから、終了します。

EXECUTE @returnValue = sp_invoke_external_rest_endpoint
    @url = @url,
    @payload = @payload,
    @credential = @credentialName,
    @retry_count = 3,
    @response = @response OUTPUT;

このパラメーターは、要求が 1 回失敗したが、次の試行で成功する一般的なケースを処理します。

完全な RAG ストアド プロシージャを作成する

あなたは今、RAGパズルの各部分を知っている。 それらを、カスタマー サポート アプリケーションが呼び出すことができる 1 つのストアド プロシージャにまとめてみましょう。 この手順では、自然言語の質問を受け入れ、製品データに基づいている回答を返します。

この手順の実行内容を次に示します。

  1. 質問を埋め込み形式に変換して、製品の説明と比較できるようにします。
  2. ベクター距離を使用して最も関連性の高い製品を検索し、質問の埋め込みを各製品の事前計算済み説明埋め込みと比較します。
  3. 指定されたデータに従うようにモデルに指示するシステム メッセージと、取得した製品と元の質問を組み合わせたユーザー メッセージを含むプロンプトを作成します。
  4. すべてを Azure OpenAI に送信します。
  5. 応答から回答を抽出し、呼び出し元に返します。
CREATE PROCEDURE dbo.AskProductQuestion
    @Question NVARCHAR(1000),
    @Answer NVARCHAR(MAX) OUTPUT
AS
BEGIN
    SET NOCOUNT ON;

    DECLARE @questionVector VECTOR(1536);
    DECLARE @context NVARCHAR(MAX);
    DECLARE @payload NVARCHAR(MAX);
    DECLARE @response NVARCHAR(MAX);
    DECLARE @returnValue INT;

    -- Step 1:Convert question to embedding
    SELECT @questionVector = AI_GENERATE_EMBEDDINGS(@Question USE MODEL my_embedding_model);

    -- Step 2: Retrieve relevant products using vector search
    SET @context = (
        SELECT TOP 3 
            p.Name AS ProductName, 
            p.Color, 
            p.Size, 
            pm.Name AS Model
        FROM Production.Product p
        INNER JOIN Production.ProductModel pm ON p.ProductModelID = pm.ProductModelID
        ORDER BY VECTOR_DISTANCE('cosine', p.DescriptionVector, @questionVector)
        FOR JSON PATH
    );

    -- Step 3: Build augmented prompt
    SET @payload = JSON_OBJECT(
        'messages': JSON_ARRAY(
            JSON_OBJECT('role': 'system', 'content': 'You are an Adventure Works product assistant. Answer questions using only the provided product data.'),
            JSON_OBJECT('role': 'user', 'content': 'Products: ' + @context + ' Question: ' + @Question)
        ),
        'max_tokens': 500,
        'temperature': 0.5
    );

    -- Step 4: Call the model
    EXECUTE @returnValue = sp_invoke_external_rest_endpoint
        @url = N'https://adventureworks-openai.openai.azure.com/openai/deployments/gpt-5.2/chat/completions?api-version=2024-10-21',
        @method = 'POST',
        @payload = @payload,
        @credential = [https://adventureworks-openai.openai.azure.com],
        @response = @response OUTPUT;

    -- Extract and return the answer
    IF @returnValue = 0
        SET @Answer = JSON_VALUE(@response, '$.result.choices[0].message.content');
    ELSE
        SET @Answer = 'Unable to process your question. Please try again.';
END;

T-SQL で RAG パイプラインを完了しました。 お客様から「Mountain-500 で動作するペダルはどれですか?」プロシージャはその質問をベクトルに変換し、最も関連性の高い製品を検索し、接地命令を使用してモデルに送信し、実際のインベントリに基づいて回答を返します。 ミドルウェアも外部アプリケーション コードもなく、SQL が AI を呼び出して結果を返すだけです。

重要なポイント

生成手順は、RAG パイプラインが価値を提供する場所です。 拡張プロンプトは、T-SQL から離れることなく HTTP 通信を処理する sp_invoke_external_rest_endpoint を使用して Azure OpenAI に送信します。 認証では、外部モデルの作成時に設定したのと同じデータベース スコープ資格情報が使用されます。 応答が返されると、 JSON_VALUE はアシスタントの回答を引き出します。 ネットワーク呼び出しはローカルクエリとは異なる形で失敗するため、エラー処理を組み込んで構築してください。 3 つの RAG ステップがすべて T-SQL で実行されている場合、データベースはストレージ以上の状態になります。 データを使用して質問に回答するインテリジェントなサービスになります。