SQL データベース ワークロードの埋め込みを生成して維持する
Tip
詳細については、「 テキストと画像 」タブを参照してください。
埋め込みによってデータがどのように表されるかを設計したら、それらを生成し、データの変更時に同期を維持する必要があります。
SQL Server には、データベース列に格納されているテキストから埋め込みを生成する組み込みの AI 関数が用意されています。 通常、埋め込みの生成は 1 回限りではありません。 ソース データが変更されると、埋め込みを再生成して、データの現在の状態を反映し続ける必要がある場合があります。
SQL を使用して埋め込みを生成する
SQL Server には、データベース列に格納されているテキストから直接埋め込みを生成する AI_GENERATE_EMBEDDINGS 関数が用意されています。 この関数では、外部モデルを使用して、テキストを格納して後で比較できるベクターに変換します。
一般的なパターンは、初期読み込み中またはバッチ プロセスの一部として埋め込みを生成することです。 結果のベクターは、ソース データと共に、または関連するテーブルに格納されるため、効率的にクエリを実行できます。
次の例は、テーブル定義から埋め込み生成までの単純なエンド ツー エンド パターンを示しています。
まず、ソース テキストと埋め込みテキストの両方を格納するテーブルを作成します。
CREATE TABLE dbo.documents
(
id INT PRIMARY KEY,
description NVARCHAR(MAX),
embedding VECTOR(1536)
);
次に、テキストから埋め込みを生成し、テーブルに格納します。
UPDATE dbo.documents
SET embedding = AI_GENERATE_EMBEDDINGS(description USE MODEL my_embedding_model);
この例では、各行の description 値が埋め込みモデルに送信されます。 この関数は、 embedding 列に格納されているベクターを返します。 これらの格納されたベクターは、後でクエリを実行したり、再生成せずに比較したりできます。 埋め込み設計に基づいてチャンクまたはフィルター処理を処理するための追加のロジックを含めることができます。
埋め込み生成によって、ベクターの作成方法が決まります。 メンテナンス戦略は、これらのベクトルを更新する必要があるタイミングを決定します。
埋め込みメンテナンスを理解する
埋め込みのメンテナンスは、格納された埋め込みを基になるデータの変更に合わせて調整し続けます。 テキスト値が挿入、更新、または削除されると、対応する埋め込みで現在のコンテンツが反映されなくなる可能性があります。
データの変更頻度、埋め込みの更新速度、埋め込み生成の実行場所に応じて、さまざまなメンテナンス 方法を使用できます。
埋め込みメンテナンス方法を選択する
埋め込みでは、データの変更に合わせてソース テキストに合わせる必要があります。 変更を検出し、埋め込みをいつ再生成するかを決定するために、いくつかのオプションを使用できます。 これらのオプションは、作業がどこで行われるか、変更が反映される速度によって異なります。
テーブル トリガー
トリガーは、行が挿入または更新されると自動的に実行されます。 埋め込みメンテナンスの場合、トリガーは新しい埋め込みを必要とする行をマークしたり、すぐに再生成を開始したりできます。 この方法では、変更がすぐに反映されますが、書き込み操作に作業が追加されます。変更履歴
Change Tracking は、特定の時点以降に行が変更されたことを記録します。 バックグラウンド プロセスでは、この情報を使用して、埋め込みを更新する必要がある行を特定し、それらをバッチで処理できます。 この方法では、待機時間とパフォーマンスのバランスが取られます。変更データ キャプチャ (CDC)
CDC は、前後の値を含む、データの変更に関する詳細情報を記録します。 埋め込みメンテナンスでは、CDC テーブルを使用して、変更されたテキスト値を識別し、埋め込みを非同期的に再生成できます。 この方法は、大量のワークロードに適しています。SQL トリガー バインドを使用した Azure Functions
Azure Functions は、SQL トリガー バインドを使用してデータベースの変更に対応できます。 この機能を使用すると、埋め込み生成をデータベース エンジンの外部で実行しながら、データの変更に応答できます。 この方法では、データベースから作業をオフロードし、個別にスケーリングできます。Azure Logic Apps
Logic Apps では、ワークフローの一部として埋め込み更新プログラムを調整できます。 たとえば、ロジック アプリでは、変更された行を定期的にチェックし、埋め込みサービスを呼び出して、他のシステムとの更新を調整できます。 このアプローチはローコードであり、他の Azure サービスとうまく統合されます。イベント ストリーミングの変更
Change Event Streaming (CES) は、DML の変更をほぼリアルタイムで Azure Event Hubs に直接ストリーミングします。 ダウンストリーム システムでは、データベース トランザクションに作業を追加することなく、これらのイベントを使用し、変更が発生したときに埋め込みを再生成できます。 この方法では、データベースからの埋め込み生成が分離され、同じ変更ストリームを処理する複数のコンシューマーがサポートされます。Microsoft Foundry
Microsoft Foundry を使用して、埋め込みを生成するモデルを管理および評価できます。 メンテナンス ワークフローでは、Foundry は通常、モデルの選択またはホストをサポートし、別のプロセスで変更検出とデータベースの更新を処理します。 このアプローチでは、データの変更に応じて埋め込み生成が行われる間に、モデル管理が一元化されます。
適切なメンテナンス アプローチを選択する
埋め込みを維持するための正しい方法は 1 つもありません。 適切なアプローチは、データ 量、更新頻度、待機時間の要件、埋め込み生成がソリューション全体に適合する場所などの要因によって異なります。
一部のソリューションでは即時更新が優先され、他のソリューションはバッチ処理または外部処理に優先順位を付けます。 これらのトレードオフを理解することは、SQL アプリケーションに適したメンテナンス戦略を選択するのに役立ちます。
重要なポイント
AI_GENERATE_EMBEDDINGSを使用した埋め込みの生成は、最初の手順にすぎません。 ソース データが変更されると、格納されたベクターが同期から外れる可能性があるため、メンテナンス戦略が必要になります。 オプションの範囲は、厳密に結合された更新のトリガーや変更の追跡、変更データ キャプチャ、変更イベント ストリーミング、非同期または分離されたアプローチ用の Azure Functions までです。 適切な選択は、データ 量、待機時間の要件、埋め込み生成がアーキテクチャ全体に適合する場所によって異なります。