ベクター検索用に SQL を準備する

完了済み

Tip

詳細については、「 テキストと画像 」タブを参照してください。

ベクター検索を実行する前に、ベクターをデータベースに格納し、それらの検索の実行方法を決定する必要があります。 このユニットでは、最初のベクター クエリを記述する前に行う設計上の決定について説明します。

ベクター検索では、完全一致ではなく、数学的な類似性に基づいて行が検索されます。 この作業を行うには、埋め込みをベクトルとして格納し、類似性を測定する方法を選択し、すべてのベクトルを正確に検索するか、インデックスを使用して近似結果を高速化するかを決定します。

ベクター データ型を使用してベクターを格納する

SQL Server と Azure SQL Database には、埋め込みを格納するために設計されたネイティブ ベクター データ型が用意されています。 各ベクターは浮動小数点数の配列であり、最適化されたバイナリ形式で格納されますが、便宜上 JSON 配列として公開されます。

ベクトル列を定義するときは、次元の数を指定します。

CREATE TABLE dbo.Products
(
    ProductID INT PRIMARY KEY,
    Name NVARCHAR(100),
    Description NVARCHAR(MAX),
    DescriptionVector VECTOR(1536) NOT NULL
);

かっこ内の数値は、埋め込みモデルによって生成されるディメンションと一致します。 たとえば、OpenAI の text-embedding-3-small モデルでは 1,536 個のディメンションが生成されるため、列は VECTOR(1536)されます。 サポートされる最大サイズは 1,998 ディメンションです。

各要素は、単精度 (4 バイト) 浮動小数点として格納されます。 1,536 次元ベクトルは、行あたり約 6 KB を使用します。 テーブルを設計するときは、データの増加に合わせて、この列がストレージとメモリにどのように影響するかを検討してください。

距離メトリックを理解する

ベクトル検索は、ベクトル間の距離を計算することによって機能します。 近いベクトルは、より似た概念を表します。 SQL Server では、次の 3 つの距離メトリックがサポートされています。

コサイン距離は ベクトル間の角度を測定し、その大きさを無視します。 同じ方向を指す 2 つのベクトルの長さに関係なく、コサイン距離は 0 です。 このメトリックは、強度ではなく、意味の方向を気にする場合に適切に機能します。 コサイン距離の範囲は、0 (同一) から 2 (反対) です。

ユークリッド距離 は、ベクトル空間内の 2 つの点間の直線距離を測定します。 方向と大きさの両方を考慮します。 ユークリッド距離は、0 (同一) から無限大までの範囲です。

ドット積 は、要素ごとの積の合計を計算します。 SQL Server は負のドット積を返します。小さい値は、他のメトリックと一致する、より類似したベクトルを示します。

ほとんどの埋め込みモデルはコサインの類似性のために最適化されており、コサイン距離を一般的な選択肢にします。 ただし、最適なメトリックは、埋め込みのトレーニング方法によって異なります。

同様のベクトルを検索する場合、2 つのオプションがあります。正確な最近傍 (ENN) 検索と近似最近傍 (ANN) 検索です。

正確な最近傍検索 では、クエリ ベクターがテーブル内のすべてのベクターと比較されます。 最も正確な結果が保証されますが、すべての行までの距離を計算する必要があります。 正確な検索には、 VECTOR_DISTANCE 関数を使用します。

DECLARE @query VECTOR(1536) = '[0.1, 0.2, ...]';

SELECT TOP 10 ProductID, Name,
    VECTOR_DISTANCE('cosine', @query, DescriptionVector) AS Distance
FROM dbo.Products
ORDER BY Distance;

このクエリは、 @query とすべての行の DescriptionVector間のコサイン距離を計算し、最も近い 10 個の一致を返します。 小さなテーブル (一般的なガイドラインとして 50,000 個未満のベクター) の場合、正確な検索は適切に実行されます。

近似最近傍検索 では、ベクター インデックスを使用して、すべての行をスキャンせずに同様のベクトルを検索します。 完璧な精度を犠牲にして速度を優先しており、ほぼ正確な結果を返しますが、絶対的なニアレスト ネイバーを保証するものではありません。

CREATE VECTOR INDEXを使用してベクター インデックスを作成します。

CREATE VECTOR INDEX idx_Products_DescriptionVector
ON dbo.Products(DescriptionVector)
WITH (METRIC = 'cosine', TYPE = 'DiskANN');

SQL Server は DiskANN アルゴリズムを使用します。このアルゴリズムは、近くのベクトルへの高速ナビゲーションを可能にするグラフ構造を構築します。 インデックスが存在したら、近似検索に VECTOR_SEARCH 関数を使用します。

DECLARE @query VECTOR(1536) = '[0.1, 0.2, ...]';

SELECT t.ProductID, t.Name, s.distance
FROM VECTOR_SEARCH(
    TABLE = dbo.Products AS t,
    COLUMN = DescriptionVector,
    SIMILAR_TO = @query,
    METRIC = 'cosine',
    TOP_N = 10
) AS s
ORDER BY s.distance;

各アプローチを使用するタイミングを決定する

正確な検索と近似検索の選択は、データセットのサイズと精度の要件によって異なります。

次の場合は、正確な検索 (VECTOR_DISTANCE) を使用します。

  • テーブルのベクター数が 50,000 未満
  • クエリ フィルターで候補セットを数行に減らす
  • 保証された正確な結果が必要であり、より長いクエリ時間を受け入れることが可能です

次の場合は、おおよその検索 (インデックスでVECTOR_SEARCH) を使用します。

  • テーブルに数十万または数百万のベクターがある
  • クエリ速度は完璧な精度よりも重要です
  • 再現率が 1 に近い値 (つまり、真のニアレスト ネイバーがほとんど見つかる状態) であれば許容範囲です。

再現率は、近似検索が返す真のニアレスト ネイバーの数を、完全検索と比較して測定した値です。 DiskANN は通常、高い再現率を実現します。つまり、結果は正確な検索が返す内容に非常に近くなります。

インデックスの制限を検討する

SQL Server のベクター インデックスには、次の点に注意する必要がある特定の要件があります。

  • テーブルには、クラスター化インデックスを持つ単一列整数主キーが必要です
  • インデックスが存在する間、ベクター インデックスを持つテーブルは読み取り専用になります。インデックスを削除してデータを変更してから再作成する必要があります
  • ベクター インデックスをパーティション分割できない

注

ベクター インデックスは現在プレビュー段階です。 Microsoft Fabric の Azure SQL Database と SQL Database では、 ALLOW_STALE_VECTOR_INDEX データベース スコープ構成を ON に設定して書き込みを許可できますが、再構築するまでインデックスに新しいデータは反映されません。 現在、このオプションは SQL Server 2025 では使用できません。 最新の制限事項については、現在のドキュメントを参照してください。

これらの制限は、テーブルとメンテナンス ワークフローの設計方法に影響します。 頻繁に変更されるテーブルの場合は、データが安定するまで正確な検索を使用し、ベクター インデックスを追加できます。

重要なポイント

ベクター検索用に SQL を準備することは、使用するデータ型とディメンション、埋め込みモデルに一致する距離メトリック、正確な検索と近似検索がデータセット のサイズに適合するかどうかという 3 つの決定を行うことを意味します。 VECTOR_DISTANCEを使用した正確な検索は、より小さなデータセットやフィルター処理されたクエリに適していますが、VECTOR_SEARCHと DiskANN インデックスを使用した近似検索では、大規模なデータセットが効率的に処理されます。 次のユニットでは、ベクター検索を実行するための特定の関数とクエリ パターンについて説明します。