ベクター検索クエリ パターンを実装する
Tip
詳細については、「 テキストと画像 」タブを参照してください。
ベクターが格納され、検索戦略が選択されたので、クエリを記述する準備が整いました。 このユニットでは、ベクトル検索を行う T-SQL 関数について説明し、それらを効果的に組み合わせる方法を示します。
ベクター検索クエリは、一般的なパターンに従います。クエリ ベクターを生成または取得し、格納されたベクターまでの距離を計算し、最も近い一致を返します。 SQL Server には、このパターンをサポートするために連携する 4 つの関数 ( VECTOR_DISTANCE、 VECTOR_SEARCH、 VECTOR_NORMALIZE、 VECTORPROPERTY) が用意されています。
VECTOR_DISTANCEを使用して距離を計算する
VECTOR_DISTANCE関数は、指定したメトリックを使用して 2 つのベクトル間の距離を計算します。 この関数は、すべての条件を満たす行までの距離を計算して、最も近い近隣の正確な検索を実行します。 実際的には、検索埋め込みを格納されているすべての埋め込みと比較して、カタログ内のすべての製品をチェックして最適な一致を見つけるなど、最も似ているものを見つけます。
VECTOR_DISTANCE(metric, vector1, vector2)
メトリックは、 'cosine'、 'euclidean'、または 'dot'である必要があります。 どちらのベクトルも同じ数の次元を持つ必要があります。
説明の埋め込みに基づいて類似製品を見つけるための一般的なパターンを次に示します。
-- Generate an embedding for the user's search phrase
DECLARE @searchVector VECTOR(1536);
SELECT @searchVector = AI_GENERATE_EMBEDDINGS('lightweight hiking boots' USE MODEL MyEmbeddingModel);
SELECT TOP 10
ProductID,
Name,
VECTOR_DISTANCE('cosine', @searchVector, DescriptionVector) AS Distance
FROM dbo.Products
ORDER BY Distance;
このクエリは 2 つの手順で動作します。 まず、格納された DescriptionVector 値を作成したのと同じモデルを使用して、検索語句 "軽量ハイキング ブーツ" を埋め込みに変換します。 次に、 @searchVector とすべての行の DescriptionVector間のコサイン距離を計算します。
ORDER BY Distance句は、結果を最小の距離 (最も近い) から最も大きい行に並べ替え、TOP 10は最初の 10 行のみを返します。 距離が小さいほどベクトルがより似ているため、この組み合わせにより、"軽量ハイキング ブーツ" に最も意味的に関連する 10 個の製品が提供されます。
WHERE 句で VECTOR_DISTANCE を使用して、特定の距離しきい値内のすべてのベクトルを検索することもできます。
SELECT ProductID, Name
FROM dbo.Products
WHERE VECTOR_DISTANCE('cosine', @searchVector, DescriptionVector) < 0.3
ORDER BY VECTOR_DISTANCE('cosine', @searchVector, DescriptionVector);
この方法では、固定カウントを返すのではなく、類似性しきい値内のすべての製品を検索します。 ここでは 0.3 の値を例に示します。 コサイン距離は 0 (同じベクトル) から 2 (完全に反対) の範囲ですが、"十分に似ている" とカウントされるものは、データと埋め込みモデルに完全に依存します。 適切なしきい値を見つけるには、テスト クエリを実行し、結果の距離値を調べて、関連する結果が停止してノイズが始まる場所を特定します。 このパターンは、一定の数の結果ではなく、すべてが品質バーを満たす必要がある場合に使用します。
おおよその取得にVECTOR_SEARCHを使用する
テーブルが数万行を超えて大きくなると、すべての行への距離の計算が遅くなります。
VECTOR_SEARCH関数は、ベクトル インデックスを使用して、近似最近傍をすばやく検索します。
VECTOR_SEARCH(
TABLE = object AS alias,
COLUMN = vector_column,
SIMILAR_TO = query_vector,
METRIC = 'cosine' | 'euclidean' | 'dot',
TOP_N = k
)
この関数は、ソース テーブルのすべての列と distance 列を含む結果セットを返します。 これを使用する方法を次に示します。
DECLARE @searchVector VECTOR(1536);
SELECT @searchVector = AI_GENERATE_EMBEDDINGS('lightweight hiking boots' USE MODEL MyEmbeddingModel);
SELECT t.ProductID, t.Name, s.distance
FROM VECTOR_SEARCH(
TABLE = dbo.Products AS t,
COLUMN = DescriptionVector,
SIMILAR_TO = @searchVector,
METRIC = 'cosine',
TOP_N = 10
) AS s
ORDER BY s.distance;
この関数は、約 10 個の最も近い近傍を返します。 同じメトリックを持つ DescriptionVector に一致するベクター インデックスが存在する場合、 VECTOR_SEARCH は高速取得に使用します。 インデックスがないと、正確な検索にフォールバックし、警告が発生します。
後フィルター処理を慎重に処理する
VECTOR_SEARCH は、見つける前ではなく、最も近い近傍を見つけた後に、WHERE 句条件を適用します。 次のクエリについて考えてみます。
SELECT t.ProductID, t.Name, s.distance
FROM VECTOR_SEARCH(
TABLE = dbo.Products AS t,
COLUMN = DescriptionVector,
SIMILAR_TO = @searchVector,
METRIC = 'cosine',
TOP_N = 10
) AS s
WHERE t.CategoryID = 5
ORDER BY s.distance;
このクエリではまず、すべてのカテゴリで最も近い 10 個のベクトルを検索し、次にカテゴリ 5 のみにフィルター処理します。 カテゴリ 5 に最も近い 10 個の製品がない場合、結果は表示されません。 この問題を回避するには、必要以上に多くの候補者を要求します。
SELECT TOP 10 t.ProductID, t.Name, s.distance
FROM VECTOR_SEARCH(
TABLE = dbo.Products AS t,
COLUMN = DescriptionVector,
SIMILAR_TO = @searchVector,
METRIC = 'cosine',
TOP_N = 50
) AS s
WHERE t.CategoryID = 5
ORDER BY s.distance;
VECTOR_SEARCHから 50 人の候補を要求し、フィルター処理後に上位 10 人を取得すると、ターゲット カテゴリに十分な結果を得る可能性が高くなります。
ベクターを正規化して一貫性のある比較を行う
埋め込みモデルが異なると、長さ (大きさ) の異なるベクトルが生成されます。 複数のソースのベクトルを比較する場合、またはモデルで出力が正規化されない場合は、 VECTOR_NORMALIZE を使用してベクトルを単位長にスケーリングできます。
VECTOR_NORMALIZE(vector, norm_type)
norm_typeは次のようになります。
-
'norm2':ユークリッドノルム(最も一般的) -
'norm1': 絶対値の合計 -
'norminf': 最大絶対値
DECLARE @v VECTOR(3) = '[3, 4, 0]';
SELECT VECTOR_NORMALIZE(@v, 'norm2') AS NormalizedVector;
-- Returns: [0.6, 0.8, 0.0]
正規化により、コサイン距離とドット積が一貫して動作します。 ほとんどの最新の埋め込みモデル (OpenAI のモデルなど) では正規化されたベクトルが生成されるため、多くの場合、この手順は必要ありません。 ただし、正規化されないモデルからの埋め込みを使用している場合は、格納または比較する前に VECTOR_NORMALIZE を適用すると、一貫した類似性スコアが保証されます。
ベクトルの大きさは、関連する VECTOR_NORM 関数を使用して計算できます。
DECLARE @v VECTOR(3) = '[3, 4, 0]';
SELECT VECTOR_NORM(@v, 'norm2') AS Magnitude;
-- Returns: 5.0
VECTORPROPERTY を使用してベクターを検査する
VECTORPROPERTY関数は、ベクトルに関するメタデータを返します。 このメタデータは、データの検証やディメンションの不一致のデバッグに役立ちます。
VECTORPROPERTY(vector, property)
次の 2 つのプロパティがサポートされています。
-
'Dimensions': 次元数を整数で返します。 -
'BaseType': データ型名を返します (現在は常にfloat)。
DECLARE @v VECTOR(1536) = '[0.1, 0.2, ...]';
SELECT VECTORPROPERTY(@v, 'Dimensions') AS Dims;
-- Returns: 1536
この関数は、ベクターのディメンションが一致しない可能性があるクエリのトラブルシューティングに役立ちます。これは、さまざまな埋め込みモデルが使用される場合の一般的な問題です。
シナリオに適した関数を選択する
各関数は、ベクトル検索で個別の目的を果たします。
| Scenario | 機能 | いつ使用するか |
|---|---|---|
| 小さなデータセットまたはフィルター処理されたクエリ | VECTOR_DISTANCE |
50,000 個以下のベクター、または WHERE 句によって候補が大幅に減少する場合 |
| ベクター インデックスを持つ大規模なデータセット | VECTOR_SEARCH |
速度が重要な場合は、数十万以上、あるいはそれ以上のベクトル |
| 異なるモデルからのベクトルの比較 | VECTOR_NORMALIZE |
埋め込みソースが異なる場合、またはモデルで正規化されたベクトルが生成されない場合 |
| ベクター データの検証 | VECTORPROPERTY |
トラブルシューティングまたはデータ検証中のディメンションのチェック |
重要なポイント
SQL のベクター検索クエリは、予測可能なパターンに従います。クエリ ベクターを準備し、 VECTOR_DISTANCE (正確) または VECTOR_SEARCH (近似) を使用して近隣ノードを検索し、距離順に並べ替えます。
VECTOR_NORMALIZE と VECTORPROPERTY は、データの品質と一貫性をサポートします。
VECTOR_SEARCHは、最も近い近傍を見つけた後にフィルターを適用するので、WHERE 句と組み合わせるときに必要以上に多くの候補を要求することに注意してください。 次のユニットでは、ハイブリッド クエリでベクター検索とフルテキスト検索を組み合わせる方法について説明します。