Azure Cosmos DB for NoSQL におけるベクトル検索 (プレビュー)

[アーティクル]
11/05/2024

適用対象: NoSQL

Azure Cosmos DB for NoSQL は、ベクトルインデックス作成と検索のプレビュー機能を提供します。この機能は高次元のベクトルを処理するように設計されており、あらゆるスケールで効率的かつ正確なベクトル検索が可能になります。ベクトルをデータと一緒にドキュメントに直接保存できるようになりました。データベース内の各ドキュメントには、従来のスキーマフリーのデータだけでなく、ドキュメントのその他のプロパティとして高次元ベクトルも含めることができます。このようにデータとベクトルをコロケーションすることで、ベクトルが表すデータと同じ論理ユニットに格納されるため、効率的なインデックス作成と検索が可能になります。ベクトルとデータをまとめることにより、データ管理、AIアプリケーションアーキテクチャ、およびベクトルベースの操作の効率が簡略化されます。

Azure Cosmos DB for NoSQL は、ベクトルインデックスの作成方法を柔軟に選択できます。

"フラット" または k ニアレストネイバーによる完全検索 (ブルートフォースと呼ばれることもあります) は、より小さく、より焦点を絞ったベクトル検索に対して、100% の取得の再現率を提供できます。特に、クエリフィルターやパーティションキーと組み合わせた場合です。
DiskANN ベースの量子化手法を用いてベクトルを圧縮し、kNN 検索の効率を向上させる量子化フラットインデックス。
DiskANN は、Microsoft Research によって開発された最先端のベクトルインデックス作成アルゴリズムスイートで、効率的で精度の高いベクトル検索をあらゆるスケールで実現します。

ベクトルインデックス作成の詳細はこちら

Azure Cosmos DB のベクトル検索は、WHERE 句を使用して、サポートされている他のすべての Azure Cosmos DB NoSQL クエリフィルターやインデックスと組み合わせることができます。これにより、ベクトル検索をアプリケーションに最も関連性の高いデータにすることができます。

この機能により、Azure Cosmos DB のコア機能が強化され、AI アプリケーションにおけるベクトルデータや検索要件の処理の汎用性が高まります。

ベクターストアとは

ベクトルストアまたはベクトルデータベースは、高ディメンション空間におけるデータの数学的表現であるベクトル埋め込みを格納および管理するように設計されたデータベースです。この空間では、各ディメンションがデータの特徴に対応しており、高度なデータを表現するために数万ディメンションが使われる場合があります。この空間内のベクトルの位置は、その特性を表します。単語、フレーズ、ドキュメント全体、画像、オーディオ、その他の種類のデータはすべてベクトル化できます。

ベクターストアのしくみ

ベクターストアでは、ベクトル検索アルゴリズムを使用して、埋め込みのインデックス作成やクエリを実行します。既知のベクトル検索アルゴリズムには、階層ナビゲーション可能な小さい世界 (HNSW)、反転ファイル (IVF)、DiskANN などがあります。ベクトル検索は、プロパティフィールドの完全一致ではなく、データ特性に基づいて類似項目を検索するのに役立つ方法です。この手法は、類似したテキストの検索、関連する画像の検索、おすすめ候補の作成、異常の検出などのアプリケーションで役立ちます。これは、埋め込み API を使用して、機械学習モデルを使用して作成したデータのベクトル埋め込みのクエリを実行するために使用されます。埋め込み API の例としては、Azure OpenAI 埋め込みや Hugging Face on Azure があります。ベクトル検索は、データベクトルとクエリベクトル間の距離を測定します。クエリベクトルに最も近いデータベクトルは、意味的に最も似ていると判明したものです。

Azure Cosmos DB for NoSQL の統合されたベクターデータベースでは、埋め込みを元のデータと共に格納し、インデックス作成やクエリを実行できます。この方法により、データを別の純粋なベクトルデータベースに複製する余分なコストがかかりません。さらに、このアーキテクチャではベクトル埋め込みと元のデータが一緒に保持されるため、マルチモーダルデータの操作が簡略化され、データの整合性、スケーラビリティ、パフォーマンスを向上させることができます。

ベクトル検索のプレビュー機能への登録

Azure Cosmos DB for NoSQL のベクトル検索には、Azure Cosmos DB の [機能] ページでのプレビュー機能の登録が必要です。次の手順で登録します。

Azure Cosmos DB for NoSQL リソースページに移動します。
[設定] メニュー項目の [機能] ウィンドウを選択します。
[Azure Cosmos DB for NoSQL におけるベクトル検索] を選択します。
機能の説明を読み、プレビューに登録することを確認します。
プレビューに登録するには [有効にする] を選択します。

Note

登録要求は自動承認されますが、反映されるまで数分かかる場合があります。

ヒント

または、Azure CLI を使って、NoSQL ベクトル検索をサポートするようにアカウントの機能を更新します。

az cosmosdb update \
     --resource-group <resource-group-name> \
     --name <account-name> \
     --capabilities EnableNoSQLVectorSearch

Azure Cosmos DB の有効期間無料レベルを使用する

コンテナーベクトルポリシー

Azure Cosmos DB for NoSQL でベクトル検索を行うには、コンテナーにベクトルポリシーを定義する必要があります。これにより、データベースエンジンがコンテナーのドキュメントで見つかったベクトルの効率的な類似性検索を行うために不可欠な情報が提供されます。また、必要な情報をベクトルインデックス作成ポリシーに通知します。含まれるベクトルポリシーには、次の情報が含まれます。

“path”: ベクターを含むプロパティへのパス (必須)。
"datatype": ベクトルプロパティのデータ型 (既定値 Float32)。 
"dimensions": パス内の各ベクトルの次元または長さ。パス内のすべてのベクトルは同じ次元数である必要があります。 (既定値 1536)。
"distanceFunction": 距離と類似度の計算に使われるメトリック。サポートされているメトリックは次のとおりです。
- cosine: 値は -1 (最低類似度) から +1 (最高類似度) までです。
- dotproduct: 値は -inf (最低類似度) から +inf (最高類似度) までです。
- euclidean: 値は 0 (最高類似度) から +inf (最低類似度) までです。

Note

それぞれの一意のパスは、最大 1 つのポリシーを持つことができます。ただし、すべてのポリシーで異なるパスが対象になる場合は、複数のポリシーを指定できます。

コンテナーベクトルポリシーは、JSON オブジェクトとして記述できます。有効なコンテナーベクトルポリシーの 2 つの例を次に示します。

単一ベクトルパスを持つポリシー

{
    "vectorEmbeddings": [
        {
            "path":"/vector1",
            "dataType":"float32",
            "distanceFunction":"cosine",
            "dimensions":1536
        }
    ]
}

2 つのベクトルパスを持つポリシー

{
    "vectorEmbeddings": [
        {
            "path":"/vector1",
            "dataType":"float32",
            "distanceFunction":"cosine",
            "dimensions":1536
        },
        {
            "path":"/vector2",
            "dataType":"int8",
            "distanceFunction":"dotproduct",
            "dimensions":100
        }
    ]
}

ベクトルインデックス作成ポリシー

ベクトル インデックス作成では、VectorDistance システム関数を使用して、ベクトル検索の実行効率を向上させます。ベクトル検索は、ベクトルインデックス作成を使用することで、待機時間を短縮し、スループットを高め、RU 消費を削減します。次の種類のベクトルインデックスポリシーを指定できます。

型	説明	最大ディメンション
`flat`	他のインデックスプロパティと同じインデックスにベクトルを格納します。	505
`quantizedFlat`	インデックスに格納する前にベクトルを量子化 (圧縮) します。これにより、わずかな精度を犠牲にして、待機時間とスループットを向上させることができます。	4096
`diskANN`	高速かつ効率的な概算検索のために、DiskANN に基づいてインデックスを作成します。	4096

Note

quantizedFlat と diskANN インデックスでは、少なくとも 1,000 個のベクトルを挿入する必要があります。これは、量子化プロセスの精度を確保するためです。ベクトルが 1,000 個未満の場合は、代わりにフルスキャンが実行され、ベクトル検索クエリの RU 料金が高くなります。

注意すべき点をいくつか次に示します。

flat および quantizedFlat インデックスの種類は、Azure Cosmos DB のインデックスを使用して、ベクトル検索の実行時に各ベクトルを格納し、読み取ります。 flat インデックスを持つベクトル検索はブルートフォース検索であり、100% の精度または再現率を生み出します。つまり、データセットで最も類似したベクトルを見つけることが保証されています。ただし、フラットインデックス上のベクトルには 505 次元の制限があります。
quantizedFlat インデックスには、量子化された（圧縮された）ベクトルが格納されます。 quantizedFlat インデックスを使用したベクトル検索もブルートフォース検索ですが、インデックスに追加する前にベクトルが量子化されるため、精度は 100% をわずかに下回る可能性があります。ただし、quantized flat を使用したベクトル検索は flat インデックスでのベクトル検索よりも待機時間が短く、スループットが高く、RU コストが低くなります。これは、小規模なシナリオ (クエリフィルターを使ってベクトル検索を比較的小さなベクトルセットに絞り込むシナリオ) に適したオプションです。 quantizedFlat は、少なくとも 1,000 個のベクトルがあり、コンテナー内に 100,000 個未満のベクトルがある場合に使用する必要があります。
diskANN インデックスは、Microsoft Research によって開発されたハイパフォーマンスベクトルインデックス作成アルゴリズムスイートである DiskANN を使用する、ベクトル専用に定義された個別のインデックスです。 DiskANN インデックスでは、高い精度を維持しながら、最短の待機時間、最高のスループット、および最小の RU コストクエリが提供されます。

重要

プレビューの初期段階では、一度作成したベクトルインデックスを変更することはできません。代わりに、変更が必要な場合は、新しいベクトルインデックスポリシーを使用して新しいコンテナーを作成する必要があります。

有効なベクトルインデックスポリシーの例を次に示します。

{
    "indexingMode": "consistent",
    "automatic": true,
    "includedPaths": [
        {
            "path": "/*"
        }
    ],
    "excludedPaths": [
        {
            "path": "/_etag/?"
        },
        {
            "path": "/vector1/*"
        }
    ],
    "vectorIndexes": [
        {
            "path": "/vector1",
            "type": "quantizedFlat"
        }
    ]
}

{
    "indexingMode": "consistent",
    "automatic": true,
    "includedPaths": [
        {
            "path": "/*"
        }
    ],
    "excludedPaths": [
        {
            "path": "/_etag/?"
        },
        {
            "path": "/vector1/*",
        },
        {
            "path": "/vector2/*",
        }
    ],
    "vectorIndexes": [
        {
            "path": "/vector1",
            "type": "quantizedFlat"
        },
        {
            "path": "/vector2",
            "type": "DiskANN"
        }
    ]
}

重要

挿入の最適なパフォーマンスを確保するためにインデックス作成ポリシーの "excludedPaths" セクションに追加されたベクトルパス。ベクトルパスを "excludedPaths" に追加しないと、ベクトル挿入に対してより高い RU 料金と待機時間が発生します。

重要

現時点のベクトル検索プレビューでは、ベクトルポリシーのパスにおいて、入れ子になったパスまたはワイルドカード文字は使われません。ベクトルポリシーでの置換操作は、現在サポートされていません。

VectorDistance() を使用したクエリによるベクトル検索を実行する

望ましいベクトルポリシーでコンテナーを作成し、コンテナーにベクトルデータを挿入すると、クエリで Vector Distance システム関数を使用してベクトル検索を行うことができます。類似スコアをエイリアス SimilarityScore として投影し、類似性を最も高いものから最も低いものの順に並べ替える NoSQL クエリの例:

SELECT TOP 10 c.title, VectorDistance(c.contentVector, [1,2,3]) AS SimilarityScore   
FROM c  
ORDER BY VectorDistance(c.contentVector, [1,2,3])

現在の制限と制約

Azure Cosmos DB for NoSQL のベクトルインデックス作成と検索は、パブリックプレビューの初期段階ではいくつかの制限事項があります。

コンテナーごとに指定できる DiskANN インデックスの種類は最大 1 つです
ベクトルインデックス作成は新しいコンテナーでのみサポートされています。
flat インデックスの種類でインデックス作成されたベクトルは、最大 505 次元です。 quantizedFlat または DiskANN インデックスの種類でインデックス作成されたベクトルは、最大 4096 次元です。
quantizedFlat は DiskANN と同じ量子化方法を利用します。
DiskANN の早期プレビューの使用中は、ベクトル挿入のレートは制限されます。非常に大規模なインジェスト (5M ベクトルを超える) には、追加のインデックスビルド時間が必要になる場合があります。
共有スループットデータベースは、サポートされていません。
プレビューの現時点で、Vector Search は、分析ストア (と Synapse Link)、共有スループット、カスタマーマネージドキー、継続的バックアップ、Storage Analytics、およびすべてのバージョンと削除変更フィードを持つアカウントではサポートされていません。 Vector Search Preview はいったん有効にしたら、無効にすることはできません。

重要

プレビューの現時点で、Vector Search は、分析ストア (と Synapse Link)、共有スループット、カスタマーマネージドキー、継続的バックアップ、Storage Analytics、およびすべてのバージョンと削除変更フィードを持つアカウントではサポートされていません。 Vector Search Preview はいったん有効にしたら、無効にすることはできません。

次の方法で共有

Azure Cosmos DB for NoSQL におけるベクトル検索 (プレビュー)

ベクターストアとは

ベクターストアのしくみ

ベクトル検索のプレビュー機能への登録

コンテナーベクトルポリシー

ベクトルインデックス作成ポリシー

VectorDistance() を使用したクエリによるベクトル検索を実行する

現在の制限と制約

次のステップ

フィードバック

その他のリソース

次の方法で共有

Azure Cosmos DB for NoSQL におけるベクトル検索 (プレビュー)

ベクター ストアとは

ベクター ストアのしくみ

ベクトル検索のプレビュー機能への登録

コンテナー ベクトル ポリシー

ベクトル インデックス作成ポリシー

VectorDistance() を使用したクエリによるベクトル検索を実行する

現在の制限と制約

次のステップ

フィードバック

その他のリソース

ベクターストアとは

ベクターストアのしくみ

コンテナーベクトルポリシー

ベクトルインデックス作成ポリシー