Azure Machine Learning でのベクター ストア (プレビュー)
重要
現在、この機能はパブリック プレビュー段階にあります。 このプレビュー バージョンはサービス レベル アグリーメントなしで提供されており、運用環境のワークロードに使用することは推奨されません。 特定の機能はサポート対象ではなく、機能が制限されることがあります。
詳しくは、Microsoft Azure プレビューの追加使用条件に関するページをご覧ください。
この記事では、取得拡張生成 (RAG) を実行するために使用できる Azure Machine Learning のベクター インデックスについて説明します。 ベクター インデックスには、数値シーケンスに変換された "概念" の数値表現 (データ) である埋め込みが格納されます。 埋め込みを使用すると、大規模言語モデル (LLM) が概念間の関係を理解できるようになります。 ベクター ストアを作成して、データを GPT-4 などの LLM に接続し、データを効率的に取得できます。
Azure Machine Learning では、RAG ワークフローで使用される補足データを含めるための次の 2 つのベクター ストアがサポートされています。
| ベクトル ストア | 説明 | 機能と用途 |
|---|---|---|
| Faiss | オープンソース ライブラリ | - ローカル ファイルベースのストアを使用 - 発生するコストは最小限 - ベクターのみのデータをサポート - 開発とテストをサポート |
| Azure AI Search | Azure PaaS リソース | - 検索インデックスにテキスト データを格納 - 1 津のサービスで多数のインデックスをホスト - エンタープライズレベルのビジネス要件をサポート - ハイブリッドの情報検索にアクセス |
以降のセクションでは、これらのベクター ストアを使用するための考慮事項について説明します。
Faiss ライブラリ
Faiss は、ローカル ファイルベースのストアを提供するオープンソース ライブラリです。 ベクター インデックスは、Azure Machine Learning ワークスペースの Azure ストレージ アカウントに格納されます。 Faiss を使用するには、ライブラリをダウンロードし、ソリューションのコンポーネントとして使用します。 インデックスはローカルに格納されるため、コストは最小限に抑えられます。
Faiss ライブラリをベクター ストアとして使用し、次のアクションを実行できます。
インデックスを作成するコストをかけずにベクター データをローカルに保存する (ストレージ コストのみ)
メモリ内でインデックスを作成してクエリを実行する
個人使用のためにコピーを共有し、アプリケーションのインデックスのホスティングを構成する
基になるコンピューティング読み込みインデックスを使用してスケーリングする
Azure AI Search
Azure AI 検索 (旧称: Cognitive Search) は、Azure サブスクリプション内に作成する専用の Azure PaaS リソースです。 このリソースは、検索インデックスに格納されているベクター データとテキスト データに対する情報取得をサポートします。 プロンプト フローでは、Azure AI Search に保存されているベクター データの作成、設定、クエリ実行を行うことができます。 1 つの検索サービスは多数のインデックスをホストでき、これに対してクエリを実行して RAG パターンで使用できます。
ベクター ストアに Azure AI 検索を使用する際のいくつかの重要なポイントを次に示します。
スケール、セキュリティ、可用性に関するエンタープライズ レベルのビジネス要件をサポートします。
ハイブリッドの情報検索にアクセスします。 ベクター データは、非ベクター データと共存できます。つまり、ハイブリッド検索やセマンティック再ランク付けなど、インデックス作成とクエリに任意の Azure AI 検索の機能を使用できます。
ベクターのサポートはプレビュー段階であることに注意してください。 現時点では、ベクターは外部で生成してから、インデックス付けとクエリ エンコードのために Azure AI Search に渡す必要があります。 プロンプト フローが利用者のためにこれらの遷移を処理します。
Azure Machine Learning 用のベクター ストアとして Azure AI Search を使用するには、検索サービスを持っている必要があります。 サービスが存在し、開発者に権利を与えたら、プロンプト フローでベクター インデックスとして Azure AI 検索を選択できます。 プロンプト フローは、Azure AI Search 上でインデックスを作成し、ソース データからベクターを生成し、そのベクターをインデックスに送信し、Azure AI Search 上の類似性検索を呼び出して、応答を返します。