SQL データベース ワークロードの埋め込みを設計する
ヒント
詳細については、「 テキストと画像 」タブを参照してください。
埋め込みはデータをベクトルとして表し、テキストの一部間の類似性を比較できるようにします。 埋め込みを設計する方法は、ベクターが後で生成されてクエリされる際の関連性、パフォーマンス、コストに影響します。
SQL Server には、ワークフローの埋め込みをサポートする組み込みの AI 関数が用意されています。 一般的なベクター検索パターンは、埋め込みを生成する前にテキストを準備する方法をガイドするのに役立ちます。
ベクターの作成方法を理解する
しかし、この用語 ベクトル は、AI と SQL データベースの統合のコンテキストで何を意味しますか?
AI モデルは、SQL 自体ではなくベクターを作成します。 モデルは、テキストを読み取り、そのテキストの意味を表す数値の一覧を返すようにトレーニングされました。
SQL が埋め込みモデルにテキストを送信すると、モデルはベクターを返します。このベクターは、後で他のベクターと比較するために SQL によって格納されます。
たとえば、 "軽量ハイキング バックパック" というテキストが埋め込みモデルに送信されると、モデルは次を返します。
[0.12, -0.87, 0.45, 0.31, …]
「日のハイキングのためのコンパクトなバックパック」などの関連文は、似た数字の異なるリストを生成します。
[0.10, -0.85, 0.47, 0.29, …]
ベクトルは似ているので、SQL では、文言が異なる場合でも、2 つのテキストを関連として扱うことができます。
埋め込みに含めるデータを識別する
埋め込みは、説明、タイトル、その他の自由形式のテキスト フィールドなど、セマンティックな意味を持つテキストを表す場合に最適です。
識別子、数値、または操作メタデータを格納する列は、通常、セマンティック値を追加しないため、除外する必要があります。 埋め込みを意味のあるテキストに制限すると、トークンの使用量が減り、類似性の結果が向上します。
この段階での設計の選択によって、どの情報埋め込みキャプチャが行われ、基になるデータがどの程度適切に表されるかが決まります。
入力サイズと構造を制御する
埋め込みモデルはトークン化された入力で動作し、1 つの要求で処理できるテキストの量に制限を課します。 トークンとは、モデルが 1 つの単位として処理する小さなテキスト (単語や単語の一部など) です。 長いテキスト値では、多くの場合、小さい単位に分割する必要があります。
SQL Server では、ワークフローを埋め込むためのテキストを準備するのに役立つ組み込みの AI 関数を使用して、このパターンをサポートしています。 入力サイズを制御することで、テキストをモデルの制限内に保持し、各埋め込みで明確で焦点を絞ったコンテンツを表すことができます。
適切に構造化された入力は、関連性のないアイデアを一緒に埋め込むのを回避するのにも役立ちます。これにより、類似性の結果の品質が低下する可能性があります。
分割戦略を作成する
チャンクは、より大きなテキスト値をより小さなセグメントに分割する方法を定義します。 チャンク戦略は、コンテキストと精度のバランスを取ります。
チャンクが大きすぎると、トークンの制限を超えたり、セマンティック フォーカスが希釈されたりする可能性があります。 チャンクが小さすぎると、重要なコンテキストが失われる可能性があります。 目標は、チャンクを効果的に処理しながら意味を保持することです。
実際には、チャンクは、SQL でテキストを分割するときに適用する規則によって定義されます。 通常、これらのルールは、最大文字数や分割を許可する場所など、各チャンクに入るテキストの量を制御します。
AI_GENERATE_CHUNKS(SOURCE = description, CHUNK_TYPE = FIXED, CHUNK_SIZE = 500)
ソース テーブルの近くにある SQL でチャンク ルールを直接定義することで、アプリケーション コードを変更する代わりにクエリを調整することで、チャンク サイズまたは分割動作を変更できます。
SQL を使用して埋め込み設計を適用する
次の例は、テキストを小さな単位に分割して埋め込み生成用に準備する概念パターンを示しています。
SELECT
id,
c.chunk
FROM dbo.documents
CROSS APPLY
AI_GENERATE_CHUNKS(SOURCE = description, CHUNK_TYPE = FIXED, CHUNK_SIZE = 500) AS c;
この例では、 description 列のテキストは最大 500 文字のチャンクに分割されています。 各チャンクは後で埋め込み関数に渡され、埋め込みによって元のコンテンツのフォーカス部分を表すことができます。
たとえば、行に description 列に次のテキストが含まれている場合です。
"Lightweight backpack designed for long day hikes in warm weather."
チャンク関数では、次のような複数のチャンクが生成される場合があります。
"Lightweight backpack designed for long day hikes""in warm weather."
各チャンクは、クエリによって個別の行として返されます。 その後、これらの小さい部分を埋め込み関数に個別に渡して、各埋め込みで元のテキストのフォーカス部分を表すことができます。
ヒント
1 つの設計パターンは、ソース テキスト データとは別のテーブルにベクターを格納することです。 専用の埋め込みテーブルを使用すると、元のデータに影響を与えることなく、使用する領域ベクトルの量を追跡したり、埋め込みを再構築したりしやすくなります。
重要なポイント
埋め込みの品質は、モデルを実行する前に行う決定によって異なります。 適切な列を選択し、長いテキストをフォーカスのあるセグメントに分割することで、AI_GENERATE_CHUNKS ベクター検索結果の有用性を決定します。 これらの設計の選択肢を早期に取得すると、埋め込み世代とストレージに移行するときにコストのかかるやり直しを防ぐことができます。