Azure AI Search の新機能
Azure Cognitive Search は Azure AI Search になりました。 Azure AI Search の機能、ドキュメント、サンプルの最新情報について説明します。
Note
プレビュー機能はここで発表されていますが、プレビュー機能の一覧も維持管理されているため、1 か所で参照できます。
2024 年 10 月
| Item | 型 | 説明 |
|---|---|---|
| Azure OpenAI の MRL トレーニング済みテキスト埋め込みモデルの次元要件を下げる | 機能 | Text-embedding-3-small と Text-embedding-3-large は、Matryoshka Representation Learning (MRL) を使用してトレーニングされます。 これにより、埋め込みベクトルをより少ない次元に切り詰めて、ベクトル インデックス サイズの使用量と取得品質のバランスを調整できます。 2024-09-01-preview の新しい truncationDimension により、テキスト埋め込みモデルで MRL 圧縮にアクセスできるようになりました。 これは、新しいベクトル フィールドに対してのみ構成できます。 |
@search.score をアンパックしてハイブリッド検索結果のサブスコアを表示する |
機能 | Reciprocal Rank Fusion (RRF) でランク付けされた結果を、マージされスコア付けされた最終的な結果の個々のクエリ サブスコアを表示することで調査できます。 新しい debug プロパティによって、検索スコアがアンパックされます。 QueryResultDocumentSubscores、QueryResultDocumentRerankerInput、QueryResultDocumentSemanticField によって、追加の詳細が提供されます。 これらの定義は、2024-09-01-preview で使用できます。 |
| ハイブリッド検索のフィルターをベクトル クエリのみを対象とするように設定する | 機能 | ハイブリッド クエリのフィルターには、種類に関係なく、要求のすべてのサブクエリが含まれます。 グローバル フィルターをオーバーライドして、フィルターのスコープを特定のサブクエリに設定できます。 新しい filterOverride パラメーターは、2024-09-01-preview を使用したハイブリッド クエリで使用できます。 |
| テキスト分割スキル (トークンのチャンキング) | 応用 AI (スキル) | このスキルには、埋め込みモデルのデータのチャンキングを改善する新しいパラメーターがあります。 新しい unit パラメーターを使用することにより、トークンのチャンキングを指定できます。 トークンの長さを埋め込みモデルに適した値に設定することで、トークン長でチャンクを作成できるようになりました。 また、トークナイザーと、データのチャンキング中に分割すべきではないトークンを指定することもできます。 新しい unit パラメーターとクエリ サブスコアの定義は、2024-09-01-preview にあります。 |
| 2024-09-01-preview | API | text-embedding-3 モデルの切り詰められた次元、ハイブリッド クエリ向けのターゲット ベクトル フィルタリング、デバッグ用の RRF サブスコアの詳細、テキスト分割スキルのトークン チャンキング用の REST API のプレビュー リリース。 |
2024 年 8 月
| Item | 型 | 説明 |
|---|---|---|
| デバッグ セッションの改善 | feature | 2 つの重要な改善点があります。 1 つ目は、垂直統合とデータ チャンキングのワークロードをデバッグできるようになりました。 2 つ目は、スキルとマッピングの表示をより合理化するために、デバッグ セッションが再設計されたことです。 フロー内のオブジェクトを選択し、その詳細をサイド パネルで表示または編集できます。 以前のタブ表示のレイアウトは、よりページ上のコンテキストに応じた情報に完全に置き換えられています。 |
| 2024-07-01 | API | 一般提供されているインデックス作成とクエリの間のベクトル データ型、ベクトル圧縮、垂直統合のための REST API の安定したリリース。 |
| 垂直統合 | 機能 | 一般提供の発表。 インデックス作成時のスキル駆動型のデータ チャンクと埋め込み。 |
| ベクター化 | 機能 | 一般提供の発表。 クエリ実行時のテキストからベクトルへの変換。 Azure OpenAI ベクトライザーとカスタム Web API ベクトライザーはどちらも一般提供されています。 |
| AzureOpenAIEmbedding スキル | 機能 | 一般提供の発表。 インデックス作成中に Azure OpenAI 埋め込みモデルを呼び出して埋め込みを生成するスキルの種類。 |
| インデックスのプロジェクション | 機能 | 一般提供の発表。 セカンダリ インデックスの形状を定義するスキルセット定義のコンポーネント。エンリッチメント パイプラインのコンテンツが複数のインデックスをターゲットにできる 1 対多のインデックス パターンをサポートしています。 |
| バイナリ量子化とスカラー量子化 | 機能 | 一般提供の発表。 組み込みの量子化を使って、メモリ内とディスク上のベクトル インデックス サイズを圧縮します。 |
| データ型の絞り込み | 機能 | 一般提供の発表。 受信データがそのデータ型であると想定して、ベクトル フィールドに小さいデータ型を割り当てます。 |
| データのインポートとベクトル化ウィザード | Azure portal | 一般提供の発表。 データ チャンクとベクトル化を含む完全なインデックス付けパイプラインを作成するウィザード。 ウィザードによって、すべての必要なオブジェクトと構成が作成されます。 このリリースでは、Azure Storage での Azure Data Lake に関するウィザードのサポートが追加されています。 |
| 格納されているプロパティ | 機能 | 一般提供の発表。 取得可能なベクトルを格納 "しない" ことで、ベクトル インデックスのストレージを削減するブール値。 |
| vectorQueries.Weight プロパティ | 機能 | 一般提供の発表。 検索操作での各ベクトル クエリの相対的な重みを指定します。 |
2024 年 7 月
| Item | 型 | 説明 |
|---|---|---|
| データに基づいたグラフ | Accelerator | Azure で実行される RAG パターン用のソリューション アクセラレータ。Azure AI Search を使用して検索し、Azure OpenAI 大規模言語モデルを使用して会話型検索エクスペリエンスを作成します。 サンプル データを使用するコードは、財務アドバイザーや契約のレビューと要約などのユース ケース シナリオに使用できます。 |
| 会話型ナレッジ マイニング | Accelerator | Azure AI Search、Azure Speech、Azure OpenAI サービス上に構築され、ユーザーが、コンタクト センターとの会話後の分析情報から実践的な分析情報を抽出できるようにするソリューション アクセラレータ。 |
| 独自のコパイロットをビルドする | Accelerator | Client Advisor が構造化および非構造化データの両方で生成 AI の能力を活用できるよう支援する独自のカスタム コパイロット ソリューションを作成します。 お客様が毎日のタスクを最適化し、より多くのクライアントとよりよいやり取りを行えるよう支援します。 |
2024 年 6 月
| Item | 型 | 説明 |
|---|---|---|
| Azure portal での画像検索 | 機能 | 検索エクスプローラーで画像検索がサポートされるようになりました。 ベクトル化された画像コンテンツのあるベクトル インデックスでは、画像を検索エクスプローラーにドロップして、一致する画像コンテンツのクエリを実行できます。 |
2024 年 5 月
| Item | 型 | 説明 |
|---|---|---|
| すべてのレベルにおける容量とベクトル クォータの増加 (同じ課金レート) | インフラストラクチャ | ほとんどのリージョンでは、2024 年 4 月 3 日より後に作成されたサービスで、Standard 2 (S2)、Standard 3 (S3)、Standard 3 High Density (S3 HD) のパーティション サイズがさらに大きくなりました。 より大きなパーティションを取得するには、新しいインフラストラクチャを提供するリージョンで新しいサービスを作成します。 ストレージ最適化レベル (L1 と L2) の容量も増加しました。 L1 および L2 のお客様が大容量のメリットを得るには、新しいサービスを作成する必要があります。 現時点では、インプレース アップグレードはありません。 追加容量を利用できるリージョンが増えました: ドイツ北部、ドイツ中西部、南アフリカ北部、スイス西部、Azure Government (テキサス、アリゾナ、バージニア) が含まれるようになりました。 |
| OneLake 統合 (プレビュー) | 機能 | OneLake ファイルと OneLake ショートカットの新しいインデクサー。 アマゾン ウェブ サービス (AWS) と Google データ ソースへのデータ アクセスに Microsoft Fabric と OneLake を使用する場合は、このインデクサーを使用して外部データを検索インデックスへとインポートします。 このインデクサーは、Azure portal、2024-05-01-preview REST API、Azure SDK ベータ パッケージを通して利用できます。 |
| ベクトルの関連性 ハイブリッド クエリの関連性 |
機能 | 4 つの機能強化により、ベクトル検索とハイブリッド検索の関連性が向上します。 まず、ベクトル検索結果にしきい値を設定して、スコアの低い結果を除外できるようになりました。 2 つ目は、クエリ アーキテクチャの変更により、クエリの種類ごとにクエリ パイプラインの最後にスコアリング プロファイルが適用されます。 ドキュメント ブーストは一般的なスコアリング プロファイルであり、ベクトル クエリとハイブリッド クエリで想定どおりに動作するようになりました。 3 つ目は、ハイブリッド クエリで MaxTextRecallSize と countAndFacetMode を設定し、ハイブリッド ランク付けモデルに流れる BM25 ランク付け検索結果の量を制御できます。 4 つ目は、ベクトル検索とハイブリッド検索の場合、ベクトル クエリの重み付けを行い、マルチクエリ要求でその重要度を上げたり下げたりすることができます。 |
| バイナリ ベクトルのサポート | 機能 | Collection(Edm.Byte) は、サポートされる新しいデータ型です。 このデータ型により、Cohere v3 バイナリ埋め込みモデルおよびカスタム バイナリ量子化との統合が可能になります。 データ型を狭くすると、大規模なベクトル データセットのコストが削減されます。 詳細については「ベクトル検索用のバイナリ データのインデックスを作成する」を参照してください。 |
| Azure AI Vision マルチモーダル埋め込みスキル (プレビュー) | スキル | Azure AI Vision のマルチモーダル埋め込み API にバインドされた新しいスキル。 インデックス作成中にテキストまたは画像の埋め込みを生成できます。 このスキルは、Azure portal と 2024-05-01-preview REST API から利用できます。 |
| Azure AI Vision ベクトライザー (プレビュー) | ベクトライザー | 新しいベクトライザーは、マルチモーダル埋め込み API を使用して Azure AI Vision リソースに接続し、クエリ時に埋め込みを生成します。 このベクトライザーは、Azure portal と 2024-05-01-preview REST API から利用できます。 |
| Azure AI Studio モデル カタログ ベクトライザー (プレビュー) | ベクトライザー | 新しいベクトライザーは、Azure AI Studio モデル カタログからデプロイされた埋め込みモデルに接続します。 このベクトライザーは、Azure portal と 2024-05-01-preview REST API から利用できます。 Azure AI Studio のモデルを使用して垂直統合を実装する方法。 |
| AzureOpenAIEmbedding スキル (プレビュー) により、Azure OpenAI でさらに多くのモデルがサポートされる | スキル | 以前の更新プログラムの text-embedding-ada-002 と共に、text-embedding-3-large および text-embedding-3-small がサポートされるようになりました。 新しい dimensions と modelName プロパティを使用すると、Azure OpenAI でさまざまな埋め込みモデルを指定できます。 以前は、ディメンションの制限は 1,536 次元で固定されていました。text-embedding-ada-002 にのみ適用できます。 この更新されたスキルは、Azure portal と 2024-05-01-preview REST API から利用できます。 |
| Azure portal の更新 | ポータル | データのインポートとベクター化ウィザード、OneLake インデクサーがデータ ソースとしてサポートされるようになりました。 埋め込みでは、Azure AI Vision マルチモーダル、Azure AI Studio モデル カタログ、および Azure OpenAI 上のより多くの埋め込みモデルへの接続もサポートされます。 インデックスにフィールドを追加する場合は、バイナリ データ型を選択できます。 Search エクスプローラー の既定値は 2024-05-01-preview になり、ベクター クエリとハイブリッド クエリの新しいプレビュー機能がサポートされるようになりました。 |
| 2024-05-01-preview | API | Search REST API の新しいプレビュー バージョンは、新しいスキルとベクトライザー、新しいバイナリ データ型、OneLake ファイル インデクサー、および関連性の高い結果を得るための新しいクエリ パラメーターを提供します。 2023-07-01-preview に対して記述された既存のコードがあり、このバージョンに移行する必要がある場合は、REST API のアップグレードを参照してください。 |
| Azure SDK ベータ パッケージ | API | 新機能のサポートについては、次の Azure SDK ベータ パッケージの変更ログを確認してください: Azure SDK for Python、Azure SDK for .NET、Azure SDK for Java |
| Python コード サンプル | サンプル | 新しいエンドツーエンドのサンプルでは、Cohere Embed v3 との統合、Google および AWS 上の OneLake とクラウド データ プラットフォームとの統合、Azure AI Vision マルチモーダル API との統合 を紹介しています。 |
2024 年 4 月
| Item | 型 | 説明 |
|---|---|---|
| 情報漏えいに対処するセキュリティ更新プログラム | API | GET 応答では接続文字列もキーも返されなくなりました。 GET スキルセット、GET インデックス、および GET インデクサーに適用されます。 この変更は、AI Search と統合された Azure 資産を未承認のアクセスから保護するのに役立ちます。 |
| Basic および Standard レベルのその他のストレージ | インフラストラクチャ | Basic では、最大 3 つのパーティションと 3 つのレプリカがサポートされるようになりました。 Basic レベルおよび Standard (S1、S2、S3) レベルでは、パーティションごとの課金レートは同じで、パーティションあたりのストレージが大幅に増えます。 追加される容量はリージョンの可用性の対象となり、2024 年 4 月 3 日以降に作成された新しい検索サービスに適用されます。 現在、インプレース アップグレードはありません。そのため、新しい検索サービスを作成して追加のストレージを取得する必要があります。 |
| ベクターのその他のクォータ | インフラストラクチャ | ベクター クォータも同様に、選択したリージョンで 2024 年 4 月 3 日以降に作成された新しいサービスで増加します。 |
ベクターの量子化、narrow ベクター データ型、新しい stored プロパティ (プレビュー) |
機能 | これら 3 つの機能をまとめて、ベクター圧縮とよりスマートなストレージ オプションが追加されます。 1 番目としては、スカラー量子化により、メモリ内とディスク上のベクター インデックス サイズが圧縮されます。 2 つ目は、狭いデータ型により、小さい値を格納することでフィールドごとのストレージを削減します。 3 つ目は、stored を使用して、検索結果にのみ使用されるベクターの追加コピーの保存をオプトアウトします。 クエリ応答にベクターが必要ない場合は、stored をfalse に設定して領域を節約できます。 |
| 2024-03-01-preview Search REST API | API | 新しいデータ型、ベクター圧縮プロパティ、ベクター ストレージ オプションのための Search REST API の新しいプレビュー バージョン。 |
| 2024-03-01-preview Management REST API | API | コントロール プレーン操作用の新しいプレビュー バージョンの Management REST API。 |
| 2023-07-01-preview 非推奨のお知らせ | API | 2024 年 4 月 8 日 非推奨のお知らせ。 2024 年 7 月 8 日にサポート対象外になります。 これは、ベクトル検索サポートを提供した最初の REST API でした。 新しい API バージョンでは、ベクトル構成が異なります。 できるだけ早く新しいバージョンに移行してください。 |
2024 年 2 月
| Item | 型 | 説明 |
|---|---|---|
| ディメンションの新しい制限 | 機能 | ベクトル フィールドのディメンションの上限が 2048 から引き上げられて 3072 になりました。 |
2023 年のお知らせ
| Month | Type | お知らせ |
|---|---|---|
| 11 月 | 機能 | ベクトル検索、一般提供。 カスタマー マネージド キー (CMK) に対する以前の制限は現在、解除されています。 事前フィルター処理と、網羅的な K 近傍法も一般提供になりました。 |
| 11 月 | 機能 | セマンティック ランカー、一般提供 |
| 11 月 | 機能 | 垂直統合 (プレビュー) は、インデックス作成中のデータのチャンクへの変換とテキストからベクトルへの変換を追加し、クエリ実行時のテキストからベクトルへの変換も追加します。 |
| 11 月 | 機能 | [データのインポートとベクトル化] ウィザード (プレビュー) は、データ チャンクとベクトル化を自動化します。 対象は、2023-10-01-Preview REST API です。 |
| 11 月 | 機能 | インデックスのプロジェクション (プレビュー) は、エンリッチメント パイプラインのコンテンツが複数のインデックスをターゲットにできる 1 対多のインデックス パターンに使用されるセカンダリ インデックスの形状を定義します。 |
| 11 月 | API | 2023-11-01 Search REST API は、ベクトル検索およびセマンティック ランク付け用の安定バージョンの Search REST API です。 一般公開された機能への移行手順については、REST API のアップグレードに関するページを参照してください。 |
| 11 月 | API | 2023-11-01 Management REST API では、セマンティック ランカーを有効または無効にする API が追加されます。 |
| 11 月 | スキル | Azure OpenAI 埋め込みスキル (プレビュー) は、Azure OpenAI リソースにデプロイされている埋め込みモデルに接続して、スキルセットの実行中に埋め込みを生成します。 |
| 11 月 | スキル | テキスト分割スキル (プレビュー) は、ネイティブ データのチャンク分割をサポートするために、2023-10-01-Preview で更新されています。 |
| 11 月 | ビデオ | ベクトル検索とセマンティックランク付けによって GPT プロンプトを向上させる方法は、ハイブリッド検索によって、有用な AI 応答を生成するための最適な基礎データを入手して、概念とキーワードの両方で検索できるようにする方法について説明します。 |
| 11 月 | サンプル | 生成 AI アプリケーションでのロールベースのアクセス制御は、Microsoft Entra ID と Microsoft Graph API を使用して、インデックス内のチャンク分割されたコンテンツに対する詳細なユーザー アクセス許可をロール アウトする方法について説明します。 |
| 10 月 | サンプル | "データとチャット" ソリューション アクセラレータ。 Azure AI Search をレトリバーとして使用するエンドツーエンドの RAG パターン。 インデックス作成、データ チャンク、オーケストレーションを提供します。 |
| 10 月 | 機能 | 網羅的 K ニアレスト ネイバー (KNN) は、ベクトル空間での類似性検索のためのスコアリング アルゴリズムです。 2023-10-01-Preview REST API でのみ使用できます。 |
| 10 月 | 機能 | ベクトル検索でのプリフィルターは、クエリの実行前にフィルター条件を評価し、検索する必要があるコンテンツの量を減らします。 2023-10-01-Preview REST API でのみ使用できます。要件に応じて、vectorFilterMode (既定値) または preFilter に設定できるクエリに対して新しい postFilter プロパティを使います。 |
| 10 月 | API | 2023-10-01-Preview Search REST API は、ベクトル フィールドまたはベクトル クエリの定義の破壊的変更です。 |
| 8 月 | 機能 | 拡張セマンティック ランク付け。 アップグレードされたモデルが、セマンティック再ランク付けのためにロールアウトされ、より多くのリージョンが利用できるように拡張されています。 一意のトークンの最大数が 2 倍になり 128 から 256 に増えました。 |
| 7 月 | サンプル | ベクター デモ (Azure SDK for JavaScript)。 埋め込みの生成、インデックスの作成と読み込み、およびいくつかのベクター クエリの実行のために、Node.js と @azure/search-documents 12.0.0-beta.2 ライブラリを使用します。 |
| 7 月 | サンプル | ベクター デモ (Azure SDK for .NET)。 埋め込みの生成、インデックスの作成と読み込み、およびいくつかのベクター クエリの実行のために、Node.js と Azure.Search.Documents 11.5.0-beta.3 ライブラリを使用します。 このサンプルは、Azure SDK チームから試すこともできます。 |
| 7 月 | サンプル | ベクター デモ (Azure SDK for Python) は、azure.search.documents の最新ベータ リリースを使用して、埋め込みの生成やインデックスの作成と読み込みに加え、複数のベクトル クエリの実行を行います。 その他のベクトル検索デモについては、azure-search-vector-samples/demo-python リポジトリを参照してください。 |
| 6 月 | 機能 | ベクトル検索のパブリック プレビュー。 |
| 6 月 | 機能 | セマンティック検索の利用可能性、Basic レベルで使用できます。 |
| 6 月 | API | 2023-07-01-Preview Search REST API。 ベクトル検索のサポート。 |
| 5 月 | 機能 | Azure RBAC (ロールベースのアクセス制御、一般提供)。 |
| 5 月 | API | Azure ロールを使用するように検索を構成するためのサポートを備えた 2022-09-01 Management REST API。 検索サービスの認証オプションをサポートするよう、Azure PowerShell の Az.Search モジュールと Azure CLI の Az search モジュールが更新されました。 Terraform プロバイダーを使用して認証オプションを構成することもできます (詳細については、こちらの Terraform のクイックスタートを参照してください)。 |
| 4 月 | サンプル | 事業継続とディザスター リカバリーのための Azure AI Search のマルチリージョン展開。 エンドポイントが失敗した場合にコンテンツの同期と要求のリダイレクトを行うためのオプションを含む、Azure AI Search のマルチリージョン ソリューションを完全に構成するデプロイ スクリプト。 |
| 3 月 | サンプル | Azure OpenAI と Azure AI Search を使用した ChatGPT と Enterprise データ (GitHub)。 Azure AI Search を OpenAI の大規模な言語モデルと組み合わせるための Python コードとテンプレート。 背景については、こちらの Tech Community のブログ記事「Revolutionize your Enterprise Data with ChatGPT」 (ChatGPT を使用してエンタープライズ データに革命を起こす) を参照してください。 重要なポイント: Azure AI Search を使用して、検索可能なコンテンツを統合してインデックスを作成します。 インデックスにクエリを実行して最初の検索結果を取得します。 これらの結果からプロンプトをアセンブルし、Azure OpenAI の gpt-35-turbo (プレビュー) モデルに送信します。 クロス ドキュメントの回答を返し、顧客向けアプリで引用文献と透明性を提供して、ユーザーが応答を評価できるようにします。 |
前年度のお知らせ
サービスのブランド変更
このサービスには長年にわたって複数の名前が付けられてきました。 ここでは、それらを逆時系列順に示します。
- Azure AI 検索 (2023 年 11 月) Azure AI サービスと顧客の期待に合わせて名前が変更されました。
- Azure Cognitive Search (2019 年 10 月) サービス操作でのコグニティブ スキルと AI 処理の使用の拡大 (ただし省略可能) を反映するために名前が変更されました。
- Azure Search (2015 年 3 月) 最初の名前です。
サービスの更新情報
Azure AI Search に関するサービス更新のお知らせは、Azure の Web サイトで参照できます。
機能名の変更
セマンティック検索は、既存の結果セットの L2 ランク付けを提供する機能をより適切に示すため、2023 年 11 月にセマンティック ランカーに名前が変更されました。