Azure AI 搜尋服務效能效能評定

重要

不過,這些效能評定絕不保證服務的特定效能等級,不過,它們可作為評估類似組態下潛在效能的實用指南。

Azure AI 搜尋服務的效能取決於各種 因素 ,包括搜尋服務的大小和您要傳送的查詢類型。 為了協助預估工作負載所需的搜尋服務大小,我們執行數個基準檢驗來記錄不同搜尋服務和設定的效能。

為了涵蓋各種不同的使用案例,我們針對兩個主要案例執行基準檢驗:

  • 電子商務搜尋 - 此基準會模擬真正的電子商務案例,並且以北歐電子商務公司 CDON 為基礎。
  • 檔搜尋 - 此案例是由語 意學者全文檢索文件的關鍵詞搜尋所組成。 這會模擬一般檔搜尋解決方案。

雖然這些案例反映不同的使用案例,但每個案例都不同,因此我們一律建議您測試個別工作負載的效能。 我們已使用 JMeter 發佈效能測試解決方案,以便您可以針對自己的服務執行類似的測試。

測試方法

為了對 Azure AI 搜尋服務的效能進行基準檢驗,我們在不同層級和複本/分割區組合上針對兩個不同的案例執行測試。

若要建立這些基準檢驗,使用了下列方法:

  1. 測試從 X 每秒查詢 (QPS) 開始 180 秒。 這通常是 5 或 10 個 QPS。
  2. QPS 接著又 X 增加了 180 秒
  3. 每隔 180 秒,QPS 的測試就會 X 增加,直到平均延遲超過 1000 毫秒或低於 99% 的查詢成功為止。

下圖提供測試查詢負載外觀的可視化範例:

Example test

每個案例都使用至少 10,000 個唯一查詢,以避免快取過度扭曲測試。

重要

這些測試只包含查詢工作負載。 如果您預期會有大量的索引編製作業,請務必將這納入估計和效能測試。 本教學課程中可以找到模擬索引編製的範例程序代碼。

定義

  • 最大 QPS - QPS 數目上限是以測試中達到的最高 QPS 為基礎,其中 99% 的查詢順利完成,且平均延遲保持在 1000 毫秒以下。

  • 最大 QPS 百分比 - 針對特定測試達成的最大 QPS 百分比。 例如,如果指定的測試達到最多 100 個 QPS,則最大 QPS 的 20% 會是 20 個 QPS。

  • 延遲 - 伺服器的查詢延遲;這些數位不包含來回延遲 (RTT) 。 值以毫秒為單位(毫秒)。

測試免責聲明

我們用來執行這些基準檢驗的程式代碼可在 azure-search-performance-testing 存放庫中取得。 值得注意的是,我們使用 JMeter 效能測試解決方案觀察到的 QPS 層級比基準稍低。 差異可以歸因於測試樣式的差異。 這說明瞭讓效能測試盡可能類似於生產工作負載的重要性。

重要

這些基準檢驗絕不保證服務的特定效能等級,但可以讓您了解根據您的案例所預期的效能。

如果您有任何問題或疑慮,請在 azuresearch_contact@microsoft.com與我們連絡。

CDON Logo

此基準是與北歐地區最大的在線市場CON、 瑞典、芬蘭、挪威和丹麥運營的電子商務公司 CDON 合作建立的。 CDON 透過其 1,500 家商家,提供各種產品,包括 800 多萬種產品。 2020年,CDON 有超過1.2億遊客和200萬活躍客戶。 您可以在本文中深入瞭解 CDON 對 Azure AI 搜尋的使用。

為了執行這些測試,我們使用CDON生產搜尋索引的快照集,以及其 網站上的數千個唯一查詢。

案例詳細數據

  • 檔計數:6,000,000
  • 索引大小:20 GB
  • 索引架構:包含 250 個字段總計、25 個可搜尋欄位和 200 個可 Facet/可篩選字段的寬索引
  • 查詢類型:全文搜索查詢,包括Facet、篩選、排序和評分配置檔

S1 效能

每秒查詢數

下圖顯示服務在每秒查詢期間可處理的查詢負載最高(QPS)。

Highest maintainable QPS ecommerce s1

查詢延遲

查詢延遲會根據較高壓力的服務負載而有所不同,平均查詢延遲較高。 下表顯示三個不同使用層級的查詢延遲第 25、50、75、90、95 和第 99 個百分位數。

最大 QPS 百分比 平均延遲 25% 75% 90% 95% 99%
20% 104 毫秒 35 毫秒 115 毫秒 177 毫秒 257 毫秒 738 毫秒
50% 140 毫秒 47 毫秒 144 毫秒 241 毫秒 400 毫秒 1175 毫秒
80% 239 毫秒 77 毫秒 248 毫秒 466 毫秒 763 毫秒 1752 毫秒

S2 效能

每秒查詢數

下圖顯示服務在每秒查詢期間可處理的查詢負載最高(QPS)。

Highest maintainable QPS ecommerce s2

查詢延遲

查詢延遲會根據較高壓力的服務負載而有所不同,平均查詢延遲較高。 下表顯示三個不同使用層級的查詢延遲第 25、50、75、90、95 和第 99 個百分位數。

最大 QPS 百分比 平均延遲 25% 75% 90% 95% 99%
20% 56 毫秒 21 毫秒 68 毫秒 106 毫秒 132 毫秒 210 毫秒
50% 71 毫秒 26 毫秒 83 毫秒 132 毫秒 177 毫秒 329 毫秒
80% 140 毫秒 47 毫秒 153 毫秒 293 毫秒 452 毫秒 924 毫秒

S3 效能

每秒查詢數

下圖顯示服務在每秒查詢期間可處理的查詢負載最高(QPS)。

Highest maintainable QPS ecommerce s3

在此案例中,我們看到新增第二個分割區會大幅增加最大 QPS,但新增第三個分割區可提供遞減的臨界傳回。 較小型的改善可能是因為所有數據都已經提取到只有兩個分割區的 S3 使用中記憶體。

查詢延遲

查詢延遲會根據較高壓力的服務負載而有所不同,平均查詢延遲較高。 下表顯示三個不同使用層級的查詢延遲第 25、50、75、90、95 和第 99 個百分位數。

最大 QPS 百分比 平均延遲 25% 75% 90% 95% 99%
20% 50 毫秒 20 毫秒 64 毫秒 83 毫秒 98 毫秒 160 毫秒
50% 62 毫秒 24 毫秒 80 毫秒 107 毫秒 130 毫秒 253 毫秒
80% 115 毫秒 38 毫秒 121 毫秒 218 毫秒 352 毫秒 828 毫秒

案例詳細數據

  • 檔計數:750 萬
  • 索引大小:22 GB
  • 索引架構:23 個字段;8 個可搜尋,10 個可篩選/多面向
  • 查詢類型:具有Facet和點擊醒目提示的關鍵詞搜尋

S1 效能

每秒查詢數

下圖顯示服務在每秒查詢期間可處理的查詢負載最高(QPS)。

Highest maintainable QPS doc search s1

查詢延遲

查詢延遲會根據較高壓力的服務負載而有所不同,平均查詢延遲較高。 下表顯示三個不同使用層級的查詢延遲第 25、50、75、90、95 和第 99 個百分位數。

最大 QPS 百分比 平均延遲 25% 75% 90% 95% 99%
20% 67 毫秒 44 毫秒 77 毫秒 103 毫秒 126 毫秒 216 毫秒
50% 93 毫秒 59 毫秒 110 毫秒 150 毫秒 184 毫秒 304 毫秒
80% 150 毫秒 96 毫秒 184 毫秒 248 毫秒 297 毫秒 424 毫秒

S2 效能

每秒查詢數

下圖顯示服務在每秒查詢期間可處理的查詢負載最高(QPS)。

Highest maintainable QPS doc search s2

查詢延遲

查詢延遲會根據較高壓力的服務負載而有所不同,平均查詢延遲較高。 下表顯示三個不同使用層級的查詢延遲第 25、50、75、90、95 和第 99 個百分位數。

最大 QPS 百分比 平均延遲 25% 75% 90% 95% 99%
20% 45 毫秒 31 毫秒 55 毫秒 73 毫秒 84 毫秒 109 毫秒
50% 63 毫秒 39 毫秒 81 毫秒 106 毫秒 123 毫秒 163 毫秒
80% 115 毫秒 73 毫秒 145 毫秒 191 毫秒 224 毫秒 291 毫秒

S3 效能

每秒查詢數

下圖顯示服務在每秒查詢期間可處理的查詢負載最高(QPS)。

Highest maintainable QPS doc search s3

查詢延遲

查詢延遲會根據較高壓力的服務負載而有所不同,平均查詢延遲較高。 下表顯示三個不同使用層級的查詢延遲第 25、50、75、90、95 和第 99 個百分位數。

最大 QPS 百分比 平均延遲 25% 75% 90% 95% 99%
20% 43 毫秒 29 毫秒 53 毫秒 74 毫秒 86 毫秒 111 毫秒
50% 65 毫秒 37 毫秒 85 毫秒 111 毫秒 128 毫秒 164 毫秒
80% 126 毫秒 83 毫秒 162 毫秒 205 毫秒 233 毫秒 281 毫秒

重要心得

透過這些基準檢驗,您可以瞭解 Azure AI 搜尋供應專案的效能。 您也可以看到不同層級的服務之間的差異。

從這些基準檢驗中取得的一些關鍵方法是:

  • S2 通常可以處理至少四倍的查詢磁碟區作為 S1
  • S2 的延遲通常低於可比較查詢磁碟區的 S1
  • 當您新增複本時,服務可以處理的 QPS 通常會以線性方式調整(例如,如果一個複本可以處理 10 個 QPS,則 5 個複本通常可以處理 50 個 QPS)
  • 服務負載越高,平均延遲就越高

您也可以看到效能在案例之間可能會有很大的差異。 如果您未獲得預期的效能,請查看改善效能秘訣。

下一步

既然您已瞭解效能效能評定,您可以深入瞭解如何分析 Azure AI 搜尋服務的效能,以及影響效能的重要因素。