使用 Azure 負載測試定義負載測試的失敗準則

在本文中，您將瞭解如何使用 Azure 負載測試來定義負載測試的失敗準則或自動停止準則。 失敗準則可讓您定義負載下應用程式的效能和質量預期。 Azure 負載測試支援各種用戶端計量來定義失敗準則，例如錯誤率或回應時間。 自動停止準則可讓您在錯誤率超過指定的閾值時自動停止負載測試。

必要條件

• 具有有效訂用帳戶的 Azure 帳戶。 如尚未擁有 Azure 訂用帳戶，請在開始之前先建立免費帳戶。
• Azure 負載測試資源。 如果您需要建立 Azure 負載測試資源，請參閱快速入門 建立和執行負載測試。

負載測試失敗準則

負載測試失敗準則是您的測試應該符合的用戶端計量的條件。 您可以在 Azure 負載測試中的負載測試層級定義測試準則。 負載測試可以有一或多個測試準則。 當至少有一個測試準則評估為 True 時，負載測試會取得 失敗 狀態。

您可以在兩個層級定義測試準則。 負載測試可以結合不同層級的準則。

• 在負載測試層級。 例如，爲了確保總錯誤百分比不會超過閾值。
• 在 JMeter 要求層級 (JMeter 取樣器)。 例如，您可以指定 getProducts 要求的回應時間閾值，但忽略登入要求的回應時間。

您可以為負載測試定義最多 50 個測試準則。 如果相同用戶端計量有多個準則，則會使用具有最低閾值的準則。

失敗準則結構

Azure 負載測試中的失敗準則格式遵循所支援計量的條件語句。 例如，確認每秒的平均要求數目大於 500。

失敗準則具有下列結構：

• 負載測試層級的測試準則：Aggregate_function (client_metric) condition threshold。
• 套用至特定 JMeter 要求的測試準則：Request: Aggregate_function (client_metric) condition threshold。

下表會描述不同的元件：

參數	描述
Client metric	必要。 應套用條件的用戶端計量。
Aggregate function	必要。 要套用至用戶端計量的彙總函式。
Condition	必要。 比較運算子，例如 greater than、或 less than。
Threshold	必要。 要與用戶端計量比較的數值。
Request	選擇性。 套用準則之 JMeter 指令碼中的取樣器名稱。 如果您未指定要求名稱，準則會套用至指令碼中所有要求的彙總。 請勿在 JMeter 指令碼中的取樣器名稱中包含任何個人資料。 取樣器名稱會出現在 Azure 負載測試結果儀表板中。

失敗準則支援的用戶端計量

Azure 負載測試支援下列用戶端計量：

計量	彙總函式	閾值	Condition	描述
response_time_ms	avg （平均） min （最小值） max （最大值） pxx （百分位數），xx 可以是 50、75、90、95、96、97、98、99、999 和 9999	整數值，表示毫秒數（毫秒）。	> (大於) < (小於)	回應時間或經過的時間，以毫秒為單位。 在 Apache JMeter 檔中深入了解經過的時間。
latency	avg （平均） min （最小值） max （最大值） pxx （百分位數），xx 可以是 50、90、95、99	整數值，表示毫秒數（毫秒）。	> (大於) < (小於)	延遲，以毫秒為單位。 深入瞭解 Apache JMeter 檔中的延遲。
error	percentage	範圍0-100中的數值，代表百分比。	> (大於)	失敗要求的百分比。
requests_per_sec	avg （平均）	具有最多兩個小數位數的數值。	> （大於） < (小於)	每秒的要求數目。
requests	count	整數值。	> （大於） < (小於)	要求總數。

定義負載測試失敗準則

Azure 入口網站

在本節中，您會在 Azure 入口網站 中設定負載測試的測試準則。

1. 在 Azure 入口網站中，移至您的 Azure 負載測試資源。

2. 在左窗格中，選取 [ 測試 ] 以檢視負載測試清單。

3. 從清單中選取負載測試，然後選取 [ 編輯]。

   

4. 在 [ 測試準則] 窗格中，填入您測試的 [計量]、 [匯總] 函式、 [條件] 和 [閾值 ]。

   

   或者，輸入 要求名稱 資訊，以新增特定 JMeter 要求的測試準則。 此值應該符合 JMX 檔案中 JMeter 取樣器的名稱。

   

5. 選取 [套用] 以儲存變更。

   當您現在執行負載測試時，Azure 負載測試會使用測試準則來判斷負載測試回合的狀態。

6. 執行測試，並在負載測試儀錶板中檢視狀態。

   儀錶板會顯示每個測試準則及其狀態。 如果至少符合一個準則，則整體測試狀態會失敗。

   

Azure Pipelines / GitHub Actions

在本節中，您會將負載測試的測試準則設定為 CI/CD 工作流程的一部分。 瞭解如何 使用 CI/CD 設定自動化效能測試。

針對 CI/CD 工作流程，您可以在 YAML 測試組態檔中設定負載測試設定。 您可以將負載測試設定檔與 JMeter 測試指令碼檔案一起儲存在來源控制存放庫中。

若要在 YAML 組態檔中指定失敗準則：

1. 在您選擇的編輯器中，開啟您負載測試的 YAML 測試組態檔。

2. 在 failureCriteria 設定中新增您的測試準則。

   使用失敗準則格式，如先前所述。 您可以為負載測試新增多個失敗準則。

   下列範例會定義三個失敗準則。 前兩個準則適用於整體負載測試，最後一個準則會指定 GetCustomerDetails 要求的條件。

   version: v0.1
   testId: SampleTestCICD
   displayName: Sample test from CI/CD
   testPlan: SampleTest.jmx
   description: Load test website home page
   engineInstances: 1
   failureCriteria:
     - avg(response_time_ms) > 300
     - percentage(error) > 50
     - GetCustomerDetails: avg(latency) >200
   

   當您定義特定 JMeter 要求的測試準則時，要求名稱應該符合 JMX 檔案中的 JMeter 取樣器名稱。

   

3. 儲存 YAML 組態檔，並將變更認可至原始檔控制。

4. CI/CD 工作流程執行之後，請確認 CI/CD 記錄中的測試狀態。

   記錄會顯示整體測試狀態，以及每個測試準則的狀態。 CI/CD 工作流程執行的狀態也會反映測試回合狀態。

   

自動停止設定

如果錯誤百分比超過特定時間範圍指定的閾值，Azure 負載測試會自動停止負載測試。 自動停止保護您免受失敗測試的進一步產生成本，例如，因為設定不正確的端點 URL。

在負載測試設定中，您可以啟用或停用自動停止功能，並設定錯誤百分比閾值和時間範圍。 根據預設，Azure 負載測試會自動停止其錯誤百分比在任何 60 秒時間範圍中至少為 90% 的負載測試。

您可以使用 Azure 負載測試自動停止功能搭配 JMeter 指令碼中的自動接聽程式 。 當達成自動停止設定或 JMeter AutoStop 接聽程式中的其中一個準則時，負載測試會自動停止。

警告

如果您停用負載測試的自動停止，即使負載測試設定不正確，也可能會產生成本。

Azure 入口網站

若要在 Azure 入口網站 中設定負載測試的自動停止：

1. 在 Azure 入口網站中，移至您的 Azure 負載測試資源。

2. 在左窗格中，選取 [ 測試 ] 以檢視負載測試清單。

3. 從清單中選取負載測試，然後選取 [ 編輯]。 或者，選取 [建立>上傳 JMeter 腳本 ] 以建立新的測試。

4. 移至 [ 測試準則] 索引標籤 ，以設定自動停止功能。

   • 使用 自動停止測試控制件啟用或停用自動停止負載測試 。

   • 如果您啟用自動停止，您可以填入 [錯誤百分比 ] 和 [時間範圍 ] 字段。 以秒為單位指定時間範圍。

     

5. 如果您正在建立新的負載測試，請選取 [ 套用] 或 [檢閱 + 建立 ]，以儲存變更。

Azure Pipelines / GitHub Actions

若要在 CI/CD 工作流程中設定負載測試的自動停止，請更新 負載測試組態 YAML 檔案。

若要在 YAML 組態檔中指定自動停止設定：

1. 在您選擇的編輯器中，開啟您負載測試的 YAML 測試組態檔。

   • 若要啟用自動停止，請新增 autoStop 設定並指定 errorPercentage 和 timeWindow。

     下列範例會在錯誤百分比在任何 2 分鐘的時段內超過 80% 時自動停止負載測試：

     version: v0.1
     testId: SampleTestCICD
     displayName: Sample test from CI/CD
     testPlan: SampleTest.jmx
     description: Load test website home page
     engineInstances: 1
     autoStop:
       errorPercentage: 80
       timeWindow: 120
     

   • 若要停用自動停止，請將 autoStop: disable 新增至設定檔。

     下列範例會為負載測試停用自動停止：

     version: v0.1
     testId: SampleTestCICD
     displayName: Sample test from CI/CD
     testPlan: SampleTest.jmx
     description: Load test website home page
     engineInstances: 1
     autoStop: disable
     

2. 儲存 YAML 組態檔，並將變更認可至原始檔控制。

瞭解如何 使用 CI/CD 設定自動化效能測試。

下一步

• 若要瞭解如何使用秘密參數化負載測試，請參閱 將負載測試參數化。

• 若要瞭解效能測試自動化，請參閱 設定自動化效能測試。