使用 Azure 負載測試定義負載測試的失敗準則

在本文中，您將瞭解如何使用 Azure 負載測試來定義負載測試的失敗準則或自動停止準則。 失敗準則可讓您定義負載下應用程式的效能和質量預期。 Azure 負載測試支援各種用戶端計量來定義失敗準則，例如錯誤率或回應時間。 自動停止準則可讓您在錯誤率超過指定的閾值時自動停止負載測試。

必要條件

• 具有有效訂用帳戶的 Azure 帳戶。 如尚未擁有 Azure 訂用帳戶，請在開始之前先建立免費帳戶。
• Azure 負載測試資源。 如果您需要建立 Azure 負載測試資源，請參閱快速入門 建立和執行負載測試。

負載測試失敗準則

負載測試失敗準則是用戶端計量的條件，您的測試應該符合。 您可以在 Azure 負載測試中的負載測試層級定義測試準則。 負載測試可以有一或多個測試準則。 當至少有一個測試準則評估為 true 時，負載測試會取得 失敗 狀態。

您可以在兩個層級定義測試準則。 負載測試可以結合不同層級的準則。

• 在負載測試層級。 例如，為了確保總錯誤百分比不會超過臨界值。
• 在 JMeter 要求層級（JMeter 取樣器）。 例如，您可以指定 getProducts 要求的響應時間閾值，但忽略登入要求的響應時間。

您可以定義負載測試的最多50個測試準則。 如果相同用戶端計量有多個準則，則會使用具有最低閾值的準則。

失敗準則結構

Azure 負載測試中的失敗準則格式遵循所支援計量的條件語句。 例如，請確定每秒的要求平均數目大於 500。

失敗準則具有下列結構：

• 負載測試層級的測試準則： Aggregate_function (client_metric) condition threshold。
• 套用至特定 JMeter 要求的測試準則： Request: Aggregate_function (client_metric) condition threshold。

下表描述不同的元件：

參數	描述
Client metric	必要。 應套用條件的用戶端計量。
Aggregate function	必要。 要套用至用戶端計量的聚合函數。
Condition	必要。 比較運算子，例如 greater than、 或 less than。
Threshold	必要。 要與客戶端計量比較的數值。
Request	選擇性。 套用準則之 JMeter 腳本中的取樣器名稱。 如果您未指定要求名稱，準則會套用至腳本中所有要求的匯總。 請勿在 JMeter 腳本的取樣器名稱中包含任何個人資料。 取樣器名稱會出現在 Azure 負載測試結果儀錶板中。

失敗準則支援的用戶端計量

Azure 負載測試支援下列用戶端計量：

計量	彙總函式	臨界值	Condition	描述
response_time_ms	avg （平均） min （最小值） max （最大值） pxx （百分位數），xx 可以是 50、90、95、99	整數值，表示毫秒數（毫秒）。	> (大於) < (小於)	回應時間或經過的時間，以毫秒為單位。 在 Apache JMeter 檔中深入了解經過的時間。
latency	avg （平均） min （最小值） max （最大值） pxx （百分位數），xx 可以是 50、90、95、99	整數值，表示毫秒數（毫秒）。	> (大於) < (小於)	延遲，以毫秒為單位。 深入瞭解 Apache JMeter 檔中的延遲。
error	percentage	範圍0-100中的數值，代表百分比。	> (大於)	失敗要求的百分比。
requests_per_sec	avg （平均）	具有最多兩個小數位數的數值。	> （大於） < (小於)	每秒的要求數目。
requests	count	整數值。	> （大於） < (小於)	要求總數。

定義負載測試失敗準則

Azure 入口網站

在本節中，您會在 Azure 入口網站 中設定負載測試的測試準則。

1. 在 Azure 入口網站 中，移至您的 Azure 負載測試資源。

2. 在左窗格中，選取 [ 測試 ] 以檢視負載測試清單。

3. 從清單中選取負載測試，然後選取 [ 編輯]。

   

4. 在 [ 測試準則] 窗格中，填入您測試的 [計量]、 [匯總] 函式、 [條件] 和 [閾值 ]。

   

   或者，輸入 要求名稱 資訊，以新增特定 JMeter 要求的測試準則。 此值應該符合 JMX 檔案中 JMeter 取樣器的名稱。

   

5. 選取 [ 套用 ] 以儲存變更。

   當您現在執行負載測試時，Azure 負載測試會使用測試準則來判斷負載測試回合的狀態。

6. 執行測試，並在負載測試儀錶板中檢視狀態。

   儀錶板會顯示每個測試準則及其狀態。 如果至少符合一個準則，則整體測試狀態會失敗。

   

Azure Pipelines / GitHub Actions

在本節中，您會將負載測試的測試準則設定為 CI/CD 工作流程的一部分。 瞭解如何 使用 CI/CD 設定自動化效能測試。

針對 CI/CD 工作流程，您可以在 YAML 測試組態檔中設定負載測試設定。 您會將負載測試配置檔與 JMeter 測試腳本檔案一起儲存在原始檔控制存放庫中。

若要在 YAML 組態檔中指定失敗準則：

1. 在您選擇的編輯器中，開啟您負載測試的 YAML 測試組態檔。

2. 在 failureCriteria 設定中新增您的測試準則。

   使用失敗準則格式，如先前所述。 您可以為負載測試新增多個失敗準則。

   下列範例會定義三個失敗準則。 前兩個準則適用於整體負載測試，最後一個準則會指定要求的條件 GetCustomerDetails 。

   version: v0.1
   testId: SampleTestCICD
   displayName: Sample test from CI/CD
   testPlan: SampleTest.jmx
   description: Load test website home page
   engineInstances: 1
   failureCriteria:
     - avg(response_time_ms) > 300
     - percentage(error) > 50
     - GetCustomerDetails: avg(latency) >200
   

   當您定義特定 JMeter 要求的測試準則時，要求名稱應該符合 JMX 檔案中的 JMeter 取樣器名稱。

   

3. 儲存 YAML 組態檔，並將變更認可至原始檔控制。

4. CI/CD 工作流程執行之後，請確認 CI/CD 記錄中的測試狀態。

   記錄會顯示整體測試狀態，以及每個測試準則的狀態。 CI/CD 工作流程執行的狀態也會反映測試回合狀態。

   

自動停止設定

如果錯誤百分比超過特定時間範圍指定的閾值，Azure 負載測試會自動停止負載測試。 自動停止保護您免受失敗測試的進一步產生成本，例如，因為設定不正確的端點 URL。

在負載測試組態中，您可以啟用或停用自動停止功能，並設定錯誤百分比閾值和時間範圍。 根據預設，Azure 負載測試會自動停止負載測試，其錯誤百分比在任何 60 秒時間範圍中至少為 90%。

您可以使用 Azure 負載測試自動停止功能搭配 JMeter 腳本中的 AutoStop 接聽程式 。 當符合自動停止設定或 JMeter AutoStop 接聽程式中的其中一個準則時，負載測試會自動停止。

警告

如果您停用負載測試的自動停止，即使負載測試設定不正確，也可能會產生成本。

Azure 入口網站

若要在 Azure 入口網站 中設定負載測試的自動停止：

1. 在 Azure 入口網站 中，移至您的 Azure 負載測試資源。

2. 在左窗格中，選取 [ 測試 ] 以檢視負載測試清單。

3. 從清單中選取負載測試，然後選取 [ 編輯]。 或者，選取 [建立>上傳 JMeter 腳本 ] 以建立新的測試。

4. 移至 [ 測試準則] 索引標籤 ，以設定自動停止功能。

   • 使用 自動停止測試控制件啟用或停用自動停止負載測試 。

   • 如果您啟用自動停止，您可以填入 [錯誤百分比 ] 和 [時間範圍 ] 字段。 以秒為單位指定時間範圍。

     

5. 如果您正在建立新的負載測試，請選取 [ 套用] 或 [檢閱 + 建立 ]，以儲存變更。

Azure Pipelines / GitHub Actions

若要在 CI/CD 工作流程中設定負載測試的自動停止，請更新 負載測試組態 YAML 檔案。

若要在 YAML 組態檔中指定自動停止設定：

1. 在您選擇的編輯器中，開啟您負載測試的 YAML 測試組態檔。

   • 若要啟用自動停止，請新增 autoStop 設定並指定 errorPercentage 和 timeWindow。

     下列範例會在錯誤百分比在任何 2 分鐘的時段內超過 80% 時自動停止負載測試：

     version: v0.1
     testId: SampleTestCICD
     displayName: Sample test from CI/CD
     testPlan: SampleTest.jmx
     description: Load test website home page
     engineInstances: 1
     autoStop:
       errorPercentage: 80
       timeWindow: 120
     

   • 若要停用自動停止，請將 新增 autoStop: disable 至組態檔。

     下列範例會停用負載測試的自動停止：

     version: v0.1
     testId: SampleTestCICD
     displayName: Sample test from CI/CD
     testPlan: SampleTest.jmx
     description: Load test website home page
     engineInstances: 1
     autoStop: disable
     

2. 儲存 YAML 組態檔，並將變更認可至原始檔控制。

瞭解如何 使用 CI/CD 設定自動化效能測試。

下一步

• 若要瞭解如何使用秘密參數化負載測試，請參閱 將負載測試參數化。

• 若要瞭解效能測試自動化，請參閱 設定自動化效能測試。