UI 測試考量

  • 發行項

Azure DevOps Services | Azure DevOps Server 2022 - Azure DevOps Server 2019

在 CI/CD 管線中執行自動化測試時，您可能需要特殊設定才能執行 UI 測試，例如 Selenium、Appium 或自動程式化 UI 測試。 本文說明執行UI測試的一般考慮。

必要條件

熟悉代理程式，並在 Windows 上部署代理程式。

無頭部模式或可見UI模式？

執行 Web 應用程式的 Selenium 測試時，您可以透過兩種方式啟動瀏覽器：

  1. 無頭部模式。 在此模式中，瀏覽器會正常執行，但不會顯示任何 UI 元件。 雖然此模式不適用於瀏覽網頁，但在 CI/CD 管線中以自動方式執行自動化測試很有用。 Chrome 和 Firefox 瀏覽器可以在無外設模式中執行。

    此模式通常會耗用計算機上的資源較少，因為 UI 不會轉譯，而且測試的執行速度較快。 因此，同一部計算機上可能會平行執行更多測試，以減少測試運行時間總計。

    此模式可以擷 取螢幕快照，並用於疑難解答失敗。

    注意

    Microsoft Edge 瀏覽器目前無法在無外設模式中執行。

  2. 可見的UI模式。 在此模式中，瀏覽器會正常執行，且會顯示UI元件。 在 Windows 上以這個模式執行測試時， 需要特殊設定代理 程式。

如果您正在執行傳統型應用程式的UI測試，例如 使用WinAppDriver 或自動程式化UI測試的Appium測試， 則需要特殊設定代理 程式。

提示

端對端 UI 測試通常會長時間執行。 使用可見的 UI 模式時，視測試架構而定，您可能無法在相同的電腦上平行執行測試，因為應用程式必須處於焦點，才能接收鍵盤和滑鼠事件。 在此案例中，您可以在不同計算機上平行執行測試，以加速測試週期。 如需任何測試執行器，以及使用 Visual Studio 測試工作平行執行測試，請參閱平行執行測試。

可見UI模式中的UI測試

代理程式需要特殊設定，才能在可見UI模式中執行UI測試。

使用 Microsoft 裝載的代理程式進行可見的 UI 測試

Microsoft 裝載的代理程式已針對 Web 應用程式和傳統型應用程式預先設定 UI 測試和 UI 測試。 Microsoft 裝載的代理程式也會預先設定熱門 瀏覽器，並比對可用於執行 Selenium 測試的 Web 驅動程式版本 。 瀏覽器和對應的 Web 驅動程式會定期更新。 若要深入瞭解如何執行 Selenium 測試，請參閱 使用 Selenium 進行 UI 測試。

使用自我裝載的 Windows 代理程式進行可見 UI 測試

設定為以服務身分執行的代理程式只能使用無頭瀏覽器執行 Selenium 測試。 如果您未使用無頭瀏覽器，或正在執行傳統型應用程式的UI測試，則必須將Windows代理程式設定為以啟用自動記錄的互動式程式執行。

設定代理程式時，當系統提示您以服務身分執行時，請選取 [否]。 後續步驟可讓您使用自動記錄來設定代理程式。 當您的 UI 測試執行時，會在自動記錄設定中指定的使用者內容中啟動應用程式和瀏覽器。

如果您使用遠端桌面來存取代理程式以自動登入執行的計算機，只要中斷遠端桌面連線，就會鎖定計算機，而且此代理程式上執行的任何 UI 測試都可能會失敗。 若要避免失敗，請使用 遠端電腦上的 tscon 命令來中斷遠端桌面的連線。 例如：

%windir%\System32\tscon.exe 1 /dest:console

在此範例中，數位 『1』 是遠端桌面會話的識別碼。 此數目可能會在遠端會話之間變更，但可以在任務管理器中檢視。 或者，若要自動尋找目前的會話標識碼，請建立包含下列程式代碼的批處理檔：

for /f "skip=1 tokens=3" %%s in ('query user %USERNAME%') do (
  %windir%\System32\tscon.exe %%s /dest:console
)

儲存批處理檔並建立桌面快捷方式，然後將快捷方式屬性變更為 「以系統管理員身分執行」。 從此快捷方式執行批處理檔會中斷與遠端桌面的連線，但會保留 UI 工作階段，並允許 UI 測試執行。

在 Azure VM 中布建代理程式以進行 UI 測試

如果您要在 Azure 上佈建虛擬機（VM），則可以透過 DevTest Labs 的代理程式成品取得 UI 測試的代理程式組態。

agentArtifactDTL

設定螢幕解析度

執行UI測試之前，您可能需要調整螢幕解析度，讓應用程式正確呈現。 為此， 可從 Marketplace 取得螢幕解析度公用程式工作 。 在管線中使用這項工作，將螢幕解析度設定為代理程式計算機所支援的值。 根據預設，此公用程式會將解析設定為代理程式計算機所支援的最佳值。

如果您使用螢幕解析度工作遇到失敗，請確定代理程式已設定為啟用自動記錄執行，且所有遠端桌面會話都使用 tscon 命令安全地中斷連線，如上所述。

注意

螢幕解析度公用程式工作會在統一組建/發行/測試代理程式上執行，且無法與已被 取代的執行功能測試工作搭配使用。 解決公用程式工作也無法用於 Azure 虛擬機。

針對UI測試中的失敗進行疑難解答

當您以自動方式執行UI測試時，擷取診斷數據，例如 螢幕快照 或 影片 ，對於探索失敗時的應用程式狀態很有用。

擷取螢幕快照

大部分的UI測試架構都可讓您擷取螢幕快照。 當這些結果發佈至伺服器時，收集的螢幕快照可作為測試結果的附件。

如果您使用 Visual Studio 測試工作 來執行測試，則必須將擷取的螢幕快照新增為結果檔案，才能在測試報告中使用。 為此，請使用下列程式代碼：

首先，請確定 TestContext 已定義在您的測試類別中。 例如：public TestContext TestContext { get; set; }

使用 新增螢幕快照檔案 TestContext.AddResultFile(fileName); //Where fileName is the name of the file.

如果您使用 [發佈測試結果] 工作 來發佈結果，則只有在使用 VSTest （TRX） 結果格式或 NUnit 3.0 結果格式時，才能發佈測試結果 附件。

如果您使用 JUnit 或 xUnit 測試結果，則無法發佈結果附件。 這是因為這些測試結果格式在結果架構中沒有附件的正式定義。 您可以改用下列其中一種方法來發佈測試附件。

  • 如果您在組建 （CI） 管線中執行測試，您可以使用 複製和發佈組建成品 工作來發佈測試中建立的任何檔案。 這些會出現在 組建摘要的 [成品 ] 頁面中。

  • 使用 REST API 來發布必要的附件。 您可以在此 GitHub 存放庫中找到程式碼範例。

擷取

如果您使用 Visual Studio 測試工作 來執行測試，則可以擷取測試的影片，並自動作為測試結果的附件使用。 為此，您必須在 .runsettings 檔案中設定影片數據收集器，而且此檔案必須在工作設定中指定。

run 設定

說明與支援