Анализ результатов теста в Excel

С помощью команды PowerShell средства управления можно создать агрегированный список результатов тестирования для проекта. Затем можно проанализировать агрегированные результаты в Excel.

Агрегируйте список результатов тестирования

Существует два способа агрегирования списка результатов тестирования для проекта.

1. Использование выходных файлов на основе XML. Показан пример объединения результатов тестов на основе XML из сеанса Windows PowerShell, открытого на контроллере или тестовом сервере. В обоих примерах использование файла master.xml является необязательным.

   dir -s "c:\temp\*.xml" | Merge-HwCertTestCollectionFromXml -ValidationXmlPath "C:\temp\master.xml" | Export-HwCertTestCollectionToXml -Output "C:\Temp\merged_1.xml"  -TestPassIdentifier "TP003"
   dir -s "c:\temp\*.xml" | Merge-HwCertTestCollectionFromXml -ValidationXmlPath "C:\temp\master.xml" | Export-HwCertTestCollectionToXml -Output "C:\Temp\merged_2.xml"  -TestPassIdentifier "TP004"
   

2. С помощью проекта выходные HLKX-файлы. Показан пример объединения выходных HLKX-файлов из сеанса Windows PowerShell, открытого на контроллере или тестовом сервере.

   dir -s "c:\temp\*.hlkx" | Merge-HwCertTestCollectionFromPackage -ValidationXmlPath "C:\temp\master.xml" | Export-HwCertTestCollectionToXml -Output "C:\Temp\merged_1.xml" -TestPassIdentifier "TP003"
   dir -s "c:\temp\*.hlkx" | Merge-HwCertTestCollectionFromPackage -ValidationXmlPath "C:\temp\master.xml" | Export-HwCertTestCollectionToXml -Output "C:\Temp\merged_2.xml" -TestPassIdentifier "TP004"
   

Агрегированный список результатов тестирования (C:\temp\merged.xml) содержит сведения для полного списка тестов, а не только отфильтрованного списка тестов. Из-за этого, если какой-либо из обязательных тестов никогда не выполнялся, в сводном списке результатов тестов будет показано, что требуемый тест не был запущен. Кроме того, так как все результаты теста объединяются, выполнение нескольких тестов с одинаковым значением имени атрибута TestPassIdentifier может привести к несогласованности отчетов о результатах. Вместо этого используйте другое имя для каждого тестового прохода.

Создание электронной таблицы Excel на основе агрегированных результатов

После создания сводного списка результатов тестирования можно создать электронную таблицу Excel с помощью команд в сеансе Windows PowerShell на контроллере или тестовом сервере. Ниже приведен пример команд, которые будут создавать отчет в электронной таблице Excel.

New-HwCertTestCollectionExcelReport ("C:\Temp\merged_1.xml", "C:\Temp\merged_2.xml" ) -ExcelPath 'c:\temp\report.xls' -ResultCount 1 

Где ResultCount определяется как максимальное число последних результатов, хранящихся в отчете Excel для каждого теста.

Ниже приведен пример выходных данных, созданных после выполнения команд для создания отчета электронной таблицы Excel.

Итоговый отчет Excel будет содержать следующие заголовки:

• Всего тестов — общее количество тестов в этом пройденном тесте.

• Total Pass — общее количество результатов в этом тестовом проходе.

• Total Pass With Filter — общее количество проходов с фильтром errata, примененным к тесту.

• Общий процент пройденных тестов — процент пройденных тестов (всего пройденных тестов или всего тестов).

• Всего неудач — общее число неудачных попыток в этом тестовом проходе (всего тестов — общее число пройденных тестов).

• N-1 Улучшение — между этим тестовый проход и предыдущим тестовый проход (столбец слева), сколько новых проходов было достигнуто.

• N-1 Регрессия — между этим тестовый проход и предыдущим тестовый проход (столбец слева), сколько новых неудачных случаев произошло.

• N-1 Не изменено — между этим тестом и предыдущим тест-проходом (столбец слева) количество тестов не было изменено в результатах.

• N-1 Не сравнивается — между этим тестом и предыдущим тест-проходом (в столбце слева) количество тестов не было сравлено из-за теста было доступно только в одном из тестовых проходов.