Произвольное тестирование и другие усовершенствования в Microsoft Test Manager 11 Общие сведения На этом практическом занятии вы узнаете об усовершенствованиях, реализованных в диспетчере тестов Microsoft Test Manager 11. Вы также проследите эволюцию инструментов произвольного тестирования (также называемого XT-тестирование или гибкое тестирование), которые стали одними из самых эффективных в этом наборе. Тест-инженер может использовать более гибкие средства анализа базового программного обеспечения, не полагаясь исключительно на формальные тестовые случаи. В то же время диспетчер тестов Microsoft Test Manager продолжает сбор всеобъемлющей диагностической информации о тестируемом приложении. Эта информация может быть предоставлена рабочей группе разработчиков в случае обнаружения ошибки. Вы также узнаете о некоторых других функциях типа «подгонка и доводка», реализованных в Microsoft Test Manager 11, например о возможности использования форматированного текста в процессе разработки тестовых случаев. Необходимые условия Для этого практического занятия вам понадобится виртуальная машина Visual Studio 11, предоставляемая компанией Microsoft. Для получения дополнительных сведений о получении и использовании этой виртуальной машины выберите ссылку. Информация о сценарии Fabrikam Fiber В этой группе практических занятий для более удобного изучения сценариев упоминается вымышленная компания Fabrikam Fiber, которая предоставляет доступ к кабельному телевидению и оказывает сопутствующие услуги в США. С целью масштабирования своего веб-сайта для клиентов она использует приложение Windows Azure, чтобы предоставить конечным пользователям возможность самообслуживания и отслеживания доступности технических специалистов. В компании используется также локальное приложение ASP.NET MVC для повышения эффективности работы представителей отдела обслуживания клиентов. Приложение позволяет управлять процессом выполнения заказов клиентов. В рамках этой группы практических занятий вы примете участие в ряде сценариев, в которые вовлечены разработчики и тестировщики компании Fabrikam Fiber. Рабочая группа из 8–10 специалистов решила использовать инструменты управления жизненным циклом приложений Visual Studio для управления исходным кодом, запуска сборок, проверки веб-сайтов, а также планирования и мониторинга процесса реализации проекта. Упражнения Это практическое занятие включает следующие упражнения: Усовершенствования, реализованные в инструментах произвольного тестирования. Примерная продолжительность практического занятия: 30 минут. Упражнение 1. Усовершенствования, реализованные в инструментах произвольного тестирования В этом упражнении вы узнаете об усовершенствованиях, реализованных в диспетчере тестов Microsoft Test Manager 11, которые упрощают работу тест-инженера в процессе произвольного тестирования. Войдите в систему с логином Adam. Для всех учетных записей используется пароль P2ssw0rd. Запустите Microsoft Test Manager 11из меню Start | All Programs | Microsoft Visual Studio 11 (Пуск | Все программы | Microsoft Visual Studio 11). Рисунок 1. Запуск Microsoft Test Manager 11 Примечание. Microsoft Test Manager позволяет тест-инженерам работать с планами тестирования, создавать и проводить ручные тесты, применять тестовые случаи, вести журнал ошибок и передавать результаты обратно в Team Foundation Server. Когда вы получите приглашение подключиться к проекту рабочей группы, выберите узел VSALM -> DefaultCollection -> FabrikamFiber и нажмите кнопку Connect Now(Подключиться). Рисунок 2. Подключение к проекту рабочей группы В окне Testing Center (Центр тестирования) нажмите кнопку Add (Добавить), чтобы создать новый план тестирования. Рисунок 3. Добавление нового плана тестирования Введите Exploratory Testing(Произвольное тестирование) в поле названия нового плана и нажмите кнопку Add(Добавить). Рисунок 4. Добавление нового плана тестирования Нажмите кнопку Select Plan(Выбрать план), чтобы открыть план тестирования. Рисунок 5. Открытие нового плана произвольного тестирования Сейчас вы находитесь в окне Testing Center (Центр тестирования) и подключены к плану Exploratory Testing (Произвольное тестирование). Рисунок 6. План произвольного тестирования в окне Testing Center (Центр тестирования) Щелкните правой кнопкой мыши план тестирования Exploratory Testing (Произвольное тестирование) и выберите пункт Explore (Просмотр) в контекстном меню. Рисунок 7. Приступаем к произвольному тестированию Нажмите кнопку Settings(Настройки) в правом нижнем углу окна средства выполнения тестов. Рисунок 8. Местоположение кнопки Settings(Настройки) в окне средства выполнения тестов Обратите внимание, мы можем изменить настройки, представленные на снимке экрана и выбрать здесь устройство записи звука. Эта виртуальная машина не поддерживает звук, поэтому мы не будем пытаться активировать устройство. Нажмите кнопку ESCAPE для продолжения работы. Рисунок 9. Просмотр текущих настроек Нажмите зеленую кнопку Start (Запуск) для запуска сессии произвольного тестирования. Рисунок 10. Запуск средства выполнения тестов для проведения произвольного тестирования Запустите Internet Explorer и откройте портал Fabrikam Fiber в интрасети, щелкнув ссылку FF Intranet Portal на панели Favorites (Избранное). Теперь вы увидите страницу панели мониторинга. Рисунок 11. Открываем портал Fabrikam Fiber в интрасети Выберите ссылку Tickets(Билеты) в меню портала Fabrikam Fiber в интрасети, чтобы просмотреть билеты службы. Рисунок 12. Переход к экрану Tickets(Билеты) Выберите одну из ссылок на билет службы для просмотра подробной информации. Рисунок 13. Выбор билета службы для просмотра подробной информации Обратите внимание, поля Created By (Автор) и Assigned To(Ответственный) содержат соответствующие значения на текущий момент. Рисунок 14. Просмотр подробной информации для билета службы Щелкните ссылку Edit(Редактировать) в нижней части страницы с информацией о билетах службы (возможно, потребуется прокрутить страницу вниз). Рисунок 15. Редактирование билета службы Обратите внимание, что в поле Created By(Автор) по-прежнему указано соответствующее значение. Рисунок 16. Страница редактирования билета службы Нажмите кнопку Save(Сохранить). Как и ожидалось, значения полей Created By(Автор) и Assigned To(Ответственный) не изменились. Рисунок 17. Сохранение подробной информации о билете Нажмите кнопку Delete(Удалить), чтобы удалить билет (возможно, придется прокрутить страницу вправо). Рисунок 18. Удаление билета службы Значения полей Created By (Автор) и Assigned To (Ответственный) на странице подтверждения удаления изменились на None (Отсутствует). Этого мы не ожидали. В поле для комментариев средства выполнения тестов введите CreatedBy and AssignedTo are blank when viewing Delete confirmation page (Значения полей CreatedBy и AssignedTo на странице подтверждения удаления стали нулевыми). Дважды нажмите клавишу Enter, чтобы оставить пространство для снимка экрана. Рисунок 19. Неожиданные значения на странице подтверждения удаления Нажмите кнопку Screenshot(Снимок экрана), чтобы сделать снимок страницы подтверждения удаления для формирования контекста. Рисунок 20. Местоположение кнопки Screenshot (Снимок экрана) По умолчанию это позволит вам выделить прямоугольную область на экране, снимок которой вы хотите сделать. Удерживайте левую кнопку и перемещайте мышь, чтобы выделить важную часть страницы подтверждения удаления. Рисунок 21. Выбор области для создания снимка экрана Рисунок 22. Окно средства выполнения тестов со снимком экрана Примечание. Можно дважды щелкнуть снимок экрана и открыть соответствующий файл в графическом редакторе, чтобы сделать снимок более информативным, если это необходимо. По умолчанию используется MS Paint, но вы можете применять любой удобный инструмент. Для этого внесите соответствующие изменения в диалоге настроек, который вы видели в начале упражнения. Нажмите кнопку Create Bug(Создать ошибку), чтобы создать новую ошибку. Рисунок 23. Создание новой ошибки В поле для названия введите CreatedBy and AssignedTo are blank when viewing Delete confirmation page(Значения полей CreatedBy и AssignedTo на странице подтверждения удаления стали нулевыми). В поле Assigned To (Ответственный) укажите сотрудника Julia Ilyiana. Обратите внимание, ваши наблюдения, шаги по воспроизведению и диагностические данные включаются в сообщение автоматически. Нажмите кнопку Save and Create Test (Сохранить и создать тест), чтобы закончить оформление новой ошибки. Рисунок 24. Создание новой ошибки по результатам произвольного тестирования В окне New Test Case (Новый тестовый случай) введите заголовок Confirm that AssignedTo and CreatedBy fields appear on Delete confirmation page(Подтвердите, что поля AssignedTo и CreatedBy отображаются на странице подтверждения удаления). В разделе Steps (Шаги) окна New Test Case (Новый тестовый случай) найдите строку Click ‘Delete’ link (Щелкните ссылку «Удалить») и введите следующий текст в столбец Expected Result(Ожидаемый результат): AssignedTo and CreatedBy fields should have appropriate values when viewing Delete confirmation page (Поля AssignedTo и CreatedBy на странице подтверждения удаления содержат соответствующие значения). Рисунок 25. Добавление заметки в столбец Expected Result (Ожидаемый результат) для шага Обратите внимание, что раздел Steps (Шаги) в настоящее время поддерживает форматированный текст. Ниже на рисунке 26 показана эта возможность в действии. Рисунок 26. Шаги тестового случая теперь поддерживают форматированный текст Save and Close (Сохранить и закрыть). Рисунок 27. Сохраните и закройте новый тестовый случай После сохранения нового тестового случая мы автоматически возвращаемся к задаче произвольного тестирования и можем продолжать проверку кода на наличие ошибок. Начнем с удаления наблюдений, оставшихся от предыдущей ошибки, информацию о которой мы только что сохранили. Нажмите клавиши CTRL + A, а затем клавишу DELETE.. В меню Internet Explorer щелкните ссылку Dashboard (Панель мониторинга). Рисунок 28. Переход к панели мониторинга Выберите одну из ссылок на билет службы для просмотра подробной информации. Рисунок 29. Выбор билета службы для просмотра подробной информации Нажмите кнопку Escalate(Эскалировать) [возможно, придется прокрутить страницу вправо]. Рисунок 30. Эскалирование билета службы В результате попытки эскалирования билета службы мы получили ошибку сервера — HTTP 404. Рисунок 31. Попытка эскалирования билета службы приводит к возникновению ошибки Нажмите кнопку Create Bug(Создать ошибку), чтобы создать новую ошибку. Рисунок 32. Создание новой ошибки В поле для названия ошибки введите Escalate service ticket results in a HTTP 404(Попытка эскалирования билета службы приводит к возникновению ошибки HTTP 404). В качестве ответственного укажите сотрудника Julia Ilyiana. Рисунок 33. Создание новой ошибки по результатам произвольного тестирования Обратите внимание, что в разделе Steps To Reproduce (Шаги по воспроизведению) окна новой ошибки имеется ссылка, которая позволит вам определить границы для шагов по воспроизведению. Щелкните ссылку Change Steps (Изменить шаги). Рисунок 34. Определение границ для шагов по воспроизведению В окне Change Steps(Изменить шаги) перемещайте указатель при нажатой кнопке мыши для выделения шагов — от ссылки Dashboard (Панель мониторинга) до ссылки Escalate (Эскалировать). Эти ссылки отображают последние действия, предпринятые для воспроизведения ошибки, которую мы только что видели. Нажмите кнопку Select(Выбрать) для продолжения. Рисунок 35. Выбор шагов по воспроизведению. Примечание. Ваши шаги могут отличаться от показанных на снимке экрана в данном упражнении. Нажмите кнопку Save and Create Test(Сохранить и создать тест). Рисунок 36. Создание новой ошибки по результатам произвольного тестирования В окне New Test Case (Новый тестовый случай) введите название Ensure that ticket escalation page works(Обеспечьте работоспособность страницы эскалации билета) и нажмите кнопку Save and Close (Сохранить и закрыть). Рисунок 37. Сохраните и закройте новый тестовый случай Нажмите кнопку End Testing(Закончить тестирование) в окне средства выполнения тестов. Рисунок 38. Завершение сеанса произвольного тестирования В окне сводной информации о сеансе произвольного тестирования нажмите кнопку Save and Close(Сохранить и закрыть), чтобы вернуться на вкладку Plan (План) окна Testing Center (Центр тестирования). Рисунок 39. Сохраните и закройте сеанс произвольного тестирования Обратите внимание, что в настоящее время в пакете Exploratory Testing (Произвольное тестирование) присутствуют два формальных тестовых случая. Формальная запись этих тестовых случаев обеспечивает возможность их дальнейшего использования в процессе тестирования. Это позволяет нам применять смешанный подход, включающий произвольное и формальное тестирование для повышения общего качества наших приложений. Рисунок 40. В рамках сеанса произвольного тестирования были созданы формальные тестовые случаи В этом практическом занятии мы кратко рассмотрели некоторые усовершенствования, реализованные в Microsoft Test Manager 11 для повышения эффективности произвольного тестирования. Свои отзывы и предложения вы можете отправить по электронной почте: VSKitFdbk@Microsoft.com © 2012 г. Корпорация Microsoft. Все права защищены.