빌드, 배포 및 테스트 워크플로 지침
이 항목에서는 빌드, 배포 및 테스트 워크플로에 대한 권장 접근 방식에 대해 설명합니다. 요구 사항을 기반으로 사용할 최상의 접근 방식을 결정할 수 있습니다. 그러나 프로젝트 주기의 여러 단계를 거치는 동안 요구 사항이 바뀔 수도 있습니다. 예를 들어 프로젝트를 시작할 때는 응용 프로그램을 매일 밤마다 빌드하도록 했는데, 프로젝트를 진행하다 보니 이 워크플로에 단위 테스트를 추가하여 빌드 품질을 테스트하고 싶어지는 경우가 있을 수 있습니다. 이러한 테스트를 빌드 확인 테스트 또는 스모크 테스트라고도 합니다. 테스트 팀이 테스트를 실행하려고 할 때 워크플로를 자동화하여 응용 프로그램 배포를 포함하려는 경우도 있을 수 있습니다. 이런 경우 배포한 최신 버전의 응용 프로그램에서 수동 테스트나 자동화된 테스트를 실행할 수 있습니다. 또는 빌드, 배포 및 자동화된 테스트 실행을 전체 워크플로로 수행하여 빌드가 배포될 때 빌드 품질을 확인할 수도 있습니다.
mstest.exe를 사용하여 테스트 프로젝트의 어셈블리에서 자동화된 테스트를 이러한 워크플로의 일부로 실행할 수 있습니다. 또는 tcm.exe를 사용하여 테스트 계획의 테스트 도구 모음에서 자동화된 테스트를 실행할 수도 있습니다. 테스트 계획에 포함된 자동화된 테스트를 실행하려면 다음 작업을 수행해야 합니다.
테스트 계획 및 테스트 도구 모음을 만듭니다(테스트 계획을 사용하여 테스트 관련 활동 정의).
자동화된 테스트를 테스트 도구 모음의 테스트 사례에 연결합니다(방법: 테스트 사례에 자동화된 테스트 연결).
실제 또는 가상 환경을 만듭니다(환경).
다음 단원의 정보를 참조하여 워크플로에 필요한 작업을 위한 소프트웨어 구성 요소를 설치할 수 있습니다.
요구 사항
빌드, 배포 및 테스트를 워크플로의 일부로 사용하기 위한 요구 사항은 요구 사항 단원에서 설명합니다.
빌드
응용 프로그램을 빌드만 하려는 경우 기본 빌드 템플릿을 사용하여 빌드할 수 있습니다. 빌드를 설정하는 방법에 대한 자세한 내용은 응용 프로그램 빌드를 참조하십시오.
빌드 및 테스트
빌드 프로세스의 일부로 자동화된 테스트를 실행하려는 경우 기본 빌드 템플릿을 사용하여 테스트 프로젝트에서 실행할 테스트를 선택할 수 있습니다. 테스트에 통과하면 빌드가 성공한 것으로 간주합니다. 빌드 후 자동화된 테스트 실행을 참조하십시오.
중요
이 경우 테스트는 mstest.exe를 사용하여 빌드 프로세스의 일부로 실행됩니다. mstest.exe에 대한 자세한 내용은 MSTest.exe 명령줄 옵션을 참조하십시오.
빌드 및 배포
응용 프로그램의 최신 빌드를 사용하여 테스트 계획에 포함된 수동 테스트를 실행하려는 경우 응용 프로그램을 빌드한 다음 실제 또는 가상 환경에 배포할 수 있습니다. 빌드 및 배포 후 테스트 계획에 포함된 수동 테스트 실행을 참조하십시오.
빌드, 배포 및 테스트
배포 후 응용 프로그램의 품질을 확인하려는 경우 실제 또는 가상 환경을 사용하여 응용 프로그램을 빌드 및 배포한 후 테스트 계획에 포함된 자동화된 테스트를 실행할 수 있습니다. 환경을 사용하여 빌드 및 배포 후 테스트 계획에 포함된 자동화된 테스트 실행
중요
이 경우 테스트는 tcm.exe를 사용하여 빌드 프로세스의 일부로 실행됩니다. tcm.exe에 대한 자세한 내용은 tcm: 명령줄에서 테스트 계획에 대한 자동화된 테스트 가져오기 및 실행을 참조하십시오.
요구 사항
워크플로에서 수행할 작업에 따라 각 작업에 필요한 구성 요소를 실제 또는 가상 컴퓨터에 설치할 수 있습니다. 다음 그림에서는 이 단원의 정보에 따라 소프트웨어를 설치하도록 선택하는 방법의 예를 보여 줍니다.
.png "빌드, 배포 및 테스트 요구 사항")
모든 작업을 위한 소프트웨어 요구 사항
- Team Foundation Server
빌드를 위한 소프트웨어 요구 사항
빌드 컨트롤러
각 팀 프로젝트 컬렉션마다 하나 이상의 빌드 컨트롤러가 필요합니다.
빌드 에이전트
각 빌드 컨트롤러마다 하나 이상의 빌드 에이전트가 필요합니다.
배포를 위한 소프트웨어 요구 사항
하나의 빌드 컨트롤러(응용 프로그램을 빌드하는 데 사용하는 것과 동일한 빌드 컨트롤러를 사용할 수 있음)
가상 환경의 경우: 가상 환경의 각 컴퓨터마다 하나의 빌드 에이전트와 하나의 랩 에이전트 필요
환경을 사용하여 테스트하기 위한 소프트웨어 요구 사항
테스트 컨트롤러
각 팀 프로젝트 컬렉션마다 하나 이상의 테스트 컨트롤러가 필요합니다.
테스트 에이전트
환경의 각 컴퓨터마다 하나의 테스트 에이전트가 필요합니다.
가상 환경의 경우: 가상 환경의 각 컴퓨터마다 테스트 에이전트 외에 추가로 하나의 랩 에이전트 필요
이러한 구성 요소를 함께 사용하여 테스트를 실행하는 방법에 대한 자세한 내용은 테스트를 실행하거나 데이터를 수집할 테스트 컴퓨터 설정을 참조하십시오.
이러한 구성 요소를 설치하는 방법에 대한 자세한 내용은 Visual Studio 에이전트 설치, 테스트 및 빌드 컨트롤러 설치 및 구성을 참조하십시오.
다음 단원에서는 소프트웨어 구성 요소를 설치할 컴퓨터를 결정하는 데 유용한 정보를 제공합니다. 그런 다음 설치에 필요한 컴퓨터 수를 확인할 수 있습니다.
빌드 컨트롤러 및 빌드 에이전트에 대한 컴퓨터 요구 사항
필요한 컴퓨터를 확인하려면 다음 정보를 기초로 토폴로지를 정해야 합니다.
각 팀 프로젝트 컬렉션마다 하나의 빌드 컨트롤러가 있어야 합니다.
각 컴퓨터에는 빌드 컨트롤러가 하나만 있을 수 있습니다.
표준 설치 시 빌드 에이전트가 수행하는 작업은 프로세서에 큰 부담을 줄 수 있으므로 Team Foundation Server의 성능이 크게 저하될 수 있습니다. 이 경우 빌드 에이전트를 Team Foundation Server와는 별개의 컴퓨터에 설치할 수 있습니다.
빌드 컨트롤러는 Team Foundation Server와 동일한 컴퓨터에 설치할 수 있습니다. 빌드 컨트롤러에서 관리하는 활성 빌드 에이전트가 많은 경우 이렇게 하면 시스템 메모리를 더 많이 사용할 수 있습니다. 별도의 컴퓨터에 빌드 컨트롤러를 설치할 수도 있습니다.
예를 들어 세 개의 팀 프로젝트 컬렉션이 있고 각 컬렉션에 빌드해야 하는 응용 프로그램이 있는 경우 세 개의 빌드 컨트롤러를 설치할 컴퓨터 세 대가 필요하며, 빌드 컨트롤러 하나를 Team Foundation Server에 설치하더라도 컴퓨터가 두 대는 더 있어야 합니다.
중요
빌드 컨트롤러와 빌드 에이전트를 설치하는 데 사용할 수 있는 토폴로지에 대한 자세한 내용은 빌드 시스템 토폴로지 예제를 참조하십시오.
테스트 컨트롤러 및 테스트 에이전트에 대한 컴퓨터 요구 사항
소프트웨어 구성 요소 간의 통신 문제를 줄이려면 테스트 컨트롤러 컴퓨터와 Team Foundation Server 컴퓨터가 동일한 도메인에 있는 것이 좋습니다. 구성 요소를 서로 다른 도메인 또는 작업 그룹에 설치하는 방법에 대한 자세한 내용은 작업 그룹 및 다중 도메인을 위한 요구 사항을 참조하십시오.
테스트 컨트롤러에 필요한 컴퓨터를 확인하려면 다음 정보를 기초로 필요한 토폴로지를 결정해야 합니다.
실제 또는 가상 환경을 사용하여 테스트하려는 경우 테스트 컨트롤러가 필요합니다.
여러 개의 실제 또는 가상 환경에 단일 테스트 컨트롤러를 사용할 수 있습니다.
환경을 포함하는 팀 프로젝트 컬렉션에 테스트 컨트롤러를 등록해야 합니다.
각 테스트 컨트롤러는 하나의 팀 프로젝트 컬렉션에만 등록할 수 있습니다.
필요한 각 테스트 컨트롤러를 개별 컴퓨터에 설치해야 합니다.
예를 들어 환경을 만들려는 팀 프로젝트 컬렉션이 세 개인 경우 세 개 이상의 테스트 컨트롤러가 있어야 합니다. 따라서 컴퓨터가 세 대 이상 필요합니다.
참고
팀 프로젝트 컬렉션에서 지원할 환경이 많이 있고 테스트 컨트롤러가 둘 이상 필요한 경우 여러 테스트 컨트롤러를 동일한 Team Foundation Server에 등록할 수 있습니다.
빌드 컨트롤러 및 테스트 컨트롤러에 필요한 컴퓨터 수 줄이기
빌드 컨트롤러와 테스트 컨트롤러가 여러 개 필요한 경우 테스트 컨트롤러를 빌드 컨트롤러와 동일한 컴퓨터에 설치하면 필요한 컴퓨터 수를 줄일 수 있습니다. 예를 들어 세 개의 팀 프로젝트 컬렉션 A, B 및 C가 있고 각 컬렉션에 빌드 컨트롤러와 테스트 컨트롤러가 필요한 경우 빌드 컨트롤러와 테스트 컨트롤러를 같은 컴퓨터에 설치할 수 있습니다. 이렇게 하면 컨트롤러에 필요한 컴퓨터는 여섯 대가 아니라 세 대만 있으면 됩니다.
빌드 후 자동화된 테스트 실행
빌드 및 테스트를 워크플로 작업으로 사용하려면 기본 빌드 정의를 만들 때 다음 정보를 제공해야 합니다.
테스트가 포함된 테스트 어셈블리
사용할 테스트 범주(선택 사항. 어셈블리에서 특정 테스트를 선택하려는 경우)
테스트를 실행하는 데 사용할 테스트 설정
테스트 설정에 대한 자세한 내용은 테스트 설정을 사용하여 컴퓨터 설정 및 진단 정보 수집을 참조하십시오.
빌드 에이전트는 mstest.exe를 사용하여 다음 그림과 같이 저장 폴더에 있는 테스트 어셈블리에서 테스트를 실행합니다. 응용 프로그램의 솔루션에 포함된 기본 테스트 설정(local.testsettings)을 사용하면 빌드 에이전트를 통해 로컬로 테스트를 실행할 수 있습니다.
참고
local.testsettings 파일을 빌드 프로세스의 일부로 사용하려면 이 파일을 Team Foundation Server에 체크 인해야 합니다.
빌드 에이전트만 사용하여 테스트를 실행할 때는 진단 데이터 어댑터를 사용하여 정보를 수집할 수 없습니다. 이 시나리오와 함께 진단 데이터 어댑터를 사용하려면 빌드 에이전트와 동일한 컴퓨터에 테스트 에이전트를 설치해야 합니다. 또는 빌드 및 배포 후 테스트 계획에 포함된 자동화된 테스트 실행 단원에 설명된 대로 실제 또는 가상 환경을 사용해도 됩니다.
.png "테스트 에이전트 없이 빌드 및 테스트")
워크플로에 대한 빌드 및 테스트 실행 방법을 단계별로 자세히 보려면 방법: 응용 프로그램을 빌드한 후 예약된 테스트 구성 및 실행을 참조하십시오.
경고
테스트 컨트롤러와 테스트 설정을 함께 사용하여 테스트를 빌드 정의의 일부로 원격으로 실행하는 것은 좋지 않습니다. 테스트 컨트롤러와 테스트 에이전트를 사용하려면 빌드 및 배포 후 테스트 계획에 포함된 자동화된 테스트 실행 단원에 설명된 대로 실제 또는 가상 환경을 사용해야 합니다.
단순히 Visual Studio, Team Foundation Server 및 Team Foundation Build를 사용하여 워크플로를 정의하는 방법을 배우려는 경우에는 모든 구성 요소를 한 컴퓨터에 설치해도 됩니다. 그러나 이 경우 이 시스템의 사용자가 많고 여러 빌드를 실행하려는 경우에는 이 방법을 사용하지 않는 것이 좋습니다.
참고
코딩된 UI 테스트를 실행하려면 먼저 실제 또는 가상 환경에 응용 프로그램을 배포하는 것이 좋습니다. 이렇게 하면 수동 단계를 실행하여 테스트 오류를 조사해야 하는 경우 동일한 환경을 사용할 수 있습니다. 응용 프로그램을 배포하지 않고 코딩된 UI 테스트를 실행하려면 사용되는 빌드 에이전트가 데스크톱과 상호 작용할 수 있도록 구성해야 합니다. 또한 빌드 컴퓨터에 테스트 에이전트를 설치하고 저장 폴더에 있는 최신 빌드를 사용하여 테스트해야 합니다. 빌드 에이전트를 설정하는 방법에 대한 자세한 내용은 코딩된 UI 테스트를 실행할 에이전트 설정를 참조하십시오.
빌드 및 배포
워크플로의 응용 프로그램을 빌드 및 배포하려면 실제 또는 가상 환경을 사용해야 합니다.
가상 환경
Visual Studio Lab Management를 사용하는 가상 환경을 사용하여 빌드 및 배포하려면 랩 기본 템플릿을 사용합니다. 이 랩 템플릿을 통해 다음과 같은 작업을 수행할 수 있습니다.
사용할 가상 환경을 선택합니다.
해당 환경에 대해 배포 시작 지점으로 사용할 스냅숏을 선택합니다.
응용 프로그램을 배포하는 데 사용할 빌드 정의 또는 빌드를 선택합니다.
저장 폴더에서 응용 프로그램을 배포하기 위해 실행할 스크립트를 추가합니다.
빌드 및 배포 워크플로의 일부로 배포 후 가상 환경의 스냅숏을 만듭니다.
이 가상 환경에서 이 환경에 배포된 빌드를 사용하여 수동 테스트를 실행할 수 있으며, 자동화된 테스트를 실행할 수도 있습니다. 응용 프로그램을 가상 환경에 빌드 및 배포하는 방법에 대한 자세한 내용은 방법: 가상 환경에서 응용 프로그램 배포를 참조하십시오. 가상 환경을 사용하여 수동 테스트를 실행하는 방법에 대한 자세한 내용은 방법: 수동 테스트 실행 및 가상 환경에서 재현할 수 있는 버그 만들기를 참조하십시오.
실제 환경
응용 프로그램을 실제 환경에 배포하려는 경우 빌드 정의의 템플릿을 사용자 지정할 수 있습니다. 빌드 프로세스 템플릿을 사용자 지정하는 방법에 대한 자세한 내용은 사용자 지정 빌드 프로세스 템플릿 만들기 및 작업을 참조하십시오.
이 환경을 사용하여 테스트 계획에 포함된 수동 테스트나 자동화된 테스트를 실행할 수 있습니다. 이러한 테스트를 실행하는 방법에 대한 자세한 내용은 Test Runner를 사용하여 수동 테스트 실행 및 테스트 계획에서 자동화된 테스트 실행을 위한 필수 지침을 참조하십시오.
환경을 사용하여 빌드 및 배포 후 테스트 계획에 포함된 자동화된 테스트 실행
빌드, 배포 및 테스트 프로세스에서 테스트 계획의 일부인 자동화된 테스트를 실행하려면 실제 환경이나 가상 환경을 사용해야 합니다. 빌드 정의는 tcm.exe를 사용하여 테스트를 실행합니다. 이러한 테스트를 워크플로의 일부로 실행하면 해당 테스트에 대한 테스트 실행이 만들어지며 Microsoft Test Manager를 사용하여 테스트 결과를 검색하고 분석할 수 있습니다. 테스트 실행을 분석하는 방법에 대한 자세한 내용은 방법: Microsoft 테스트 관리자를 사용하여 테스트 실행 분석을 참조하십시오. 또한 빌드 품질에 대한 기록 데이터도 볼 수 있습니다. 언제 빌드 품질과 관련된 문제가 일관되게 발생하는지 확인하고 응용 프로그램의 어떤 영역에서 테스트가 실패했는지 확인할 수 있습니다.
테스트용 실제 환경을 만들 때 실제 또는 가상 컴퓨터를 사용하거나, Visual Studio Lab Management를 사용하여 가상 환경을 만들 수 있습니다. 가상 환경에서는 환경의 각 컴퓨터를 기존 스냅숏의 알려진 상태로 사용하여 응용 프로그램을 배포할 수 있습니다. 또한 응용 프로그램을 배포한 후에는 버그를 테스트하거나 수동 테스트를 실행할 목적으로 이 알려진 상태로 되돌릴 수 있도록 해당 환경의 스냅숏을 만들 수 있습니다. 따라서 가상 환경은 훨씬 높은 유연성을 제공합니다. 이러한 환경을 만드는 방법에 대한 자세한 내용은 테스트에 사용할 실제 환경 만들기 및 가상 환경 만들기를 참조하십시오.
가상 환경
응용 프로그램을 가상 환경에 배포하려면 Team Foundation Build와 함께 제공되는 기본 랩 템플릿을 사용합니다. 가상 환경을 사용하려면 Visual Studio Lab Management가 있어야 합니다. 이 랩 템플릿을 통해 다음과 같은 작업을 수행할 수 있습니다.
사용할 가상 환경을 선택합니다.
해당 환경에 대해 배포 시작 지점으로 사용할 스냅숏을 선택합니다.
응용 프로그램을 배포하는 데 사용할 빌드 정의 또는 빌드를 선택합니다.
저장 폴더에서 응용 프로그램을 배포하기 위해 실행할 스크립트를 추가합니다.
테스트 실행에 사용할 테스트 도구 모음, 테스트 구성 및 테스트 설정을 선택합니다.
빌드 및 배포 워크플로의 일부로 배포 후 가상 환경의 스냅숏을 만듭니다.
가상 환경을 사용하여 빌드, 배포 및 테스트할 수 있도록 기본 랩 템플릿의 빌드 정의를 설정하는 방법에 대한 자세한 내용은 방법: 응용 프로그램을 빌드 및 배포한 후 예약된 테스트 구성 및 실행을 참조하십시오.
.png "가상 환경에서 빌드, 배포 및 테스트")
실제 환경
응용 프로그램을 실제 환경에 배포하고 자동화된 테스트를 실행하려면 빌드 정의의 템플릿을 사용자 지정합니다. 빌드 프로세스 템플릿을 사용자 지정하는 방법에 대한 자세한 내용은 사용자 지정 빌드 프로세스 템플릿 만들기 및 작업을 참조하십시오.
.png "실제 환경에서 빌드, 배포 및 테스트")
참고 항목
개념
테스트를 실행하거나 데이터를 수집할 테스트 컴퓨터 설정