일치 프로젝트 실행
이 항목에서는 DQS(Data Quality Services)에서 데이터 일치를 수행하는 방법에 대해 설명합니다. 일치 프로세스에서는 일치 정책의 일치 규칙에 따라 일치 레코드 클러스터를 확인하고 Survivorship 규칙에 따라 각 클러스터에서 하나의 레코드를 존속 레코드로 지정한 후 결과를 내보냅니다. 일치 프로세스(중복 제거라고도 함)는 DQS의 컴퓨터 기반 프로세스에서 수행되지만, 대화형으로 일치 규칙을 만들고 여러 선택 항목에서 Survivorship 규칙을 선택하여 일치 프로세스를 제어할 수 있습니다.
일치는 데이터 원본을 확인하고 도메인을 데이터 원본에 매핑하는 매핑 프로세스, 일치 분석 및 Survivorship을 실행하는 일치 프로세스, 그리고 Survivorship 규칙을 지정하고 일치 결과를 내보내는 내보내기 프로세스의 3단계로 수행됩니다. 이러한 각 프로세스는 일치 작업 마법사의 개별 페이지에서 수행되므로 여러 페이지를 앞뒤로 이동하고, 프로세스를 다시 실행하고, 특정 일치 프로세스를 닫은 후 프로세스의 같은 단계로 돌아갈 수 있습니다. DQS에서는 원본 데이터, 일치 규칙 및 일치 결과에 대한 통계를 제공하므로 정보를 바탕으로 일치에 대한 의사를 결정하고 일치 프로세스를 구체화할 수 있습니다.
하나 이상의 일치 규칙을 사용하여 일치 정책을 만들고 예제 데이터에서 해당 정책을 실행하여 일치 프로세스를 준비해야 합니다. 일치 프로젝트 프로세스는 일치 정책 프로세스와 별개이며, 기술 자료는 일치 프로젝트에서 얻은 일치 정보로 채워지지 않습니다. 일치 정책을 만드는 방법은 일치 정책 만들기를 참조하십시오.
항목 내용
시작하기 전에
필수 구성 요소
보안
일치 프로젝트 시작
매핑 단계
일치 단계
Survivorship 및 내보내기 단계
후속 작업: 일치 프로젝트를 실행한 후
프로파일러 및 결과 탭
시작하기 전 주의 사항
필수 구성 요소
하나 이상의 일치 규칙으로 구성된 일치 정책을 사용하여 만든 기술 자료가 있어야 합니다.
일치시킬 원본 데이터가 Excel 파일 형식인 경우 Data Quality 클라이언트 컴퓨터에 Microsoft Excel이 설치되어 있어야 합니다. 그렇지 않으면 매핑 단계에서 Excel 파일을 선택할 수 없습니다. Microsoft Excel에서 만든 파일은 .xlsx, .xls 또는.csv 확장명을 가질 수 있습니다. 64비트 버전의 Excel이 사용된 경우 Excel 2003 파일 (.xls)만 지원됩니다. Excel 2007 또는 2010 파일(.xlsx)은 지원되지 않습니다. 64비트 버전의 Excel 2007 또는 2010을 사용 중인 경우 파일을 .xls 파일 또는 .csv 파일로 저장하거나 32비트 버전의 Excel을 대신 설치하십시오.
보안
사용 권한
일치 프로젝트를 실행하려면 DQS_MAIN 데이터베이스에 대한 dqs_kb_editor 또는 dqs_administrator 역할이 있어야 합니다.
.gif "맨 위로 이동 링크와 함께 사용되는 화살표 아이콘")
[맨 위]
첫 번째 단계: 일치 프로젝트 시작
DQS 클라이언트 응용 프로그램에서 만든 데이터 품질 프로젝트에서 일치 작업을 수행합니다.
Data Quality 클라이언트를 시작합니다. 방법은 다음을 참조하십시오. 데이터 품질 클라이언트 응용 프로그램 실행.
Data Quality 클라이언트 홈 화면에서 새 데이터 품질 프로젝트를 클릭하여 새 데이터 품질 프로젝트에서 일치를 수행합니다. 데이터 품질 프로젝트에 대한 이름과 설명을 입력하고 기술 자료 사용에서 일치에 사용할 기술 자료를 선택합니다. 작업에 대해 일치를 클릭합니다. 다음을 클릭하여 매핑 단계로 이동합니다.
데이터 품질 프로젝트 열기를 클릭하여 기존 데이터 품질 프로젝트에서 일치를 수행합니다. 프로젝트를 선택하고 다음을 클릭합니다. 또는 최근 데이터 품질 프로젝트에서 프로젝트를 클릭할 수 있습니다. 닫힌 일치 프로젝트를 연 경우 해당 일치 프로젝트 작업이 닫힌 단계(최신 데이터 품질 프로젝트 아래의 프로젝트 이름 또는 프로젝트 테이블의 상태 열에 표시된 단계)로 이동합니다. 완료된 일치 프로젝트를 연 경우 내보내기 페이지로 이동합니다. 이 경우에는 이전 화면으로 돌아갈 수 없습니다.
[맨 위]
매핑 단계
매핑 단계에서는 일치 분석을 실행할 데이터의 원본을 확인하고 도메인을 일치 작업에 사용할 수 있도록 원본 열을 도메인에 매핑합니다.
맵 페이지에서 데이터베이스에 대해 일치를 실행하려면 데이터 원본을 SQL Server로 그대로 두고 일치를 실행할 데이터베이스를 선택한 다음 테이블을 선택합니다. 원본 데이터베이스는 DQS 서버와 동일한 SQL Server 인스턴스에 있어야 합니다. 그렇지 않으면 드롭다운 목록에 나타나지 않습니다.
Excel 스프레드시트의 데이터에 대해 일치를 실행하려면 Excel 파일을 데이터 원본으로 선택하고 찾아보기를 클릭한 다음 Excel 파일을 선택합니다. 이때 해당되는 경우 첫 번째 행을 헤더로 사용하십시오를 선택된 상태로 그대로 둡니다. 워크시트에서 데이터의 원본으로 사용할 Excel 파일의 워크시트를 선택합니다. Excel 파일을 선택하려면 Data Quality 클라이언트 컴퓨터에 Excel이 설치되어 있어야 합니다. Data Quality 클라이언트 컴퓨터에 Excel이 설치되지 않은 경우 찾아보기 단추를 사용할 수 없으며 이 텍스트 상자 아래에 Excel이 설치되어 있지 않다는 알림이 표시됩니다.
매핑에서 원본 열에 대한 데이터 원본의 필드를 선택한 다음 해당 도메인을 선택합니다. 일치 프로세스에서 사용할 모든 도메인에 대해 작업을 반복합니다. 일치 정책에 정의된 각 도메인이 해당 원본 열에 매핑되어 있어야 합니다. 맵 페이지에는 일치 정책에 정의된 도메인이 표시되며, 오른쪽 창에 일치 정책의 규칙이 표시됩니다.
[!참고]
원본 데이터 형식이 DQS에서 지원되고 DQS 도메인 데이터 형식과 일치하는 경우에만 DQS 도메인에 원본 데이터를 매핑할 수 있습니다. DQS에서 지원되는 데이터 형식에 대한 자세한 내용은 DQS 도메인에 대해 지원되는 SQL Server 및 SSIS 데이터 형식을 참조하십시오.
더하기(+) 컨트롤을 클릭하여 매핑 테이블에 행을 추가하거나 빼기(–) 컨트롤을 클릭하여 행을 제거합니다.
데이터 원본 미리 보기를 클릭하여 선택한 SQL Server 테이블이나 뷰 또는 선택한 Excel 워크시트에서 데이터를 확인합니다.
복합 도메인 보기/선택을 클릭하여 기술 자료에서 사용할 수 있는 복합 도메인 목록을 확인하고 매핑에 적절한 복합 도메인을 선택합니다.
다음을 클릭하여 일치 단계로 이동합니다.
[!참고]
일치 프로젝트의 단계를 저장하고 DQS 홈 페이지로 돌아가려면 닫기를 클릭합니다. 다음에 이 프로젝트를 열면 동일한 단계에서 시작됩니다. 취소를 클릭하면 일치 작업이 저장되지 않고 종료되며 DQS 홈 페이지로 돌아갑니다.
[맨 위]
일치 단계
이 단계에서는 일치 규칙에 따라 원본 데이터에 존재하는 일치 항목 수를 보여 주는 컴퓨터 기반 일치 프로세스를 수행합니다. 이 프로세스를 수행하면 DQS에서 확인한 클러스터, 클러스터의 각 레코드(해당 레코드 ID 및 일치 점수 포함) 및 클러스터의 초기 선행 레코드가 표시된 일치 결과 테이블이 생성됩니다. 클러스터의 선행 레코드는 임의로 선택됩니다. 일치 프로젝트를 실행할 때 내보내기 페이지에서 Survivorship 규칙을 선택하여 존속 레코드를 결정합니다. 클러스터의 각 추가 행은 일치하는 것으로 간주되며, 선행 레코드와 비교된 해당 일치 점수가 결과 테이블에 제공됩니다. 클러스터 번호는 클러스터의 선행 레코드에 대한 레코드 ID와 같습니다.
일치 결과에서 원하는 데이터를 필터링하고 원하지 않는 일치 항목을 거부할 수 있습니다. 전체 일치 프로세스에 대한 프로파일링 데이터, 적용되는 일치 규칙에 대한 구체적인 정보 및 전체 일치 결과에 대한 통계를 표시할 수 있습니다. 일치 프로세스에서는 겹치는 클러스터와 겹치지 않는 클러스터를 확인할 수 있으며, 여러 번 실행할 경우 원본에서 새로 복사하여 인덱스를 다시 작성한 데이터 또는 이전 데이터에 대해 일치 프로세스를 실행할 수 있습니다.
일치가 실행될 때 클러스터 그룹에 공통적인 레코드가 있는 경우에도 모든 클러스터에 대한 피벗 레코드와 다음 레코드를 표시하려면 일치 페이지의 드롭다운 목록에서 겹치는 클러스터를 선택합니다. 일치가 실행될 때 공통적인 레코드가 있는 클러스터를 단일 클러스터로 표시하려면 겹치지 않는 클러스터를 선택합니다.
데이터 원본에서 준비 테이블로 데이터를 복사하여 일치 프로젝트를 실행할 때 인덱스를 다시 작성하려면 원본에서 데이터 다시 로드(기본값)를 클릭합니다. 준비 테이블로 데이터를 복사하여 인덱스를 다시 작성하지 않고 일치 프로젝트를 실행하려면 이전 데이터에 대해 실행을 클릭합니다. 일치 프로젝트를 처음 실행하거나 맵 페이지에서 매핑을 변경한 후 팝업에서 예를 클릭한 경우에는 이전 데이터에 대해 실행이 비활성화됩니다. 두 경우 모두 인덱스를 다시 작성해야 합니다. 일치 프로젝트가 변경되지 않은 경우에는 인덱스를 다시 작성할 필요가 없습니다. 이전 데이터에 대해 실행하면 성능이 향상됩니다.
시작을 클릭하여 선택한 데이터 원본에 대해 일치를 실행합니다.
일치 프로젝트를 중지하고 결과를 취소하려면 중지를 클릭합니다.
일치 프로세스가 완료되면 일치 결과 테이블의 클러스터가 적절한지 확인할 수 있으며, 프로파일러 및 일치 결과 탭의 통계를 보고 원하는 결과를 얻었는지 확인할 수 있습니다. 필터에 대해 일치함을 선택하여 일치하는 레코드를 보거나 일치하지 않음을 선택하여 일치하지 않는 레코드를 확인합니다.
일치 정책에 여러 개의 일치 규칙이 있는 경우 일치 규칙 탭을 클릭하여 각 규칙에 대한 아이콘을 확인한 다음 일치 결과 테이블의 규칙 열에서 규칙을 파악하여 레코드를 일치하는 것으로 식별한 규칙을 확인합니다.
테이블에서 피벗이 아닌 레코드를 선택하고 자세히 보기 아이콘을 클릭하거나 레코드를 두 번 클릭하면 두 번 클릭한 레코드와 해당 피벗 레코드(모든 필드의 값 포함), 두 레코드 간의 점수 및 각 필드의 일치 점수 기여도에 대한 드릴다운이 표시된 일치 점수 정보 팝업이 나타납니다. 피벗 레코드를 두 번 클릭한 경우에는 팝업이 표시되지 않습니다.
중복 레코드는 제외하고 피벗 레코드만 포함하도록 일치 결과 테이블에 표시된 레코드를 축소하려면 모두 축소 아이콘을 클릭합니다. 모든 중복 레코드를 포함하도록 일치 결과 테이블에 표시된 레코드를 확장하려면 모두 확장을 클릭합니다.
일치 결과에서 레코드를 거부하려면 해당 레코드에 대해 거부됨 확인란을 클릭합니다.
레코드가 표시되기 위해 필요한 일치 수준을 결정하는 최소 일치 점수를 변경하려면 테이블 오른쪽 위에 있는 최소 일치 점수 아이콘을 선택하고 더 높은 숫자를 입력합니다. 최소 일치 점수는 기본적으로 80%로 설정됩니다. 새로 고침을 클릭하여 테이블 내용을 변경합니다.
분석이 완료되면 시작 단추가 다시 시작 단추로 바뀝니다. 분석 프로젝트를 다시 실행하려면 다시 시작을 클릭합니다. 그러나 이전 분석의 결과가 아직 저장되지 않은 경우 다시 시작을 클릭하면 이전 데이터가 손실됩니다. 계속하려면 팝업에서 예를 클릭합니다. 분석이 실행 중일 때는 페이지에서 나가지 마십시오. 그러면 분석 프로세스가 종료됩니다.
다음을 클릭하여 Survivorship 및 내보내기 단계로 이동합니다.
[맨 위]
Survivorship 및 내보내기 단계
Survivorship 프로세스에서는 각 클러스터에 대한 존속 레코드가 결정됩니다. 이 레코드는 클러스터에서 일치하는 다른 레코드를 대체합니다. 그런 다음 일치 및/또는 Survivorship 결과를 SQL Server 데이터베이스의 테이블, .csv 파일 또는 Excel 파일로 내보냅니다.
Survivorship은 선택 사항입니다. Survivorship을 실행하지 않고 결과를 내보낼 수 있습니다. 이 경우 DQS에서는 일치 분석에서 지정된 피벗 레코드를 사용합니다. 클러스터에 있는 둘 이상 레코드가 Survivorship 규칙을 준수하는 경우에는 Survivorship 프로세스에서 충돌하는 레코드 중 레코드 ID가 가장 낮은 레코드를 존속 레코드로 선택합니다. 다른 Survivorship 규칙을 사용하여 존속 레코드를 다른 파일 또는 테이블로 내보낼 수 있습니다.
내보내기 페이지의 대상 유형: SQL Server, CSV 파일 또는 Excel 파일에서 일치 데이터를 내보낼 대상을 선택합니다.
.gif "중요 정보")
중요64비트 버전의 Excel을 사용 중인 경우 일치하는 데이터를 Excel 파일로 내보낼 수 없습니다. SQL Server 데이터베이스 또는 .csv 파일로만 내보낼 수 있습니다.
대상 유형에 대해 SQL Server를 선택한 경우 데이터베이스 이름에서 결과를 내보낼 데이터베이스를 선택합니다.
중요대상 데이터베이스는 DQS 서버와 동일한 SQL Server 인스턴스에 있어야 합니다. 그렇지 않으면 드롭다운 목록에 나타나지 않습니다.
일치 결과에 대한 확인란을 선택하여 SQL Server 데이터베이스의 지정된 테이블이나 지정된 .csv 또는 Excel 파일로 일치 결과를 내보냅니다(위 설명 참조). Survivorship 결과에 대한 확인란을 선택하여 SQL Server 데이터베이스의 지정된 테이블이나 지정된 .csv 또는 Excel 파일로 Survivorship 결과를 내보냅니다(위 설명 참조).
일치 결과에 대한 내보내기 항목은 다음과 같습니다.
클러스터 및 각 클러스터의 일치하는 레코드 목록(규칙 이름 및 점수 포함). 피벗 레코드는 "피벗"으로 표시됩니다. 클러스터가 내보내기 목록에 맨 먼저 나타납니다.
일치하지 않는 레코드(점수 및 규칙 이름 열에 "NULL"이 표시됨). 이러한 레코드는 내보내기 목록에서 클러스터 뒤에 추가됩니다.
Survivorship 결과에 대한 내보내기 항목은 다음과 같습니다.
Survivorship 프로세스에서 Survivorship 규칙에 따라 결정한 존속 레코드 목록. 이러한 레코드는 내보내기 목록에 맨 먼저 나타납니다.
일치하는 레코드의 클러스터에 포함되지 않은 일치하지 않는 레코드 목록. 이러한 레코드는 존속 레코드 결과 뒤에 추가됩니다.
대상 유형에 대해 SQL Server를 선택한 경우 테이블 이름에 결과를 내보낼 테이블 이름을 입력합니다. 일치 결과와 Survivorship 결과를 둘 다 내보내려면 대상 테이블의 이름이 데이터베이스에 고유하게 서로 달라야 합니다.
대상 유형에 대해 CSV 파일을 선택한 경우 CSV 파일 이름에 결과를 내보낼 CSV 파일의 파일 및 경로를 입력합니다.
대상 유형에 대해 Excel 파일을 선택한 경우 Excel 파일 이름에 결과를 내보낼 Excel 파일의 파일 및 경로를 입력합니다. 64비트 버전의 Excel을 사용 중인 경우 Excel 파일로 내보낼 수 없습니다.
다음과 같이 Survivorship 규칙을 선택합니다.
DQS에서 임의로 선택한 초기 피벗 레코드를 존속 레코드로 지정하려면 피벗 레코드를 선택합니다.
채워진 필드가 가장 많고 각 필드에 가장 많은 용어가 있는 레코드를 존속 레코드로 지정하려면 가장 완전하고 가장 긴 레코드를 선택합니다. 맵 페이지에서 도메인에 매핑되지 않은 필드를 포함하여 모든 원본 필드가 선택됩니다.
채워진 필드가 가장 많은 레코드를 존속 레코드로 지정하려면 가장 완전한 레코드를 선택합니다. 채워진 필드는 하나 이상의 값(문자열, 숫자 또는 둘 다)을 포함합니다. 맵 페이지에서 도메인에 매핑되지 않은 필드를 포함하여 모든 원본 필드가 선택됩니다. 채워진 필드는 하나 이상의 값(문자열, 숫자 또는 둘 다)을 포함합니다.
해당 원본 필드에 가장 많은 용어가 있는 레코드를 존속 레코드로 지정하려면 가장 긴 레코드를 선택합니다. 각 레코드의 길이는 맵 페이지에서 도메인에 매핑되지 않은 필드를 포함하여 모든 원본 필드에 있는 용어의 길이로 결정됩니다.
프로파일러 탭의 통계를 보고 원하는 결과를 얻었는지 확인합니다.
내보내기를 클릭하여 결과를 내보냅니다. 진행률과 내보내기 결과를 차례로 보여 주는 일치하는 항목 내보내기 대화 상자가 표시됩니다.
SQL Server를 데이터 대상으로 선택한 경우 지정한 이름의 새 테이블이 선택한 데이터베이스에서 만들어집니다.
CSV 파일을 데이터 대상으로 선택한 경우 CSV 파일 이름 상자에서 이전에 지정한 파일 이름으로 Data Quality 서버 컴퓨터의 위치에 .csv 파일이 만들어집니다.
Excel 파일을 데이터 대상으로 선택한 경우 Excel 파일 이름 상자에서 이전에 지정한 파일 이름으로 Data Quality 서버 컴퓨터의 위치에 .xlsx 파일이 만들어집니다.
내보내기가 올바르게 완료되었는지 확인하고 닫기를 클릭합니다.
마침을 클릭하여 일치 프로젝트를 완료합니다.
[!참고]
일치 프로젝트를 완료한 다음 다시 사용하면 해당 일치 프로젝트에서 당시에 게시된 기술 자료를 사용합니다. 즉, 프로젝트를 완료한 이후에 기술 자료에 적용한 변경 내용은 사용되지 않습니다. 이러한 변경 내용을 사용하거나 새 기술 자료를 사용하려면 새로운 일치 프로젝트를 만들어야 합니다. 반면, 일치 프로젝트를 만들고 완료하지 않은 경우 프로젝트에서 일치를 실행하면 일치 정책에 게시한 변경 내용이 사용됩니다.
[맨 위]
후속 작업: 일치 프로젝트를 실행한 후
일치 프로젝트를 실행한 후 기술 자료의 일치 정책을 변경하고 업데이트된 일치 정책에 따라 다른 일치 프로젝트를 만들어 실행할 수 있습니다. 자세한 내용은 일치 정책 만들기를 참조하십시오.
[맨 위]
프로파일러 및 결과 탭
프로파일러 및 결과 탭에는 일치 프로세스에 대한 통계가 포함됩니다.
프로파일러 탭
프로파일러 탭을 클릭하면 원본 데이터베이스에 대한 통계와 정책 규칙에 포함된 각 필드에 대한 통계가 표시됩니다. 정책 규칙이 실행되면 통계가 업데이트됩니다. 프로파일링을 통해 중복 제거 프로세스의 효과를 평가하여 이 프로세스로 데이터의 품질을 개선할 수 있는 정도를 확인할 수 있습니다. 프로파일링의 정확도는 일치 프로젝트에 중요하지 않습니다.
원본 데이터베이스 통계에는 다음이 포함됩니다.
레코드: 데이터베이스에 있는 전체 레코드 수
전체 값: 필드에 있는 전체 값 수
새 값: 이전 실행 이후에 새로 생성된 전체 값 수와 값의 총 개수에 대한 해당 백분율
고유 값: 필드의 전체 고유 값 수와 값의 총 개수에 대한 해당 백분율
새로운 고유 값: 필드에 새로 생성된 전체 고유 값 수와 값의 총 개수에 대한 해당 백분율
필드 통계에는 다음이 포함됩니다.
필드: 매핑에 포함된 필드 수
도메인: 필드에 매핑된 도메인의 이름
신규: 새로 발견된 일치 레코드 수와 해당 백분율
고유: 필드의 고유 레코드 수와 해당 백분율
완결성: 규칙 실행의 완료율
일치 정책 알림
일치 정책 작업의 경우 다음과 같은 상황에서 알림이 발생합니다.
모든 레코드에 필드가 비어 있는 경우 - 해당 필드를 매핑에서 제거하는 것이 좋습니다.
필드 완결성 점수가 매우 낮은 경우 - 해당 필드를 매핑에서 제거하는 것이 좋습니다.
필드의 모든 값이 유효하지 않은 경우 - 필드 내용에 대한 도메인 규칙의 매핑과 관련성을 확인해야 합니다.
필드에 유효한 값이 적은 경우 - 필드 내용에 대한 도메인 규칙의 매핑과 관련성을 확인해야 합니다.
이 필드의 고유성 수준이 높은 경우 - 일치 정책에서 이 필드를 사용하면 일치 결과를 줄일 수 있습니다.
일치 규칙 탭
이 탭을 클릭하면 일치 정책의 규칙 목록과 규칙의 조건이 표시됩니다.
규칙 목록
일치 정책의 모든 일치 규칙 목록을 표시합니다. 규칙 중 하나를 클릭하면 일치 규칙 테이블에 규칙의 조건이 표시됩니다.일치 규칙 테이블
도메인, 유사성 값, 가중치 및 필수 구성 요소 선택 항목을 포함하여 선택한 규칙의 각 조건을 표시합니다.
일치 결과 탭
일치 결과 탭을 클릭하면 프로젝트에 대해 선택한 기술 자료 및 해당 기술 자료의 일치 규칙을 사용하여 데이터 원본을 분석할 수 있는 통계가 표시됩니다. 통계에는 다음이 포함됩니다.
데이터베이스에 있는 전체 레코드 수
데이터베이스에 있는 전체 일치 레코드 수
중복된 것으로 간주되지 않는 데이터베이스의 레코드 수
검색된 클러스터 수
평균 클러스터 크기(중복 레코드 수를 클러스터 수로 나눈 값)
클러스터의 최소 중복 레코드 수
클러스터의 최대 중복 레코드 수