Azure Data Catalog에서 데이터 원본 등록

아티클
12/13/2023

Important

Azure Data Catalog는 2024년 5월 15일에 사용 중지되었습니다.

데이터 카탈로그 기능의 경우 전체 데이터 자산에 대한 통합 데이터 거버넌스를 제공하는 Microsoft Purview 서비스를 사용합니다.

소개

Azure Data Catalog는 기업 데이터 원본의 등록 시스템 및 검색 역할을 하는 완전히 관리되는 클라우드 서비스입니다. 다시 말해서 데이터 카탈로그는 사람들이 데이터 원본을 검색하고 이해하고 사용하도록 도우면서 조직의 기존 데이터로부터 더 많은 가치를 얻어내도록 돕는 역할을 합니다. 데이터 카탈로그를 통해 데이터 원본을 검색할 수 있도록 하는 첫 단계는 데이터 원본을 등록하는 것입니다.

데이터 원본 등록

등록은 데이터 원본에서 메타데이터를 추출하여 데이터 카탈로그 서비스로 데이터를 복사하는 프로세스입니다. 데이터는 현재 상주하는 위치에 남으면서 현재 시스템의 정책 및 관리자의 제어 하에 유지됩니다.

데이터 원본을 등록하려면 다음 단계를 수행합니다.

Azure Data Catalog 포털에서 데이터 카탈로그 데이터 원본 등록 도구를 시작합니다.
포털에 로그인하는 데 사용하는 것과 동일한 Microsoft Entra 자격 증명을 사용하여 회사 또는 학교 계정으로 로그인합니다.
등록하려는 데이터 원본을 선택합니다.

데이터 원본을 등록한 후 카탈로그는 해당 위치를 추적하고 해당 메타데이터를 인덱싱합니다. 사용자는 데이터 원본을 검색하고 찾아본 다음, 애플리케이션 또는 선택한 도구를 사용하여 연결하도록 해당 위치를 사용합니다.

지원되는 데이터 원본

현재 지원되는 데이터 원본 목록은 데이터 카탈로그 DSR을 참조하세요.

구조적 메타데이터

데이터 원본을 등록할 때 등록 도구는 선택하는 개체의 구조에 대한 정보를 추출합니다. 이 정보를 구조적 메타데이터라고 합니다.

모든 개체의 경우 구조적 메타데이터가 개체의 위치에 포함되므로 데이터를 검색하는 사용자는 해당 정보를 사용하여 선택한 클라이언트 도구에 있는 개체에 연결할 수 있습니다. 다른 구조적 메타데이터는 개체 이름과 유형 및 특성/열 이름과 데이터 유형을 포함합니다.

설명이 포함된 메타데이터

데이터 원본으로부터 추출한 핵심적인 구조적 메타데이터 외에 데이터 원본 등록 도구는 설명이 포함된 메타데이터도 추출합니다. SQL Server Analysis Services 및 SQL Server Reporting Services의 경우 이 메타데이터는 이러한 서비스에 의해 노출되는 설명 속성으로부터 확보됩니다. SQL Server의 경우 ms_description 확장 속성을 사용하여 제공되는 값이 추출됩니다. Oracle 데이터베이스의 경우 데이터 원본 등록 도구가 ALL_TAB_COMMENTS 뷰로부터 COMMENTS 열을 추출합니다.

데이터 원본으로부터 추출한 설명이 포함된 메타데이터 외에 사용자는 데이터 원본 등록 도구를 사용하여 설명이 포함된 메타데이터를 입력할 수 있습니다. 사용자는 태그를 추가할 수 있고 등록하는 개체에 대한 전문가를 식별할 수 있습니다. 이러한 설명이 포함된 메타데이터는 구조적 메타데이터와 함께 데이터 카탈로그 서비스에 모두 복사됩니다.

미리 보기 포함

기본적으로 데이터 원본으로부터 추출된 메타데이터만 데이터 카탈로그 서비스에 복사되지만 여기에 포함되는 데이터 샘플을 볼 수 있을 때 데이터 원본을 보다 쉽게 이해할 수 있습니다.

사용자는 Data Catalog 데이터 원본 등록 도구를 사용하여 등록되는 각각의 테이블과 뷰에 있는 데이터의 스냅샷 미리 보기를 포함시킬 수 있습니다. 사용자가 등록 과정에서 미리 보기를 포함시키기로 선택하면 등록 도구는 각 테이블과 뷰에서 최대 20개의 레코드를 포함합니다. 그 후 스냅샷은 구조적 메타데이터 및 설명이 포함된 메타데이터와 함께 카탈로그에 복사됩니다.

참고 항목

다수의 열을 포함하는 넓은 테이블은 미리 보기의 레코드가 20개 미만이 될 수 있습니다.

데이터 프로필 포함

미리 보기 포함처럼 데이터 카탈로그의 데이터 원본에 대한 사용자 검색에 대해 유용한 컨텍스트를 제공하며 데이터 프로필 포함을 통해 검색된 데이터 소스를 더욱 쉽게 이해할 수 있습니다.

데이터 카탈로그 데이터 원본 등록 도구를 사용하여 사용자는 등록되는 각각의 테이블과 뷰에 있는 데이터 프로필을 포함시킬 수 있습니다. 사용자가 등록하는 동안 데이터 프로필을 포함하도록 선택한 경우 등록 도구에는 다음을 포함하여 각 테이블 및 뷰의 데이터에 대한 집계 통계를 포함합니다.

개체에 있는 데이터의 행 및 크기 수
가장 최근의 데이터 및 개체 스키마 업데이트에 대한 날짜
null 레코드 수 및 열에 대한 고유 값
열에 대한 최소, 최대, 평균 및 표준 편차 값

이러한 통계는 구조적 메타데이터 및 설명이 포함된 메타데이터와 함께 카탈로그에 복사됩니다.

참고 항목

텍스트 및 날짜 열은 해당 데이터 프로필의 평균 또는 표준 편차 통계에 포함되지 않습니다.

등록 업데이트

데이터 원본을 등록하면 등록 과정에서 추출된 선택적인 미리 보기와 메타데이터를 사용할 때 데이터 카탈로그에서 검색이 가능해집니다. 카탈로그에서 데이터 원본을 업데이트해야 하는 경우(예: 개체 스키마가 변경되었거나 원래 제외되었던 테이블을 포함시켜야 하거나 사용자가 미리 보기에 포함된 데이터를 업데이트하려는 경우)에는 데이터 원본 등록 도구를 다시 실행할 수 있습니다.

이미 등록된 데이터 원본의 재등록은 병합 “upsert” 작업을 수행합니다. 기존 개체는 업데이트되고 새 개체가 생성됩니다. 데이터 카탈로그 포털을 통해 사용자가 제공한 메타데이터는 모두 유지 관리됩니다.

요약

구조적 메타데이터 및 설명이 포함된 메타데이터를 데이터 원본에서 카탈로그 서비스로 복사하므로 데이터 원본을 데이터 카탈로그에 등록하면 데이터 원본을 보다 쉽게 검색하고 이해할 수 있게 됩니다. 데이터 원본을 등록한 후 Data Catalog 포털을 사용하여 주석을 달고 관리하고 검색할 수 있습니다.

다음을 통해 공유