메타데이터 표준

메타데이터 관리는 데이터 아키텍처에서 중요한 역할을 합니다. 메타데이터는 다른 데이터에 대한 정보입니다. 데이터를 찾고, 보호하고, 제어하는 데 도움이 되는 참조를 제공하는 데이터를 설명합니다. 또한 메타데이터는 데이터를 함께 바인딩합니다. 데이터 무결성과 품질의 유효성을 검사하고, 데이터를 새 위치로 라우팅하거나 복제하며, 데이터를 변환하고, 데이터 의미를 파악하는 데 사용할 수 있습니다. 메타데이터는 셀프 서비스 포털을 통해 데이터를 민주화하는 데에도 필수적입니다.

좋은 메타데이터 관리 전략은 유기적으로 성장합니다. 먼저 가장 중요한 영역을 식별하여 작고 간단하게 시작합니다. 좋은 메타데이터 관리 전략은 서비스와 명확한 프로세스에서도 지원됩니다. 시작하려면 다양한 메타데이터 범주를 알고 있는 것이 좋습니다.

• 비즈니스 메타데이터 는 거버넌스, 데이터 찾기 및 이해에 사용되는 모든 측면을 설명합니다. 잘 알려진 몇 가지 예에는 비즈니스 용어/정의 및 데이터 소유권, 사용량, 출처에 대한 정보가 포함됩니다.
• 기술 메타데이터는 디자인 타임 시 데이터의 구조적 측면을 설명합니다. 잘 알려진 몇 가지 예에는 스키마 정보, 데이터 형식과 프로토콜 정보, 암호화/암호 해독 키가 포함됩니다.
• 운영 메타데이터는 런타임 시 데이터의 처리 측면을 설명합니다. 잘 알려진 몇 가지 예에는 프로세스 정보, 실행 시간, 프로세스 오류 정보 및 작업 ID가 포함됩니다.
• 소셜 메타데이터는 소비자의 데이터에 대한 사용자 관점을 설명합니다. 잘 알려진 몇 가지 예에는 사용/사용자 추적 정보, 검색 결과 데이터, 필터 및 클릭, 시청 시간, 프로필 조회 수, 댓글이 포함됩니다.

분산형 데이터 아키텍처에서 메타데이터 관리는 중앙 관리형 메타데이터와 페더레이션 관리형 메타데이터 간의 균형을 찾는 데 필요한 조직의 과제입니다. 메타데이터 관리를 계획할 때 Azure에서 클라우드 규모 분석을 위한 팀과 기능을 이해하는 것이 중요합니다. 공동 작업 데이터 관리 방식을 사용하면 팀 간의 통신, 통합 및 데이터 흐름 자동화 성능이 향상됩니다. 중앙 거버넌스와 도메인 소유권 간에 적절한 균형을 맞춤으로써 메타데이터 관리의 복잡성을 다소 해결할 수 있습니다.

중앙에서 관리하거나 데이터 도메인에 페더레이션하고 구현을 시작할 메타데이터를 결정할 때 다음과 같이 자문해 보세요.

• 중요한 비즈니스 메타데이터는 무엇인가?
• 상호 운용성에 필요한 기술 메타데이터는 무엇인가?
• 데이터를 캡처하는 프로세스와 스트림은 무엇인가?
• 모델 또는 스키마를 만들고 유지 관리하는 위치는 어디인가?
• 데이터 거버넌스 부서가 올바르게 작업을 수행할 수 있도록 중앙에서 제공해야 하는 정보 팀은 무엇인가?

이러한 질문에 대한 답변을 사용하여 각 메타데이터 스트림의 콘텐츠 수명 주기를 매핑하고 모든 종속성을 결정합니다. 그러면 비즈니스 도메인, 프로세스, 기술 및 데이터를 연결할 수 있는 메타데이터 모델이 생깁니다.

필요한 메타데이터를 알게 된 후에는 이를 저장하고 처리할 위치를 선택해야 합니다. Azure Purview를 사용하여 이 작업을 수행할 수 있습니다.

Azure Purview를 사용하여 대규모 데이터 자산 관리

Azure Purview는 온-프레미스, 다중 클라우드 및 SaaS(Software-as-a-Service) 데이터를 관리, 제어하는 데 도움이 되는 통합 데이터 거버넌스 서비스입니다. 데이터 검색, 데이터 스캔 및 액세스 관리를 지능적으로 수행하는 완전 자동화된 서비스이기 때문에 메타데이터를 대규모로 관리합니다. 또한 데이터 메시 아키텍처와 관련된 여러 가지 인사이트에 대해 전체적인 맵을 제공합니다.

Azure Purview를 구현할 때 너무 많은 변화와 복잡성을 빠르게 도입하지 않도록 하세요. 기술 메타데이터는 Azure Purview의 기반입니다. 메타데이터를 이해하려면 메타데이터를 수집하고 구성해야 합니다.

메타데이터를 확보한 후에는 기본 사항부터 시작합니다.

• 비즈니스 용어
• 신뢰할 수 있는 데이터 원본 목록
• 데이터베이스 목록
• 스키마 정보
• 데이터 소유권
• 데이터 관리
• 보안

그런 다음, 더 많은 도메인 소유자와 데이터 관리자를 천천히 참여시키고 더 많은 분류 및 민감도 레이블을 추가하여 확장합니다. 이러한 추가 기능을 사용하면 검색 환경이 개선되고 데이터 액세스 관리 성능을 향상시킬 수 있습니다.

도메인 및 애플리케이션 메타데이터 목록과 같은 사용자 지정 메타데이터 특성의 경우 Azure Purview에서 추가 형식 정의를 만드는 것이 좋습니다.

도메인 지향 아키텍처의 경우 Azure Purview 컬렉션과 용어집을 데이터 도메인에 맞춥니다. Azure Purview 컬렉션은 자산과 원본을 구성합니다. 컬렉션을 자산과 원본의 경계로 사용하여 특정 도메인에 맞출 수 있습니다. 용어집을 사용하여 동일한 작업을 수행할 수 있습니다. 용어집 내에서 계층 구조를 만들고 도메인에 맞춥니다. 용어집 용어와 컬렉션 특성 간의 관계를 만들기 위해 소유권을 도메인에 요청합니다. 이렇게 하면 데이터 소유권이 투명해지고 데이터 의미 체계가 향상됩니다.

Azure Cosmos DB를 사용하여 조직의 지식 그래프 만들기

더 많은 데이터를 집중적으로 사용하는 포털을 통해 데이터 분석가와 과학자에게 데이터 인사이트를 더 자세히 제공하는 업계 추세가 증가하고 있습니다. 이 추세를 데이터 가시성이라고 합니다. 데이터 가시성은 메타데이터 레이크, 지식 그래프 또는 메타데이터 그래프와 같은 개념을 사용하여 메타데이터가 중앙 집중화된 플랫폼을 설명합니다. 이는 분산 데이터 메시를 사용할 때 조직 전체에서 데이터를 사용하고 공급하는 방법에 대한 통합된 보기를 빌드하는 데 좋은 방법입니다.

데이터 인사이트 솔루션은 데이터가 사용되는 방식, 원본 데이터와 데이터 제품 같은 엔터티 간의 관계, 한 도메인의 데이터 제품과 다른 도메인의 종속 제품 간 관계를 설명해야 합니다. 그래프 데이터베이스 또는 사용자 지정 사용자 인터페이스를 사용하여 이러한 관계를 모델링할 수 있습니다.

사용자 지정 사용자 환경에서 통합된 조직 데이터 보기를 빌드하려면 Azure Cosmos DB를 살펴보세요. Azure Cosmos DB는 NoSQL 엔드포인트가 있는 전역적으로 분산된 다중 모델 데이터베이스 서비스입니다. Apache Gremlin용 Azure Cosmos DB를 통해 그래프 데이터베이스 서비스를 제공하여 수십억 개의 꼭짓점과 에지가 있는 대규모 그래프를 저장합니다.

Azure Cosmos DB 아키텍처의 최종 결과는 엔드 투 엔드 컨텍스트를 사용하여 조직의 모든 데이터에 대한 통합 보기를 제공하는 조직 전체 그래프입니다. 메타데이터 레이크는 정보 저장에만 국한되지 않습니다. 또한 다른 서비스 및 도구와 연결하여 메타데이터를 그래프로 적극 구성합니다. 구성된 이 그래프를 사용하면 다음을 비롯한 여러 주제 영역을 상호 비교할 지정할 수 있습니다.

• 도메인
• 데이터 품질
• 데이터 사용량
• 비즈니스 기능
• 애플리케이션 기능
• 기술 아키텍처 정보
• 작업 이벤트
• 조직 메타데이터
• 애플리케이션 소유권 메타데이터
• 위치 정보
• 애플리케이션 수명 주기 관리 정보

다음 단계

• Azure에서 클라우드 규모 분석 보호