Standardy metadanych

Zarządzanie metadanymi odgrywa kluczową rolę w architekturze danych. Metadane to dane dotyczące innych danych. Opisuje ona dane, podając informacje ułatwiające znajdowanie, zabezpieczanie i kontrolowanie danych. Metadane wiążą również dane ze sobą. Może służyć do weryfikowania integralności i jakości danych, kierowania lub replikowania danych do nowej lokalizacji, przekształcania danych i znajomości znaczenia danych. Metadane są również niezbędne w demokratyzowaniu danych za pośrednictwem portali samoobsługowych.

Dobra strategia zarządzania metadanymi rośnie w sposób organiczny. Zaczyna się to od prostego i małego, najpierw identyfikując najważniejsze obszary. Dobra strategia zarządzania metadanymi jest również obsługiwana w przypadku usług i przejrzystych procesów. Aby rozpocząć pracę, warto pamiętać o różnych kategoriach metadanych:

• Metadane biznesowe opisują wszystkie aspekty używane do zapewniania ładu, znajdowania i rozumienia danych. Niektóre dobrze znane przykłady obejmują terminy biznesowe i definicje oraz informacje na temat własności, użycia i pochodzenia danych.
• Metadane techniczne opisują strukturalne aspekty danych w czasie projektowania. Niektóre znane przykłady obejmują informacje o schemacie, format danych i informacje o protokole oraz klucze szyfrowania i odszyfrowywania.
• Metadane operacyjne opisują aspekty przetwarzania danych w czasie wykonywania. Niektóre znane przykłady obejmują informacje o procesie, czas wykonywania, informacje o niepowodzeniu procesu i identyfikatory zadań.
• Metadane społecznościowe opisują perspektywę użytkownika danych od użytkowników. Niektóre dobrze znane przykłady obejmują informacje o użyciu i śledzeniu użytkowników, dane wyników wyszukiwania, filtry i kliknięcia, czas wyświetlania, trafienia profilu i komentarze.

W zdecentralizowanej architekturze danych zarządzanie metadanymi jest wyzwaniem organizacyjnym, które wymaga znalezienia równowagi między centralnie zarządzanymi metadanymi i zarządzanymi metadanymi federacyjnymi. Ważne jest, aby zrozumieć zespoły i funkcje analizy w skali chmury na platformie Azure podczas planowania zarządzania metadanymi. Korzystanie z rozwiązania do wspólnego zarządzania danymi zwiększa komunikację, integrację i automatyzację przepływu danych między zespołami. Niektóre złożoność zarządzania metadanymi można rozwiązać, uderzając właściwą równowagę między centralnym ładem a własnością domeny.

Podczas podejmowania decyzji o tym, jakie metadane mają być zarządzane centralnie lub sfederowane z domenami danych i rozpocząć implementację, zadaj sobie pytanie:

• Jakie metadane biznesowe są krytyczne?
• Jakie metadane techniczne są wymagane do współdziałania?
• Jakie procesy i strumienie przechwytują dane?
• Gdzie są tworzone i obsługiwane modele lub schematy?
• Jakie zespoły informacyjne muszą dostarczać centralnie, aby umożliwić działowi zarządzania danymi prawidłowe wykonywanie pracy?

Korzystając z odpowiedzi na te pytania, zamapuj cykl życia zawartości dla każdego strumienia metadanych i określ wszystkie zależności. Następnie masz model metadanych, który umożliwia łączenie domen biznesowych, procesów, technologii i danych.

Gdy już wiesz, jakie metadane są potrzebne, musisz wybrać miejsce do przechowywania i przetwarzania. Można to zrobić przy użyciu usługi Azure Purview.

Zarządzanie infrastrukturą danych za pomocą usługi Azure Purview

Azure Purview to ujednolicone rozwiązanie do zapewniania ładu danych, które ułatwia zarządzanie danymi lokalnymi, wielochmurowymi i danymi SaaS (software-as-a-service). Wykonuje zarządzanie metadanymi na dużą skalę, ponieważ jest to w pełni zautomatyzowana usługa, która inteligentnie wykonuje odnajdywanie danych, skanowanie danych i zarządzanie dostępem. Zapewnia również całościową mapę wielu szczegółowych informacji na temat architektury siatki danych.

Podczas implementowania usługi Azure Purview nie wprowadzaj zbyt dużej ilości zmian i złożoności. Metadane techniczne są podstawą usługi Azure Purview. Musisz zebrać i zorganizować metadane, zanim będzie można je zrozumieć.

Po utworzeniu metadanych zacznij od podstaw:

• Warunki biznesowe
• Listy autorytatywnych źródeł danych
• Listy baz danych
• Informacje o schemacie
• Własność danych
• Zarządzanie danymi
• Zabezpieczenia

Następnie skaluj przez powolne zaangażowanie większej liczby właścicieli domeny i stewardów danych oraz dodając więcej klasyfikacji i etykiet poufności. Te dodatki usprawniają środowisko wyszukiwania i umożliwiają lepsze zarządzanie dostępem do danych.

W przypadku atrybutów niestandardowych metadanych, takich jak listy domen i metadanych aplikacji, rozważ utworzenie dodatkowych definicji typów w usłudze Azure Purview.

W przypadku architektury zorientowanej na domenę dostosuj kolekcje i słowniki usługi Azure Purview do domen danych. Kolekcje usługi Azure Purview organizują zasoby i źródła. Możesz użyć kolekcji jako granicy dla zasobów i źródeł i dopasować ją do określonej domeny. Możesz zrobić to samo za pomocą słownika. Tworzenie struktur hierarchii w słowniku i dopasowywanie ich do domen. Poproś domeny o przejęcie na własność tworzenia relacji między terminami słownika i atrybutami kolekcji. Spowoduje to utworzenie przejrzystości własności danych i zwiększenie semantyki danych.

Tworzenie grafu wiedzy organizacji przy użyciu usługi Azure Cosmos DB

W branży rośnie trend, który przybliża szczegółowe informacje o danych do analityków danych i analityków korzystających z portali, które intensywnie korzystają z metadanych. Ten trend jest znany jako obserwowanie danych. Możliwość obserwowania danych używa takich pojęć jak metadane lake, grafy wiedzy lub grafy metadanych do opisywania platform, na których metadane są scentralizowane. Jest to dobry sposób na utworzenie ujednoliconego widoku wykorzystania i źródła danych w całej organizacji podczas korzystania z rozproszonej siatki danych.

Rozwiązanie do analizy danych musi opisywać sposób użycia danych oraz relacje między jednostkami, takimi jak dane źródłowe i produkty danych oraz między produktami danych z jednej domeny i produktów zależnych z innej domeny. Do modelowania tych relacji można użyć grafowej bazy danych lub niestandardowego interfejsu użytkownika.

Aby utworzyć ujednolicony widok danych organizacji przy użyciu niestandardowego środowiska użytkownika, zapoznaj się z usługą Azure Cosmos DB. Azure Cosmos DB to globalnie rozproszona, wielomodelowa usługa bazy danych z punktami końcowymi NoSQL. Udostępnia ona usługę grafowej bazy danych za pośrednictwem usługi Azure Cosmos DB dla języka Apache Gremlin do przechowywania ogromnych grafów z miliardami wierzchołków i krawędzi.

Wynikiem końcowym architektury usługi Azure Cosmos DB jest graf całej organizacji, który zapewnia ujednolicony widok wszystkich danych w organizacji przy użyciu kompleksowego kontekstu. Magazyn metadanych nie dotyczy tylko przechowywania informacji. Ponadto aktywnie organizuje metadane jako graf, łącząc je z innymi usługami i narzędziami. Ten zorganizowany wykres umożliwia krzyżowe skorelowanie wielu obszarów tematów, w tym:

• Domeny
• Jakość danych
• Użycie danych
• Możliwości biznesowe
• Funkcje aplikacji
• Informacje o architekturze technicznej
• Zdarzenia operacyjne
• Metadane organizacyjne
• Metadane własności aplikacji
• Informacje o lokalizacji
• Informacje o zarządzaniu cyklem życia aplikacji

Następne kroki

• Zabezpieczanie analizy w skali chmury na platformie Azure