Co to jest usługa Azure Data Catalog?
Ważne
Usługa Azure Data Catalog została wycofana 15 maja 2024 r.
W przypadku funkcji wykazu danych użyj usługi Microsoft Purview , która oferuje ujednolicony nadzór nad danymi dla całego majątku danych.
Usługa Azure Data Catalog to w pełni zarządzana usługa w chmurze, która umożliwia użytkownikom odnajdywanie potrzebnych źródeł danych i zrozumienie wyszukiwanych źródeł danych. Jednocześnie usługa Data Catalog pomaga organizacjom w osiąganiu większych zysków z ich istniejących inwestycji.
Usługa Data Catalog umożliwia każdemu użytkownikowi (analitykowi, analitykowi danych lub deweloperowi) odnajdywanie, zrozumienie i używanie źródeł danych w środowisku danych. Usługa Data Catalog zawiera model crowdsourcing metadanych i adnotacji, dzięki czemu każdy może przyczynić się do odnajdywania i używania danych. Jest to jedno, centralne miejsce dla wszystkich użytkowników organizacji, które pozwala na współtworzenie wiedzy i budowanie społeczności i kultury danych.
Wyzwania dotyczące odnajdywania dla konsumentów danych
Tradycyjnie wykrywanie firmowych źródeł danych było organicznym procesem opartym na wiedzy pochodzącej z wewnątrz firmy. W przypadku firm, które chcą uzyskać największą wartość ze swoich zasobów informacyjnych, takie podejście stanowi wiele wyzwań:
- Użytkownicy mogą nie wiedzieć, że źródło danych istnieje, chyba że skontaktuje się z nim w ramach innego procesu. Nie ma centralnej lokalizacji, w której są rejestrowane źródła danych.
- Jeśli użytkownicy nie znają lokalizacji źródła danych, nie mogą łączyć się z danymi przy użyciu aplikacji klienckiej. Podczas korzystania z danych użytkownicy muszą znać parametry połączenia lub ścieżkę.
- Jeśli użytkownicy nie znają lokalizacji dokumentacji źródła danych, nie mogą zrozumieć zamierzonych zastosowań danych. Źródła danych i dokumentacja mogą znajdować się w różnych miejscach i być używane w różnych środowiskach.
- Jeśli użytkownicy mają pytania dotyczące zasobu informacyjnego, muszą zlokalizować specjalistę lub zespół, który jest odpowiedzialny za te dane, i skontaktować się z nimi w trybie offline. Nie ma wyraźnego połączenia między danymi a ekspertami, którzy mają perspektywy na jego użycie.
- Jeśli użytkownicy nie rozumieją procesu żądania dostępu do źródła danych, odnajdywanie źródła danych i jego dokumentacji nadal nie pomaga im uzyskać dostępu do danych.
Wyzwania dotyczące odnajdywania dla producentów danych
Chociaż konsumenci danych stawiają czoła tym wyżej wymienionym wyzwaniom, przed użytkownikami odpowiedzialnymi za tworzenie i utrzymywanie zasobów informacyjnych stoją inne wyzwania:
- Dodawanie adnotacji do źródeł danych z opisowymi metadanymi jest często niepotrzebnym wysiłkiem. Aplikacje klienckie zwykle ignorują opisy przechowywane w źródle danych.
- Tworzenie dokumentacji dla źródeł danych jest często niepotrzebnym wysiłkiem. Ciągła odpowiedzialność za zapewnienie synchronizacji dokumentacji ze źródłami danych. Użytkownicy mogą nie mieć zaufania do dokumentacji, która jest postrzegana jako nieaktualna.
- Tworzenie i utrzymywanie dokumentacji źródeł danych to złożony i czasochłonny proces. Częściej nawet większym wyzwaniem jest zapewnienie łatwości dostępu do dokumentacji dla wszystkich użytkowników źródła danych.
- Nieustannym wyzwaniem jest też ograniczanie dostępu do źródeł danych i zapewnienie, że użytkownicy danych wiedzą, w jaki sposób zażądać dostępu do nich.
Takie wyzwania stanowią dużą przeszkodę dla przedsiębiorstw, które promują używanie danych firmowych i ich zrozumienie.
Usługa Azure Data Catalog może pomóc
Usługa Data Catalog została zaprojektowana w celu rozwiązywania powyższych problemów i umożliwienia przedsiębiorstwom osiągnięcia jak największych korzyści z istniejących zasobów informacyjnych. Usługa Data Catalog ułatwia odnajdywanie źródeł danych i ich zrozumienie przez użytkowników, którzy zarządzają danymi.
Usługa Data Catalog udostępnia usługę w chmurze, w której można zarejestrować źródło danych. Dane pozostają w istniejącej lokalizacji, ale kopia ich metadanych wraz z odwołaniem do lokalizacji źródła danych jest dodawana do usługi Data Catalog. Te metadane są również indeksowane, aby można było je łatwo odnaleźć za pomocą wyszukiwania oraz uczynić je zrozumiałymi dla użytkowników, którzy je odnajdą.
Po zarejestrowaniu źródła danych jego metadane można następnie wzbogacić. Metadane mogą być dodawane przez użytkownika, który go zarejestrował, lub przez innych użytkowników w przedsiębiorstwie. Każdy użytkownik może dodawać adnotacje do źródła danych, podając opisy, tagi lub inne metadane, takie jak dokumentacja i procesy służące do żądania dostępu do źródła danych. Te metadane opisowe uzupełniają metadane strukturalne (takie jak nazwy kolumn i typy danych) zarejestrowane ze źródła danych.
Wykrywanie źródeł danych i ich zrozumienie to główny cel rejestrowania źródeł. Użytkownicy w organizacji mogą potrzebować danych do analizy biznesowej, projektowania aplikacji, analizy danych lub innych zadań, w których wymagane są odpowiednie dane. Aby szybko znaleźć odpowiadające ich potrzebom dane, zrozumieć je w celu oceny ich przydatności do tego celu i skorzystać z danych przez otwarcie źródła danych w wybranym narzędziu, mogą użyć środowiska odnajdywania usługi Data Catalog.
Jednocześnie użytkownicy mogą wnieść swój wkład do wykazu danych poprzez znakowanie, dokumentowanie i dodawanie adnotacji do zarejestrowanych już źródeł. Mogą również rejestrować nowe źródła, które następnie mogą zostać odnalezione, zrozumiane i wykorzystane przez społeczność użytkowników wykazu danych.
Dowiedz się więcej na temat usługi Data Catalog
Aby dowiedzieć się więcej o możliwościach wykazu danych, zobacz:
- Jak rejestrować źródła danych
- Jak odnajdować źródła danych
- Jak dodawać adnotacje do źródeł danych
- Jak dokumentować źródła danych
- Jak nawiązywać połączenie ze źródłami danych
- Jak pracować z danymi big data
- Jak zarządzać zasobami danych
- Jak skonfigurować słownik biznesowy
- Często zadawane pytania