Rejestrowanie źródeł danych w usłudze Azure Data Catalog
Ważne
Usługa Azure Data Catalog została wycofana 15 maja 2024 r.
W przypadku funkcji wykazu danych użyj usługi Microsoft Purview , która oferuje ujednolicony nadzór nad danymi dla całego majątku danych.
Wprowadzenie
Azure Data Catalog to w pełni zarządzana usługa w chmurze, która służy jako system rejestracji i odnajdywania źródeł danych przedsiębiorstwa. Innymi słowy usługa Data Catalog ułatwia osobom odnajdywanie, interpretowanie i używanie źródeł danych oraz pomaga organizacjom uzyskać większą wartość z istniejących danych. Pierwszym krokiem do odnalezienia źródła danych za pośrednictwem usługi Data Catalog jest zarejestrowanie tego źródła danych.
Rejestrowanie źródeł danych
Rejestracja to proces wyodrębniania metadanych ze źródła danych i kopiowania tych danych do usługi Data Catalog. Dane pozostają w miejscu, w którym aktualnie się znajdują, i podlegają kontroli administratorów i zasadom obowiązującym w danym systemie.
Aby zarejestrować źródło danych, wykonaj następujące kroki:
- W portalu usługi Azure Data Catalog uruchom narzędzie rejestracji źródła danych usługi Data Catalog.
- Zaloguj się przy użyciu konta służbowego przy użyciu tych samych poświadczeń firmy Microsoft, których używasz do logowania się w portalu.
- Wybierz źródło danych, które chcesz zarejestrować.
Po zarejestrowaniu źródła danych katalog śledzi jego lokalizację i indeksuje jego metadane. Użytkownicy mogą wyszukiwać, przeglądać i odnajdywać źródło danych, a następnie łączyć się z nim przy użyciu wybranego narzędzia lub aplikacji.
Obsługiwane źródła danych
Aby uzyskać listę aktualnie obsługiwanych źródeł danych, zobacz Data Catalog DSR .
Metadane strukturalne
Podczas rejestrowania źródła danych narzędzie rejestracji wyodrębnia informacje o strukturze wybranych obiektów. Te informacje są określane jako metadane strukturalne.
W przypadku wszystkich obiektów te metadane strukturalne zawierają lokalizację obiektu, dzięki czemu użytkownicy, którzy odnajdują dane, mogą używać tych informacji do łączenia się z obiektem w wybranym narzędziu klienckim. Inne metadane strukturalne obejmują nazwę i typ obiektu oraz nazwę/kolumnę i typ danych.
Metadane opisowe
Oprócz podstawowych metadanych strukturalnych wyodrębnionych ze źródła danych narzędzie rejestracji źródła danych wyodrębnia opisowe metadane. W przypadku usług SQL Server Analysis Services i SQL Server Reporting Services te metadane są pobierane z właściwości Opis uwidocznionych przez te usługi. W przypadku programu SQL Server wartości udostępniane przy użyciu właściwości rozszerzonej ms_description są wyodrębniane. W przypadku bazy danych Oracle Database narzędzie rejestracji źródła danych wyodrębnia kolumnę COMMENTS z widoku ALL_TAB_COMMENTS.
Oprócz metadanych opisowych wyodrębnionych ze źródła danych użytkownicy mogą wprowadzać metadane opisowe przy użyciu narzędzia rejestracji źródła danych. Użytkownicy mogą dodawać tagi i identyfikować ekspertów dla zarejestrowanych obiektów. Wszystkie te metadane opisowe są kopiowane do usługi Data Catalog wraz z metadanymi strukturalnymi.
Uwzględnij podglądy
Domyślnie tylko metadane są wyodrębniane ze źródeł danych i kopiowane do usługi Data Catalog, ale zrozumienie źródła danych jest często łatwiejsze, gdy można wyświetlić próbkę zawartych w nim danych.
Podgląd migawki danych można dołączyć do każdej tabeli i wyświetlić zarejestrowany przy użyciu narzędzia rejestracji źródła danych usługi Data Catalog. Jeśli zdecydujesz się uwzględnić podglądy podczas rejestracji, narzędzie rejestracji zawiera maksymalnie 20 rekordów z każdej tabeli i widoku. Ta migawka jest następnie kopiowana do wykazu wraz z metadanymi strukturalnymi i opisowymi.
Uwaga
Szerokie tabele z dużą liczbą kolumn mogą zawierać mniej niż 20 rekordów w ich wersji zapoznawczej.
Dołączanie profilów danych
Podobnie jak w przypadku wersji zapoznawczych, użytkownicy, którzy szukają źródeł danych w usłudze Data Catalog, w tym profil danych, mogą ułatwić zrozumienie odnalezionych źródeł danych.
Za pomocą narzędzia rejestracji źródła danych usługi Data Catalog można dołączyć profil danych dla każdej tabeli i widok, który jest zarejestrowany. Jeśli zdecydujesz się dołączyć profil danych podczas rejestracji, narzędzie rejestracji zawiera zagregowane statystyki dotyczące danych w każdej tabeli i widoku, w tym:
- Liczba wierszy i rozmiar danych w obiekcie.
- Data najnowszej aktualizacji danych i schematu obiektu.
- Liczba rekordów o wartości null i unikatowych wartości dla kolumn.
- Wartości minimalne, maksymalne, średnie i odchylenia standardowego dla kolumn.
Te statystyki są następnie kopiowane do wykazu wraz z metadanymi strukturalnymi i opisowymi.
Uwaga
Kolumny tekstowe i kolumny dat nie zawierają statystyk średniego lub odchylenia standardowego w profilu danych.
Aktualizowanie rejestracji
Zarejestrowanie źródła danych umożliwia odnajdywanie w usłudze Data Catalog podczas korzystania z metadanych i opcjonalnej wersji zapoznawczej wyodrębnionej podczas rejestracji. Jeśli źródło danych musi zostać zaktualizowane w wykazie (na przykład jeśli schemat obiektu uległ zmianie, tabele pierwotnie wykluczone powinny zostać dołączone lub chcesz zaktualizować dane zawarte w podglądach), można ponownie uruchomić narzędzie rejestracji źródła danych.
Ponowne zarejestrowanie już zarejestrowanego źródła danych wykonuje operację scalania "upsert": istniejące obiekty są aktualizowane i tworzone są nowe obiekty. Wszystkie metadane udostępniane przez użytkowników za pośrednictwem portalu usługi Data Catalog są zachowywane.
Podsumowanie
Ponieważ kopiuje metadane strukturalne i opisowe ze źródła danych do usługi wykazu, zarejestrowanie źródła danych w usłudze Data Catalog ułatwia odnajdywanie i zrozumienie danych. Po zarejestrowaniu źródła danych możesz dodawać adnotacje, zarządzać nimi i odnajdywać je za pomocą portalu usługi Data Catalog.