Omówienie strefy docelowej zarządzania danymi analizy w skali chmury
Strefa docelowa zarządzania danymi jest funkcją zarządzania i jest centralną analizą w skali chmury. Jest on odpowiedzialny za ład platformy analitycznej.
Strefa docelowa zarządzania danymi to oddzielna subskrypcja, która ma te same standardowe usługi strefy docelowej platformy Azure. Umożliwia to zarządzanie danymi za pośrednictwem przeszukiwarki, które łączą się z magazynem typu data lake i magazynem wielolotowym w strefach docelowych danych. Komunikacja równorzędna sieci wirtualnych łączy strefę docelową zarządzania danymi ze strefami docelowymi danych i subskrypcją łączności.
Użyj tej architektury jako punktu wyjścia. Pobierz plik programu Visio i zmodyfikuj go w celu dopasowania do określonych wymagań biznesowych i technicznych podczas planowania implementacji strefy docelowej zarządzania danymi.
Uwaga
Trwałość wielolotowa to termin przechowywania opisujący wybór różnych technologii magazynu danych/magazynu danych w celu obsługi różnych typów danych i ich potrzeb związanych z magazynem. Zasadniczo trwałość wielolotowa to koncepcja, którą aplikacja może używać więcej niż jednej podstawowej technologii bazy danych lub magazynu.
Ważne
Strefa docelowa zarządzania danymi musi zostać wdrożona jako oddzielna subskrypcja w grupie zarządzania z odpowiednim ładem. Następnie możesz kontrolować ład w całej organizacji. Akcelerator strefy docelowej platformy Azure ilustruje sposób podejścia do stref docelowych platformy Azure.
Katalog danych
Grupa zasobów: governance-rg
Wykaz danych rejestruje i utrzymuje informacje o danych w scentralizowanym miejscu i udostępnia je organizacji. Gwarantuje to, że przedsiębiorstwa unikają zduplikowanych produktów danych spowodowanych nadmiarowym pozyskiwaniem danych przez różne zespoły projektów.
Zalecamy aprowizowanie usługi wykazu danych w celu zdefiniowania metadanych produktów danych przechowywanych w strefach docelowych danych.
Analiza w skali chmury opiera się na usłudze Microsoft Purview jako:
- System rejestracji
- Odnajdywanie źródeł danych przedsiębiorstwa
- Aparat klasyfikacji danych
- Magazyn zasad
- Interfejs API do rejestrowania i odczytywania informacji o danych
- Centrum pulpitu nawigacyjnego zgodności
Ponieważ wykaz danych jest częścią strefy docelowej zarządzania danymi, może komunikować się z każdą strefą docelową danych za pośrednictwem komunikacji równorzędnej sieci wirtualnej i własnych środowisk Integration Runtime. Odnajdywanie produktów danych w magazynach lokalnych i innych chmurach publicznych jest osiągane przez więcej wdrożeń własnych środowisk Integration Runtime.
Uwaga
Mimo że ta dokumentacja koncentruje się głównie na używaniu usługi Microsoft Purview do obsługi funkcji wykazu danych i klasyfikacji danych, przedsiębiorstwa mogły zainwestować w inne produkty, takie jak Alation, Okera lub Collibra. Jeśli tak jest, skontaktuj się z dostawcą, aby zastosować zasady opisane dla strefy docelowej zarządzania danymi tak blisko, jak to możliwe. Należy pamiętać, że może być wymagana integracja niestandardowa.
Aby uzyskać więcej informacji, zobacz Artykuł Data catalog and Microsoft Purview deployment best practices for cloud-scale analytics (Najlepsze rozwiązania dotyczące wdrażania usługi Microsoft Purview na potrzeby analizy w skali chmury).
Zarządzanie jakością danych
Grupa zasobów: governance-rg2
Kontynuuj korzystanie z bieżącego rozwiązania.
Jakość danych powinna być jak najbardziej zbliżona do źródła danych, aby uniknąć problemów z jakością replikowania w ramach analizy i majątku sztucznej inteligencji. Przeniesienie metryk jakości i walidacji do integracji danych jest zgodne z procesem jakości z zespołami, które znajdują się najbliżej Twoich danych. Te zespoły mają najgłębsze zrozumienie zasobu danych.
Pochodzenie danych zapewnia również pewność jakości danych i należy podać je dla wszystkich produktów i produktów danych.
Aby uzyskać więcej informacji na temat zarządzania jakością danych, zobacz Jakość danych.
Repozytorium modelowania danych
Grupa zasobów: governance-rg2
Modele relacji jednostek należy przechwytywać i przechowywać w centralnej lokalizacji w strefie docelowej zarządzania danymi. Zapewnia to użytkownikom danych pojedyncze miejsce do znajdowania diagramów koncepcyjnych.
Wielu klientów używa programu ER Studio i serwera iServer do modelowania swoich produktów danych przed pozyskiwaniem.
Zarządzanie danymi głównymi
Grupa zasobów: governance-rg2
Kontrolka zarządzania danymi master znajduje się w strefie docelowej zarządzania danymi. Główne zarządzanie danymi w siatkach danych zawiera konkretne zagadnienia, które należy zwrócić uwagę na siatkę danych.
Wiele głównych rozwiązań do zarządzania danymi w pełni integruje się z identyfikatorem Entra firmy Microsoft. Ta integracja umożliwia zabezpieczanie danych i udostępnianie różnych widoków dla różnych grup użytkowników.
Aby uzyskać więcej informacji, zobacz Główny system zarządzania danymi.
Wykaz interfejsów API
Grupa zasobów: governance-rg2
Zespoły ds. aplikacji danych będą prawdopodobnie tworzyć różne interfejsy API dla swojej aplikacji danych. Te interfejsy API mogą być trudne do odnalezienia w całej organizacji. Umieszczenie wykazu interfejsów API w strefie docelowej zarządzania danymi może rozwiązać ten problem.
Katalog interfejsów API może pomóc w standaryzacji dokumentacji i oferuje miejsce do wewnętrznej współpracy nad interfejsami API. Może również zwiększyć zużycie, publikowanie i mechanizmy kontroli ładu w całej organizacji.
Udostępnianie danych i kontrakty
Grupa zasobów: governance-rg2
Analiza w skali chmury korzysta z zarządzania upoważnieniami firmy Microsoft lub zasad usługi Microsoft Purview w celu kontrolowania dostępu do udostępniania danych. Mimo to nadal może być wymagane udostępnianie i repozytorium kontraktów. To repozytorium jest funkcją organizacyjną i powinno znajdować się w strefie docelowej zarządzania danymi.
Kontrakty powinny zawierać informacje na temat weryfikacji danych, modeli i zasad zabezpieczeń.
Aby uzyskać więcej informacji, zobacz Kontrakty danych
Azure Container Registry
Grupa zasobów: containers-rg
Strefa docelowa zarządzania danymi hostuje usługę Azure Container Registry. Usługa Azure Container Registry umożliwia operacjom platformy danych wdrażanie standardowych kontenerów do użycia w projektach nauki o danych używanych przez zespoły aplikacji danych.
Koncentratory usługi Azure Synapse Private Link
Grupa zasobów: synapse-link-rg
Koncentratory usługi Azure Synapse Analytics Private Link to zasoby platformy Azure, które łączą zabezpieczoną sieć i środowisko internetowe usługi Azure Synapse Studio. Analiza w skali chmury bezpiecznie łączy sieć wirtualną platformy Azure z usługą Azure Synapse Studio przy użyciu linków prywatnych z tych centrów.
Istnieją dwa kroki umożliwiające nawiązanie połączenia z usługą Azure Synapse Studio przy użyciu linków prywatnych.
- Utwórz zasób centrum usługi Private Link.
- Utwórz prywatny punkt końcowy z sieci wirtualnej platformy Azure do tego centrum usługi Private Link.
Następnie możesz bezpiecznie komunikować się z usługą Azure Synapse Studio przy użyciu prywatnych punktów końcowych. Zintegruj te prywatne punkty końcowe z rozwiązaniem DNS z rozwiązaniem lokalnym lub z usługą Azure Prywatna strefa DNS.
Aby uzyskać więcej informacji, zobacz Połączenie do usługi Azure Synapse Studio przy użyciu linków prywatnych.
Interfejsy automatyzacji (opcjonalnie)
Twoja organizacja może zdecydować się na utworzenie wielu usług automatyzacji w celu rozszerzenia możliwości analizy w skali chmury. Te usługi automatyzacji napędzają zgodność i dołączanie rozwiązań do analizy.
Jeśli zdecydujesz się utworzyć te usługi automatyzacji, musisz mieć interfejs użytkownika, który działa zarówno jako platforma handlowa danych, jak i konsola operacji. Ten interfejs powinien polegać na bazowym magazynie metadanych, tak jak wcześniej omówiliśmy w temacie Standardy metadanych.
Konsola platformy handlowej danych lub operacji wywołuje warstwę środkową mikrousług, aby ułatwić dołączanie, rejestrację metadanych, aprowizowanie zabezpieczeń, cykl życia danych i możliwość obserwowania.
Możesz aprowizować grupę zasobów automationdb-rg w celu hostowania magazynu metadanych.
Ważne
Żadne z tych usług automatyzacji nie są produktami i nie ilustrują żadnego elementu planu działania. Są one wyświetlane, aby ułatwić rozważenie elementów, które warto zautomatyzować.
Usługi
| Service | Zakres usługi |
|---|---|
| Aprowizowanie strefy docelowej danych | Ta usługa tworzy nową strefę docelową danych. Jest mało prawdopodobne, aby miało wysokie użycie, ale jest uwzględniane w przypadku kompleksowej kompletności rozwiązania dołączania. Aby uzyskać więcej informacji, zobacz Aprowizuj analizę w skali chmury |
| Dołączanie produktu danych | Ta usługa tworzy i zmienia grupy zasobów dotyczące dołączonej dzierżawy. Zawiera również możliwości uaktualniania i obniżania wydajności jednostek SKU oraz aktywowania i dezaktywowania grup zasobów dla każdej dołączonej dzierżawy lub usługi. Tworzy nową strefę docelową danych DevOps. Aby uzyskać więcej informacji, zobacz Aprowizuj analizę w skali chmury |
| Aprowizowanie dostępu | Ta usługa tworzy pakiety dostępu, zasady dostępu i proces zatwierdzania dostępu do zasobów (ręczny lub automatyczny) przy użyciu nazwy SPN/UPN. Może również uwidocznić interfejs API, aby udostępnić listę żądań subskrypcji (zasobów), które użytkownicy przesłali w ciągu ostatnich 90 dni. Aby uzyskać więcej informacji, zobacz Zarządzanie dostępem do danych |
| Niezależne pozyskiwanie danych | Ta mikrousługa tworzy nowe źródła danych na potrzeby pozyskiwania danych do stref docelowych danych. Robi to, komunikując się z magazynem metadanych usługi SQL Database usługi Azure Data Factory w każdej strefie docelowej danych. Aby uzyskać więcej informacji, zobacz Jak zautomatyzowane struktury pozyskiwania obsługują analizę w skali chmury na platformie Azure |
| Metadane | Ta usługa uwidoczniona i tworzy metadane dla platformy. Aby uzyskać więcej informacji, zobacz Standardy metadanych |
| Cykl życia danych | Ta usługa jest odpowiedzialna za utrzymanie cyklu życia danych na podstawie metadanych. Ta konserwacja może obejmować przenoszenie danych do magazynu zimnego i usuwanie rekordów, które nie muszą być już przechowywane. Aby uzyskać więcej informacji, zobacz Zarządzanie cyklem życia danych |
| Dołączanie domeny danych | DOTYCZY TYLKO USŁUGI DATA MESH. Ta usługa przechwytuje metadane dotyczące nowych domen i dołącza nowe domeny zgodnie z potrzebami. Może również tworzyć, aktualizować, aktywować i dezaktywować dowolną domenę lub wiersz usługi, które można utworzyć w mikrousługę. Aby uzyskać więcej informacji, zobacz Aprowizuj analizę w skali chmury |
Standaryzacja danych
Chociaż nie jest to określona funkcja ani produkt strefy docelowej zarządzania danymi, należy wywołać standaryzację danych we wszystkich usługach. Standaryzacja danych definiuje format, w którym dane powinny znajdować się i być przechowywane.
Napiwek
Używaj formatu delta-lake wszędzie tam, gdzie jest to możliwe, jako standard defacto we wszystkich usługach i magazynie.
Aby uzyskać więcej informacji, zobacz Standaryzacja danych.