Zarządzanie danymi w usłudze Azure Data Lake za pomocą usługi Microsoft Purview

Azure Data Factory
Microsoft Purview
Azure Data Lake Storage
Azure Synapse Analytics
Power BI

Pomysły dotyczące rozwiązań

W tym artykule opisano pomysł rozwiązania. Architekt chmury może użyć tych wskazówek, aby ułatwić wizualizowanie głównych składników dla typowej implementacji tej architektury. Skorzystaj z tego artykułu jako punktu wyjścia, aby zaprojektować dobrze zaprojektowane rozwiązanie zgodne z konkretnymi wymaganiami obciążenia.

W tym artykule opisano rozwiązanie korzystające z usługi Azure Purview w celu utworzenia podstaw ładu i zarządzania danymi, które umożliwia tworzenie i dostarczanie wysokiej jakości zaufanych danych.

Architektura

Diagram architektury pokazujący, jak usługa Azure Purview skanuje i klasyfikuje dane.

Diagram pokazujący, jak usługa Azure Purview skanuje i klasyfikuje dane. Usługa Data Lake Storage łączy się z usługą Azure Purview za pośrednictwem nowoczesnej platformy danych. Usługa Azure Purview łączy się również z usługą Power BI. Na diagramie przedstawiono również integrację między tymi usługami i identyfikatorem Entra firmy Microsoft, usługą Azure Monitor i usługą Azure Key Vault.

Pobierz plik programu Visio z tą architekturą.

Przepływ danych

Usługa Azure Purview udostępnia pojedynczą, ujednoliconą usługę zarządzania danymi ze wszystkich źródeł, w usłudze Data Lake i w narzędziach do raportowania końcowego.

Scenariusze łączenia usługi Azure Purview z usługami Data Lake:

  1. Usługa Azure Purview zapewnia ulepszone połączenie z zabezpieczeniami z potokami pozyskiwania, magazynowania i analizy typu data lake w celu automatycznego wykazu zasobów danych. Zapewnia również pochodzenie w tych usługach. Określone usługi platformy Azure obejmują usługę Data Factory, usługę Data Lake Storage i usługę Azure Synapse Analytics.

  2. Usługa Azure Purview łączy się natywnie z usługą Power BI i innymi narzędziami do raportowania i wizualizacji. Przedstawia on pochodzenie danych używanych w raportach końcowych. Udostępnia również informacje o poufności z zasobów usługi Power BI, aby zapobiec nieprawidłowemu użyciu danych.

Ważne

Informacje przesyłane ze źródeł do usługi Azure Purview to metadane opisujące dane w zeskanowanych źródłach. Żadne rzeczywiste dane nie są przesyłane ze źródeł do usługi Azure Purview.

Możliwości

  • Wykaz. Usługa Azure Purview Data Catalog może automatycznie przechwytywać i opisywać podstawowe cechy danych w źródle, w tym schemat, właściwości techniczne i lokalizację. Słownik usługi Azure Purview umożliwia przyjazną dla firmy definicję danych, które mają być ułożone na górze, aby usprawnić wyszukiwanie i odnajdywanie.

  • Klasyfikacja. Usługa Azure Purview automatycznie klasyfikuje zestawy danych i elementy danych przy użyciu 100 wstępnie zdefiniowanych klasyfikacji poufnych danych. Umożliwia również definiowanie własnych niestandardowych schematów klasyfikacji, które można zastosować ręcznie i automatycznie.

  • Pochodzenie danych. Diagram usługi Azure Purview wizualizuje pochodzenie w potokach usługi Data Factory, Azure Synapse Analytics i Power BI. Te wizualizacje pokazują pełny przepływ danych na poziomie szczegółowym.

  • Kontrola dostępu. Zasady kontroli dostępu usługi Azure Purview umożliwiają definiowanie i udzielanie dostępu do zasobów danych z wykazu bezpośrednio w źródłowych źródłach.

  • Własność. Usługa Azure Purview umożliwia stosowanie własności danych i zarządzania nimi do zasobów danych i elementów słownika w katalogu.

  • Szczegółowe informacje. Szczegółowe informacje w usłudze Azure Purview udostępniają wiele wstępnie zdefiniowanych raportów, które ułatwiają specjalistom ds. ciągłego wdrażania, danych i specjalistom ds. zapewniania ładu danych.

Składniki

  • Azure Purview to ujednolicony wykaz danych, który zarządza danymi lokalnymi, wielochmurowymi i oprogramowania jako usługi (SaaS). Ta usługa zapewniania ładu danych obsługuje mapy poziome danych. Funkcje obejmują automatyczne odnajdywanie danych, klasyfikację poufnych danych i pochodzenie danych.

  • Data Factory to w pełni zarządzana bezserwerowa usługa integracji danych, która ułatwia tworzenie procesów ETL i ELT.

  • Usługa Data Lake Storage zapewnia wysoce skalowalne, ekonomiczne, ekonomiczne magazyny w chmurze dla obciążeń analitycznych o wysokiej wydajności.

  • Azure Synapse Analytics to nieograniczona usługa analizy, która łączy integrację danych, magazynowanie danych przedsiębiorstwa i analizę danych big data.

  • Power BI to kolekcja usług i aplikacji oprogramowania. Te usługi tworzą i udostępniają raporty, które łączą się i wizualizować wiele źródeł danych. Gdy używasz usługi Power BI z usługą Azure Purview, może ona katalogować i klasyfikować dane oraz dostarczać szczegółowe pochodzenie ilustrowane od końca do końca.

  • Usługa Azure Private Link zapewnia łączność prywatną z sieci wirtualnej do usług PaaS (Platform as a Service) platformy Azure, usług, których jesteś właścicielem lub usług partnerskich firmy Microsoft.

  • Usługa Azure Key Vault przechowuje i kontroluje dostęp do wpisów tajnych, takich jak tokeny, hasła i klucze interfejsu API. Usługa Key Vault tworzy również klucze szyfrowania i kontroluje je oraz zarządza certyfikatami zabezpieczeń.

  • Microsoft Entra ID oferuje oparte na chmurze usługi zarządzania tożsamościami i dostępem. Te funkcje umożliwiają użytkownikom logowanie się i uzyskiwanie dostępu do zasobów.

  • Usługa Azure Monitor zbiera i analizuje dane w środowiskach i zasobach platformy Azure. Te dane obejmują dane telemetryczne aplikacji, takie jak metryki wydajności i dzienniki aktywności.

Szczegóły scenariusza

W miarę ładowania większej ilości danych na platformę Azure rośnie również potrzeba prawidłowego zarządzania tymi danymi we wszystkich źródłach danych i użytkownikach danych oraz zarządzania nimi.

Jeśli nie masz danych wysokiej jakości w infrastrukturze danych platformy Azure, wartość biznesowa platformy Azure zostanie zmniejszona. Rozwiązaniem jest utworzenie podstaw do zapewniania ładu i zarządzania danymi, które mogą tworzyć i dostarczać wysokiej jakości, zaufane dane.

Dane muszą być zarządzane na dużą skalę w magazynie lokalnym, w chmurze i w wielu chmurach, aby zapewnić zgodność z wymaganiami dotyczącymi zabezpieczeń, prywatności i użycia. Dobrze zarządzane dane mogą również poprawić samodzielne odnajdywanie, udostępnianie danych i jakość danych, co poprawia wykorzystanie danych w aplikacjach i analizach.

Usługa Azure Purview zapewnia ład do znajdowania, klasyfikowania, definiowania i wymuszania zasad i standardów między danymi. Służy ona do stosowania definicji, klasyfikacji i procesów ładu jednolicie między danymi. Kataloguje wszystkie źródła danych, identyfikuje wszelkie poufne informacje i definiuje pochodzenie danych. Zapewnia ona centralną platformę, na której można stosować definicje i własność danych. Dzięki pojedynczemu widokowi raportów i szczegółowych informacji możesz wygenerować standardy danych, które powinny być stosowane do danych.

Praca z innymi usługami platformy Azure usługa Azure Purview może automatycznie odnajdywać, katalogować, klasyfikować i zarządzać danymi w ramach ofert usługi Azure Data Lake i usług partnerskich.

Potencjalne przypadki użycia

Wymagania dotyczące zarządzania danymi różnią się w różnych branżach. W przypadku wszystkich branż potrzeba zarządzania danymi na dużą skalę wzrosła wraz ze wzrostem rozmiaru i złożoności architektur danych i danych. Jest to odpowiednie dla organizacji, które skorzystają z następujących wyników dobrze zarządzanych danych:

  • Automatyczne odnajdywanie danych w celu przyspieszenia wdrażania chmury.
  • Ulepszone zabezpieczenia danych pod kątem zgodności z przepisami i przepisami dotyczącymi danych.
  • Ulepszony dostęp, odnajdywanie i jakość zarządzanych danych w celu ulepszenia analizy.

Współautorzy

Ten artykuł jest obsługiwany przez firmę Microsoft. Pierwotnie został napisany przez następujących współautorów.

Główny autor:

Następne kroki